Python爬虫学习==>第十二章:使用 Seleni…

2018-06-18 02:21:01来源:未知 阅读 ()

新老客户大回馈,云服务器低至5折

学习目的:


 

   selenium目前版本已经到了3代目,你想加薪,就跟面试官扯这个,你赢了,工资就到位了,加上一个脚本的应用,结局你懂的

正式步骤


 

需求背景:抓取淘宝美食

Step1:流程分析

  • 搜索关键字:利用selenium驱动浏览器搜索关键字,得到查询后的商品列表
  • 分析页码并翻页:得到商品页码数,模拟翻页,得到后续页面的商品列表
  • 分析提取商品内容:利用PyQuery分析源码,解析得到商品列表
  • 存储至MongoDB:将商品列表信息存储到数据库MongoDB

 

Step2:代码分析

chromedriver 下载:http://chromedriver.storage.googleapis.com/index.html

# -*-  coding:utf-8 -*-
import re
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import time
from pyquery import PyQuery as pq
from config_taobao import *
import pymongo

###数据库设置###
client = pymongo.MongoClient(MONGO_URL)
#client后的数据库用[]
db = client[MONGO_DB]

#公共参数
driver = webdriver.Chrome()
url = 'https://www.taobao.com'
wait = WebDriverWait(driver, 10)

def search():
    driver.get(url)
    #显式等待参考了官方api文档 http://selenium-python.readthedocs.io/waits.html
    searchbox = wait.until(EC.presence_of_element_located((By.ID, "q")))
    submit = driver.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button')
    #下面是测试代码,验证提交按钮是否可用
    submit1 = wait.until(EC.element_to_be_clickable((By.XPATH,'//*[@id="J_TSearchForm"]/div[1]/button')))
#    print(submit1.text)
    #搜索关键字可以设置为用户收入,在公共参数表用Python的input函数
    searchbox.send_keys('美食')
    submit.click()
    #等待页面加载出搜索结果的总页数
    total = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@class="total"]')))
    #页码加载完成后,获取商品信息
    get_products()
    return total.text

def next_page(page_number):

    try:
        input = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="mainsrp-pager"]/div/div/div/div[2]/input')))
        submit = driver.find_element_by_css_selector('#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit')#wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit')))
        input.clear()
        input.send_keys(page_number)
        #此处设置等待时间是因为我本地的网速过快,不休眠一下,无法正常点击
        time.sleep(3)
        submit.click()
        time.sleep(3)
        #验证输入页页码和高亮页是否匹配
        wait.until(
            EC.text_to_be_present_in_element(
                (By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(page_number)
            )
        )
        get_products()
    #下面的异常抓取是函数递归,点击确定按钮失败后,重新加载此函数
    except TimeoutException:
        next_page(page_number)

def get_products():
    #pyquery的用法,我也不是很了解,后续加强学习,现在知道这么用
    wait.until(
        EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item'))
    )
    html = driver.page_source
    doc = pq(html)
    items = doc('#mainsrp-itemlist .items .item').items()
    for item in items:
        product = {
            'image':item.find('.pic .img').attr('src'),
            'price':item.find('.price').text().strip()[3:],
            'name':item.find('.title').text(),
            'shopname':item.find('.shop').text()

        }
        print(product)
        save_product_info(product)

##保存信息至MongoDB
def save_product_info(result):
    if db[MONGO_Table].insert(result):
        print('存储成功')

def main():
    total = search()
    total = int(re.compile('(\d+)').search(total).group(1))
    print(total)
    for i in range(2,total+1):
        next_page(i)

if __name__ == '__main__':
    main()

 

配置文件信息:

# -*-  coding:utf-8 -*-

MONGO_URL = 'localhost'
MONGO_DB = 'taobao'
MONGO_Table = 'product'

 

学习总结:


 

   爬虫越来越好玩了,继续学

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:python3全栈开发-面向对象的三大特性(继承,多态,封装)之继承

下一篇:Python中解码decode()与编码encode()与错误处理UnicodeDecodeErr