Scrapy+Selenium爬取动态渲染网站

目录 1.简介2.安装 Selenium3.安装驱动 3.1 Chrome3.2 Firefox3.3 其它浏览器驱动下载 4.Selenium使用 4.1 Chrome 配置4.2 Firefox 配置4.3 不显示打开浏览器的界面4.4 禁用浏览器弹窗4.5 driver属性和方法

1.简介

Selenium是一个用于Web应用程序测试的工具。直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Firefox，Safari，Chrome，Opera等，在爬虫上则是模拟正常用户访问网页并获取数据。

2.安装 Selenium

> pip install selenium

3.安装驱动

模拟真正的用户操作当然需要选择好用来操作的浏览器，根据浏览器来安装相应的驱动调起。

3.1 Chrome

使用selenium驱动chrome浏览器需要下载chromedriver，而且chromedriver版本需要与chrome的版本对应，版本错误的话则会运行报错。

查看chrome的版本，可通过帮助 > 关于Google Chrome(G)。

下载chromedriver可以通过淘宝镜像地址：http://npm.taobao.org/mirrors/chromedriver/ 。最新的镜像与Chrome同名，尽量选择版本相近的避免兼容问题，镜像下notes.txt可查看当前驱动支持的版本。

选择合适的版本下载，下载完解压将chromedriver.exe放在有设置环境变量的目录下，小编是放在python的安装目录下的，即python.exe所在的目录。

3.2 Firefox

使用selenium驱动Firefox浏览器需要下载geckodriver，查看浏览器版本通过帮助 > 关于 Firefox。

下载geckodriver可通过mozilla的仓库地址：https://github.com/mozilla/geckodriver/releases 。

选择合适的版本下载，解压后geckodriver.exe同样也是放在python的安装目录下。

3.3 其它浏览器驱动下载

Opera：http://npm.taobao.org/mirrors/operadriver/

IE：http://selenium-release.storage.googleapis.com/index.html （版本号要与selenium的版本一致，查看安装的selenium版本，可通过pip show selenium）如果没有vpn可能会打不开，可点击下载3.14.0版本的。

4.Selenium使用

4.1 Chrome 配置

options = webdriver.ChromeOptions() ## 无界面 # options.add_argument('--headless') driver = webdriver.Chrome(chrome_options=options) driver.set_window_size(1366, 768) driver.set_page_load_timeout(self.timeout)

注意Chrome可能需要管理员权限相关配置，小编习惯性用Firefox?

4.2 Firefox 配置

# 实例化参数对象 options = webdriver.FirefoxOptions() # 无界面 # options.add_argument('--headless') driver = webdriver.Firefox(firefox_options=options) driver.set_window_size(1400, 700) driver.set_page_load_timeout(self.timeout)

4.3 不显示打开浏览器的界面

有的时候我们不想要看到爬取的一步步操作，只关心结果，则可以在参数配置

# 无界面 options.add_argument('--headless')

4.4 禁用浏览器弹窗

不是页面弹窗，是浏览器设置里的弹窗。在打开浏览器时，使用参数配置关闭 Firefox

options.set_preference('dom.webnotifications.enabled', False) options.set_preference('dom.push.enabled', False)

Chrome

prefs = { 'profile.default_content_setting_values': { 'notifications': 2 } } options.add_experimental_option('prefs', prefs)

4.5 driver属性和方法

页面加载

driver.get("http://www.baidu.com")

关闭浏览器

# 爬虫结束关闭浏览器 driver.close()

获取当前url

driver.current_url

刷新

driver.refresh()

页面标题

driver.title

页面渲染后的源码

driver.page_source

获取窗口信息

driver.get_window_rect()

获取当前窗口的x,y坐标和当前窗口的高度和宽度，如：{‘height’: 1366, ‘width’: 768, ‘x’: 0, ‘y’: 200}

设置 User Agent(Firefox为例)

profile = webdriver.FirefoxProfile() profile.set_preference("general.useragent.override", "some UA string") driver = webdriver.Firefox(profile=profile)

执行js脚本

使用driver.execute_script([js脚本],*args)同步执行，如滑动到第一个class为cm-explain-bottom的元素位置。

driver.execute_script( "document.getElementsByClassName('cm-explain-bottom')[0].scrollIntoView(true)")

异步执行使用driver.execute_async_script([js脚本],*args)，*argsw为执行js代码要传入的参数。

查找元素

返回一个WebElement对象。

通过id属性：element = driver.find_element_by_id("coolestWidgetEvah")通过class属性：cheeses = driver.find_elements_by_class_name("cheese")通过标签名：frame = driver.find_element_by_tag_name("iframe")通过css选择器：cheese = driver.find_element_by_css_selector("#food span.dairy.aged")通过name属性：cheese = driver.find_element_by_name("cheese")通过xpath：inputs = driver.find_elements_by_xpath("//input")通过链接文本（完全匹配）：cheese = driver.find_element_by_link_text("cheese")通过链接文本（部分匹配）：cheese = driver.find_element_by_partial_link_text("cheese")

元素(WebElement)的属性和方法

标签下文本：element.text

点击：element.click()

表单提交：element.submit()

输入：element.send_keys(123)

示例：

# 等待邮箱和密码可定位及登录按钮可提交，清空输入框，分别输入用户名密码点击提交按钮 email = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#email"))) passwd = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#pass"))) submit = self.wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#loginbutton'))) email.clear() passwd.clear() email.send_keys(user) passwd.send_keys(password) submit.click()

Cookie操作

driver.get("http://www.example.com") # 给当前url域设置cookie # name的值对应cookie key，value的值对应cookie value driver.add_cookie({'name':'key', 'value':'value', 'path':'/'}) # 可选的属性 # 'domain' -> String, # 'secure' -> Boolean, # 'expiry' -> Milliseconds since the Epoch it should expire. # 输出当前url所有的Cookie for cookie in driver.get_cookies(): print "%s -> %s" % (cookie['name'], cookie['value']) # 通过name删除Cookie driver.delete_cookie("CookieName") # 删除所有的Cookie driver.delete_all_cookies()

切换页面框架或窗口

driver.switch_to.window("windowName")

切换默认框架：driver.switch_to.default_content()

切换最新窗口：

windows = driver.window_handles # 切换到最新打开的窗口中 switch_to.window(windows[-1])

获取最新的alert弹窗

alert = driver.switch_to.alert # 关闭弹窗 alert.dismiss()

当前的url返回或者跟进

driver.forward() driver.back()

截屏

# 返回页面的base64编码字符串 base64 = driver.get_screenshot_as_base64() # 返回保存到文件的结果 result = driver.get_screenshot_as_file("D:\\example.png") # png格式的二进制字符串 pngSrc = driver.get_screenshot_as_png()

使用Selenium爬取七麦数据APP排行榜：点击前往

原文链接