chrome 的 options 参数

. 背景

在使用selenium浏览器渲染技术，爬取网站信息时，默认情况下就是一个普通的纯净的chrome浏览器，而我们平时在使用浏览器时，经常就添加一些插件，扩展，代理之类的应用。相对应的，当我们用chrome浏览器爬取网站时，可能需要对这个chrome做一些特殊的配置，以满足爬虫的行为。

常用的行为有：

禁止图片和视频的加载：提升网页加载速度。添加代理：用于翻墙访问某些页面，或者应对IP访问频率限制的反爬技术。使用移动头：访问移动端的站点，一般这种站点的反爬技术比较薄弱。添加扩展：像正常使用浏览器一样的功能。设置编码：应对中文站，防止乱码。阻止JavaScript执行。………

2. chromeOptions

chromeOptions 是一个配置 chrome 启动是属性的类。通过这个类，我们可以为chrome配置如下参数（这个部分可以通过selenium源码看到）：

设置 chrome 二进制文件位置 (binary_location)添加启动参数 (add_argument)添加扩展应用 (add_extension, add_encoded_extension)添加实验性质的设置参数 (add_experimental_option)设置调试器地址 (debugger_address)源代码： # .\Lib\site-packages\selenium\webdriver\chrome\options.py class Options(object): def __init__(self): # 设置 chrome 二进制文件位置 self._binary_location = '' # 添加启动参数 self._arguments = [] # 添加扩展应用 self._extension_files = [] self._extensions = [] # 添加实验性质的设置参数 self._experimental_options = {} # 设置调试器地址 self._debugger_address = None 123456789101112131415 使用案例： # 设置默认编码为 utf-8，也就是中文 from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument('lang=zh_CN.UTF-8') driver = webdriver.Chrome(chrome_options = options) 123456

3. 常用配置

官方网站参考：https://sites.google.com/a/chromium.org/chromedriver/capabilities

3.1. 设置编码格式

# 设置默认编码为 utf-8，也就是中文 from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument('lang=zh_CN.UTF-8') driver = webdriver.Chrome(chrome_options = options) 123456

3.2. 模拟移动设备

移动设备user-agent表格：http://www.fynas.com/ua因为移动版网站的反爬虫的能力比较弱 # 通过设置user-agent，用来模拟移动设备 # 比如模拟 android QQ浏览器 options.add_argument('user-agent="MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"') # 模拟iPhone 6 options.add_argument('user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"') 123456

3.3. 禁止图片加载

不加载图片的情况下，可以提升爬取速度。 # 禁止图片的加载 from selenium import webdriver chrome_options = webdriver.ChromeOptions() prefs = {"profile.managed_default_content_settings.images": 2} chrome_options.add_experimental_option("prefs", prefs) # 启动浏览器，并设置好wait browser = webdriver.Chrome(chrome_options=chrome_options) browser.set_window_size(configure.windowHeight, configure.windowWidth) # 根据桌面分辨率来定，主要是为了抓到验证码的截屏 wait = WebDriverWait(browser, timeout = configure.timeoutMain) 1234567891011

3.4. 添加代理

为selenium爬虫添加代理，这个地方尤其需要注意的是，在选择代理时，尽量选择静态IP，才能提升爬取的稳定性。因为如果选择selenium来做爬虫，说明网站的反爬能力比较高（要不然直接上scrapy了），对网页之间的连贯性，cookies，用户状态等有较高的监测。如果使用动态匿名IP，每个IP的存活时间是很短的（1~3分钟）。 from selenium import webdriver # 静态IP：102.23.1.105：2005 # 阿布云动态IP：http://D37EPSERV96VT4W2:CERU56DAEB345HU90@proxy.abuyun.com:9020 PROXY = "proxy_host:proxy:port" options = webdriver.ChromeOptions() desired_capabilities = options.to_capabilities() desired_capabilities['proxy'] = { "httpProxy": PROXY, "ftpProxy": PROXY, "sslProxy": PROXY, "noProxy": None, "proxyType": "MANUAL", "class": "org.openqa.selenium.Proxy", "autodetect": False } driver = webdriver.Chrome(desired_capabilities = desired_capabilities) 12345678910111213141516

3.5. 浏览器选项设置

selenium一般打开的是不带扩展的纯净的浏览器，但是有时候我们想对浏览器进行一些设置，比如 设置flash选项的默认值为全局始终允许，清除cookies，清除缓存 之类。

想要实现这个目的，有一种思路，下面以chrome浏览器为例：

在selenium爬虫启动时，首先开一个窗口，在地址栏键入：chrome://settings/content 或 chrome://settings/privacy，然后由程序，像操作普通网页一样，进行设置，保存。 

3.6. 添加浏览器扩展应用

selenium一般打开的是不带扩展的纯净的浏览器，但是有时候我们爬取数据时需要借助一些插件，比如解析类xpath helper，翻译类，获取额外信息（销量）等。那我们怎么在启动chromedriver时，带上一些我们需要的插件呢？

下面以在chrome中加载Xpath Helper插件为例：

3.6.1. 下载相应的插件

Xpath Helper下载地址：http://download.csdn.net/download/gengliang123/9944202  如下，是一个 以 crx 为后缀的文件： 

3.6.2. 将插件路径填入代码中

# 添加xpath helper应用 from selenium import webdriver chrome_options = webdriver.ChromeOptions() # 设置好应用扩展 extension_path = 'D:/extension/XPath-Helper_v2.0.2.crx' chrome_options.add_extension(extension_path) # 启动浏览器，并设置好wait browser = webdriver.Chrome(chrome_options=chrome_options) 1234567891011

3.6.3. 结果展示

4. 其他参数

参考文章：http://blog.csdn.net/liaojianqiu0115/article/details/78353267

4.1. chrome地址栏命令

在Chrome的浏览器地址栏中输入以下命令，就会返回相应的结果。这些命令包括查看内存状态，浏览器状态，网络状态，DNS服务器状态，插件缓存等等。但是需要注意的是这些命令会不停的变动，所以不一定都是好用的。

about:version - 显示当前版本  about:memory - 显示本机浏览器内存使用状况  about:plugins - 显示已安装插件  about:histograms - 显示历史记录  about:dns - 显示DNS状态  about:cache - 显示缓存页面  about:gpu -是否有硬件加速  about:flags -开启一些插件 //使用后弹出这么些东西：“请小心，这些实验可能有风险”，不知会不会搞乱俺的配置啊！  chrome://extensions/ - 查看已经安装的扩展

5.2. chrome实用参数　　

其他的一些关于Chrome的实用参数及简要的中文说明，使用方法同上4.5.4，当然也可以在shell中使用。

–user-data-dir=”[PATH]” 指定用户文件夹User Data路径，可以把书签这样的用户数据保存在系统分区以外的分区。  –disk-cache-dir=”[PATH]“ 指定缓存Cache路径  –disk-cache-size= 指定Cache大小，单位Byte  –first run 重置到初始状态，第一次运行  –incognito 隐身模式启动  –disable-javascript 禁用Javascript  –omnibox-popup-count=”num” 将地址栏弹出的提示菜单数量改为num个。我都改为15个了。  –user-agent=”xxxxxxxx” 修改HTTP请求头部的Agent字符串，可以通过about:version页面查看修改效果  –disable-plugins 禁止加载所有插件，可以增加速度。可以通过about:plugins页面查看效果  –disable-javascript 禁用JavaScript，如果觉得速度慢在加上这个  –disable-java 禁用java  –start-maximized 启动就最大化  –no-sandbox 取消沙盒模式  –single-process 单进程运行  –process-per-tab 每个标签使用单独进程  –process-per-site 每个站点使用单独进程  –in-process-plugins 插件不启用单独进程  –disable-popup-blocking 禁用弹出拦截  –disable-plugins 禁用插件  –disable-images 禁用图像  –incognito 启动进入隐身模式  –enable-udd-profiles 启用账户切换菜单  –proxy-pac-url 使用pac代理 [via 1/2]  –lang=zh-CN 设置语言为简体中文  –disk-cache-dir 自定义缓存目录  –disk-cache-size 自定义缓存最大值（单位byte）  –media-cache-size 自定义多媒体缓存最大值（单位byte）  –bookmark-menu 在工具 栏增加一个书签按钮  –enable-sync 启用书签同步  –single-process 单进程运行Google Chrome  –start-maximized 启动Google Chrome就最大化  –disable-java 禁止Java  –no-sandbox 非沙盒模式运行

常用:

–single-process 单进程运行Google Chrome  –start-maximized 启动Google Chrome就最大化  –disable-java 禁止Java  –no-sandbox 非沙盒模式运行

参考：https://blog.csdn.net/zwq912318834/article/details/78933910

           https://blog.csdn.net/xc_zhou/article/details/82415870