Pyppeteer 手册

pyperteer是puppeteer的Python实现，相比于selenium具有异步加载、速度快、具备有界面/无界面模式、伪装性更强不易被识别为机器人同时可以伪装手机平板等终端；但是也有一些缺点，如接口不易理解、语义晦涩；

官方案例

官方文档链接
1
2
3
4
5
6
7
8
9
10
11
import asyncio
from pyppeteer import launch

async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('http://example.com')
    await page.screenshot({'path': 'example.png'})
    await browser.close()

asyncio.get_event_loop().run_until_complete(main())
async 声明一个异步操作。

await 声明一个耗时操作。

asyncio.get_event_loop().run_until_complete(main()) 创建异步池并执行main函数。

browser = await launch() 创建浏览器对象，可以传入字典形式参数

page = await browser.newPage() 创建一个页面对象，页面操作在该对象上执行

await page.goto('http://example.com') 页面跳转

await page.screenshot({'path': 'example.png'}) 截图保存

await browser.close() 关闭浏览器对象

launch常用配置
browesr = await launch({'headless'：True}) 中接受字典形式的关键字配置, 也可以直接接收键值对的方式进行配置

 launch中的args配置
args=[‘–disable-infobars’] 关闭受控制提示

args=[‘–window-size=1366,768’] 设置浏览器界面大小

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

"""案例"""
import asyncio
from pyppeteer import launch

width, height = 500, 300 # 尺寸配置
"""如果要单独写到配置高宽，需要在window-size前面加上f哦"""

async def main():
browser = await launch(
headless=False,
args=['--disable-infobars', f'--window-size={width},{height}'],
)
page = await browser.newPage()
await page.goto('http://www.taobao.com')
await page.screenshot({'path': 'example.png'})
await browser.close()

asyncio.get_event_loop().run_until_complete(main())

连接启动

启动链接浏览器有2种方法

launch 启动链接一个新的浏览器

connect 链接已经打开的浏览器，便于在崩溃后重链

后者需要引入 from pyppeteer import launcher 并且必须带上 browserWSEndpoint 参数，该参数可以通过 browser.wsEndpoint 获得

 Browser浏览器类
该类可以对浏览器进行管理，包括但不限于打开、关闭、取值等

 官方参数说明

举例
1
2
3
4
5
6
7
"""无痕模式"""
    # context = await browser.createIncogniteBrowserContext()  # 无痕模式浏览器
    # page = await context.newPage()
    
await browser.disconnect()  # 断开浏览器，断开后可以通过connect连接
print(browser.process)  # 返回浏览器进程  如果断开链接的情况返回None
"""还有多种使用方法参考官方文档"""
BrowserContext类

基类：pyee.EventEmitter

BrowserContext 用于创建多个独立的浏览器会话，启动浏览器时，它默认使用一个 BrowserContext。browser.newPage() 在默认浏览器上下文中创建页面，如果页面打开另一个页面，例如通过 window.open 调用，则弹出窗口也属于初始化创建的浏览器上下文。

可以通过 browser.createIncognitoBrowserContext() 再创建一个隐身浏览器进程，“隐身”浏览器上下文不会将任何数据写入磁盘。

Page页面接口
页面操作都在Page类上，也是最为核心的部分。可以修改本地js、css，也可以给页面添加js函数，甚至添加自定义函数到浏览器的windows属性中，也有js拦截相关的设置，更有终端模拟设置，这些功能是比driver更为强大的功能，但是也有一些劣势如页面超时方面比driver弱、选择器不简洁等问题。

官方Page使用说明

修改网站检测浏览器特征值
selenium的execute_script()方法，还是pyppeteer的evaluate()方法执行下面代码都能临时修改浏览器属性中的webdriver属性，当页面刷新或者跳转之后该值就原形毕露。

1

() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }

但是pyppeteer的最底层是封装的puppeteer，是js库，是和网站源码交互最深的方式，在pyppeteer中提供了一个方法：evaluateOnNewDocument()，该方法是将一段js代码加载到页面文档中，当发生页面导航、页面内嵌框架导航的时候加载的js代码会自动执行，那么当页面刷新的时候该js也会执行，这样就保证了修改网站的属性持久化的目的。

1
2

await page.evaluateOnNewDocument('() =>{ Object.defineProperties(navigator,'
'{ webdriver:{ get: () => false } }) }') # 本页刷新后值不变

完整demo代码

1
2
3
4
5
6
7
8
9
10
11
12
13

import asyncio,time
from pyppeteer import launch

async def main():
browser = await launch(headless=False)
page = await browser.newPage() # 创建新页面并返回对象
await page.evaluateOnNewDocument('() =>{ Object.defineProperties(navigator,'
'{ webdriver:{ get: () => false } }) }') # 本页刷新后值不变
await page.goto('https://intoli.com/blog/not-possible-to-block-chrome-headless/chrome-headless-test.html')
time.sleep(10)

asyncio.get_event_loop().run_until_complete(main())

其余类

Keyboard键盘、

Keyboard 是键盘事件相关的类，Worker 类是网站生命周期相关操作相关的类。

提供强大的键盘操作文档

Worker生命周期

Mouse鼠标

Tracing性能跟踪

Dialog对话框类

Frame和ExecutionContext类

Frame类用于操作网页的内嵌框架相关的事件、ExecutionContext是用于处理与页面交互的js函数。

JSHandle和ElementHandle

JSHandle和ElementHandle，其中JSHandle是网页内的js对象，该类包含了一系列的js对象方法；而ElementHandle是网页类的dom元素，封装了一系列对Dom元素的操作方法。

Request对象

esponse对于pyppeteer而言就犹如scrapy的Request对象一样，甚至更为强大一些，它可以拦截请求、修改请求、模拟客户端的通信。

Response、Target

pyppeteer的请求对象Request，在开启拦截器的情况下，可以对网站发出的请求进行拦截、修改、模拟等操作，犹如scrapy的request对象一样；response也是一个可以被解析的对象，同时还附带浏览器的其他可用信息；Target 可以说是一个页面对象也可以说是指向一个页面对象的事件，它具有page类的一些常用方法。

CDPSession、Coverage、Debugging

CDPSession是提供原生DevTools协议下的浏览器交互；Coverage用于统计js、css在初始状态下的执行比例、Debugging用于设置调试的日志输出级别。

1. Pyppeteer 手册

2. 官方案例

2.1. launch常用配置

2.2. launch中的args配置

3. 连接启动

4. Browser浏览器类

5. BrowserContext类

6. Page页面接口

7. 修改网站检测浏览器特征值

8. 其余类

8.1. Keyboard键盘、

8.2. Worker生命周期

8.3. Mouse鼠标

8.4. Tracing性能跟踪

8.5. Dialog对话框类

8.6. Frame和ExecutionContext类

8.7. JSHandle和ElementHandle

8.8. Request对象

8.9. Response、Target

8.10. CDPSession、Coverage、Debugging