添加链接 注册    登录
link管理
链接快照平台
  • 输入网页链接，自动生成快照
  • 标签化管理网页链接
相关文章推荐
温文尔雅的罐头  ·  Add a Changelog ...·  3 月前    · 
快乐的卤蛋  ·  探索《The Last of Us》 | ...·  5 月前    · 
月球上的啄木鸟  ·  Using --xml option of ...·  5 月前    · 
火爆的春卷  ·  Keras ...·  6 月前    · 
玉树临风的鸵鸟  ·  【桥月专栏】无言而无不言——《无言之美》教学 ...·  11 月前    · 
link管理  ›  爬虫系列：seleinum调用chrome长时间运行后出现崩溃 | 自动化技术总结
谷歌浏览器 queryselector webdriver python爬虫
http://www.51automate.cn/2023/05/13/%E7%88%AC%E8%99%AB%E7%B3%BB%E5%88%97%EF%BC%9Aseleinum%E8%B0%83%E7%94%A8chrome%E9%95%BF%E6%97%B6%E9%97%B4%E8%BF%90%E8%A1%8C%E5%90%8E%E5%87%BA%E7%8E%B0%E5%B4%A9%E6%BA%83(%E5%86%85%E5%AD%98%E6%BA%A2%E5%87%BA)/
彷徨的酱牛肉
5 月前
加载中...
avatar
文章
44
标签
25
分类
0
首页
关于
留言板
友链
喜欢
  • 音乐
  • 电影
  • 照片
菜单
  • 归档
  • 标签
  • 分类
自动化技术总结
搜索
首页
关于
留言板
友链
喜欢
  • 音乐
  • 电影
  • 照片
菜单
  • 归档
  • 标签
  • 分类

爬虫系列：seleinum调用chrome长时间运行后出现崩溃

发表于 2023-05-13 | 更新于 2023-04-03
| 字数总计: 794 | 阅读时长: 3分钟 | 阅读量:

爬虫-系列:

  • 爬虫系列：seleinum调用chrome长时间运行后出现崩溃
  • 爬虫系列：BeautifulSoup4解析
  • 爬虫系列：自建并维护代理ip池
  • 爬虫系列：Python代理IP池项目构建成镜像文件并上传到Docker hub
  • 爬虫系列：反爬的几种措施
  • 爬虫系列：如何解决selenium打开网页加载时间过长的问题

    • 爬虫系列：seleinum调用chrome长时间运行后出现崩溃(内存溢出)

    image-20230403112708761

    场景

    selenium 和 chromedriver 做自动化爬虫的时候，如果你用到循环就会发现 chromedriver.exe 和浏览器进程越来越多，最后卡死，脚本停止运行。我每隔10分钟就要把脚本终止，然后再开始运行，只能达到“半自动”的效果。

    查阅资料后得知：chrome浏览器有内存泄漏的情况也可能是浏览器缓存过大，越堆越多。selenium模拟浏览器会产生大量的临时文件，那如何解决这个问题呢？

    我网上找了很多办法，有的用到JS，有的用kill去杀掉进程。最后发现最简洁/有效的办法

    解决方案0：

    调用refresh刷新一下即可，进程会自动消掉，内存也不会被吃完。脚本可以一直运行到天荒地老。 

    1
    2
    		 
    # 刷新页面，减少缓存
    driver.refresh()

    其他解决方案

    解决方案1：

    python清理浏览器缓存(chrome)

    进入清理缓存页，通过元素定位清理缓存 https://www.freesion.com/article/3732592128/ 

    1
    2
    3
    4
    5
    		 
    from selenium import webdriver
    from selenium.webdriver.common.keys import Keys
    driver = webdriver.Chrome()
    driver.get('chrome://settings/clearBrowserData')
    driver.find_element_by_xpath('//settings-ui').send_keys(Keys.ENTER)
    		 
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    		 

    from selenium import webdriver

    driver = webdriver.Chrome()
    # 设置隐式等待
    driver.implicitly_wait(10)

    # 清除缓存提示框
    driver.get('chrome://settings/clearBrowserData')

    # 2S 等待时间
    time.sleep(2)

    clearButton = driver.execute_script("return document.querySelector('settings-ui').shadowRoot.querySelector('settings-main').shadowRoot.querySelector('settings-basic-page').shadowRoot.querySelector('settings-section > settings-privacy-page').shadowRoot.querySelector('settings-clear-browsing-data-dialog').shadowRoot.querySelector('#clearBrowsingDataDialog').querySelector('#clearBrowsingDataConfirm')")

    clearButton.click()

    # driver.quit()

    		 
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    		 
    #coding=utf-8
    from selenium import webdriver
    from time import sleep
    from selenium.webdriver.support.select import Select

    class timing(object):
        def __init__(self):


            option = webdriver.ChromeOptions()
            option.add_argument("--user-data-dir=C:/Users/Administrator/AppData/Local/Google/Chrome/User Data")
            self.driver = webdriver.Chrome(chrome_options=option)
            self.driver.get('chrome://settings/clearBrowserData')

        def open(self):
            sleep(3)
            # 定位清除缓存按钮
            clearButton = self.driver.execute_script("return document.querySelector('settings-ui').shadowRoot.querySelector('settings-main').shadowRoot.querySelector('settings-basic-page').shadowRoot.querySelector('settings-section > settings-privacy-page').shadowRoot.querySelector('settings-clear-browsing-data-dialog').shadowRoot.querySelector('#clearBrowsingDataDialog').querySelector('#clearBrowsingDataConfirm')")
            # 赋值时间范围筛选的js
            js = 'return document.querySelector("body > settings-ui").shadowRoot.querySelector("#main").shadowRoot.querySelector("settings-basic-page").shadowRoot.querySelector("#basicPage > settings-section:nth-child(8) > settings-privacy-page").shadowRoot.querySelector("settings-clear-browsing-data-dialog").shadowRoot.querySelector("#clearFromBasic").shadowRoot.querySelector("#dropdownMenu")'
            # 查询时间范围
            Select(self.driver.execute_script(js)).select_by_value('4')
            sleep(3)
            # 清除缓存
            clearButton.click()
            sleep(6)
            # 关闭
            self.driver.close()


    if __name__ == '__main__':
        test = timing()
        test.open()

    解决方案2：

    selenium调用Chrome本身就会出现内存泄漏，换用firefox浏览器 https://blog.csdn.net/xpt211314/article/details/125050558

    解决方案3：

    尝试使用 无头模式 handless 解决，适合不需要页面的朋友（很显然不适合催单场景）

    拓展：

    仅清除cookie信息： 

    1
    		 
    driver.delete_all_cookies()

    注意 selenium webdriver退出方式 

    1
    		 
    `driver.close()`改为`driver.quit()`
     
    推荐文章
    温文尔雅的罐头  ·  Add a Changelog Format - contribute.liquibase.com
    3 月前
    快乐的卤蛋  ·  探索《The Last of Us》 | PlayStation 香港 (简中)
    5 月前
    月球上的啄木鸟  ·  Using --xml option of jacococli report fails if the folder does not exist · Issue #1100 · jacoco/jac
    5 月前
    火爆的春卷  ·  Keras 深度学习笔记（四）机器学习基础：模型评估与正则化 - 小昇的博客
    6 月前
    玉树临风的鸵鸟  ·  【桥月专栏】无言而无不言——《无言之美》教学设计_论证_美学_文学
    11 月前
    Link管理   ·   51好读   ·   Sov5搜索   ·   小百科
    link管理 - 链接快照平台