使用selenium+chromedriver+xpath爬取动态加载信息

#_*_coding:utf-8_*_
# 作者      ：liuxiaowei
# 创建时间   ：2/7/22 6:43 PM
# 文件      ：获取京东商品信息.py
# IDE      ：PyCharm
from selenium import webdriver  # 导入浏览器驱动模块
from selenium.webdriver.support.wait import WebDriverWait  # 导入等待类
from selenium.webdriver.support import expected_conditions as EC  # 等待条件
from selenium.webdriver.common.by import By                       # 节点定位
#from selenium.webdriver.chrome.service import Service
    # 创建谷歌浏览器驱动参数对象
    chrome_options = webdriver.ChromeOptions()
    # 不加载图片
    prefs = {"profile.managed_default_content_settings.images": 2}
    chrome_options.add_experimental_option("prefs", prefs)
    # 使用headless无界面浏览器模式
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    # 加载谷歌浏览器驱动
		driver = webdriver.Chrome(options = chrome_options, executable_path='chromedriver')
    # 请求地址
    driver.get('https://item.jd.com/12353915.html')
    wait = WebDriverWait(driver,10)    # 等待10秒
    # 等待页面加载class名称为m-item-inner的节点，该节点中包含商品信息
    wait.until(EC.presence_of_element_located((By.CLASS_NAME,"w")))
    # 获取name节点中所有div节点
    name_div1 = driver.find_element(By.XPATH,'//div[@class="sku-name"]')
    name_div2 = driver.find_element(By.XPATH, '//div[@class="news"]/div[@class="item hide"]')
    name_div3 = driver.find_element(By.XPATH, '//div[@class="p-author"]')
    summary_price = driver.find_element(By.XPATH, '//div[@class="summary-price J-summary-price"]')
    print('提取的商品标题如下：')
    print(name_div1.text)         # 打印商品标题
    print('提取的商品宣传语如下：')
    print(name_div2.text)         # 打印宣传语
    print('提取的编著信息如下：')
    print(name_div3.text)         # 打印编著信息
    print('提取的价格信息如下：')
    print(summary_price.text.strip('降价通知'))       # 打印价格信息
    driver.quit()  # 退出浏览器驱动
except Exception as e:
    print('显示异常信息！', e)
程序运行结果如下：
提取的商品标题如下：
零基础学Python（Python3.9全彩版）（编程入门 项目实践 同步视频）
提取的商品宣传语如下：
彩色代码更易学。Python编程从入门到实践书籍，网络爬虫、游戏开发、数据分析等深度学习。赠全程视频+源码+课后题+实物挂图+学习应用地图+电子书+图书答疑
提取的编著信息如下：
明日科技 著
提取的价格信息如下：
京 东 价
￥ 72.00 [9.03折] [定价 ￥79.80] 
selenium 模块的常用方法
selenium 模块支持多种获取网页节点的方法，其中比较常用的方法如下表：
​ selenium 模块获取网页节点的常用方法及描述
常用方法
描 述
driver.find_element_by_id()
根据id获取节点，参数为字符类型id对应的值
driver.find_element_by_name()
根据name获取节点，参数为字符类型name对应的值
driver.find_element_by_xpath()
根据XPATH获取节点，参数为字符类型XPATH对应的值
driver.find_element_by_link_text()
根据链接文本获取节点，参数为字符类型链接文本
driver.find_element_by_tag_name()
根据节点名称获取节点，参数为字符类型节点文本
driver.find_element_by_class_name()
根据class获取节点，参数为字符类型class对应的值
driver.find_element_by_css_selector()
根据CSS选择器获取节点，参数为字符类型的CSS选择器语法
上表所有获取节点的方法均为获取单个节点的方法，如需要获取符合条件的多个节点时，可以在对应方法中element后面添加s即可。
除了以上常用的获取节点的方法外，还可以使用driver.find_element()方法获取单个节点，使用driver.find_elements()方法获取多个节点。只是在调用这两种方法时，需要为其指定by与value参数。其中by参数表示获取节点的方式，而value为获取方式对应的值（可以理解为条件）。示例代码如下：
		# 获取商品信息节点中的所有div节点
  	name_div = driver.find_element(By.XPATH,'//div[@class="itemInfo-wrap"]').find_elements(By.TAG_NAME, 'div')
    # 提取并输出单个div节点的内容
    print('提取的商品标题如下：')
    print(name_div[0].text)         # 打印商品标题
    print('提取的商品宣传语如下：')		 # 打印商品宣传语
    print(name_div[1].text)    
程序运行结果如下：
提取的商品标题如下：
零基础学Python（Python3.9全彩版）（编程入门 项目实践 同步视频）
提取的商品宣传语如下：
彩色代码更易学。Python编程从入门到实践书籍，网络爬虫、游戏开发、数据分析等深度学习。赠全程视频+源码+课后题+实物挂图+学习应用地图+电子书+图书答疑
明日科技 著
以上代码中首先使用find_element()方法获取class值为“itemInfo-warp“的整个节点，然后在该节点中通过find_elements()方法获取节点名称div的所有节点，最后通过name_div[0].text,name_div[1].text获取所有div中第一个第二个div内的文本信息。
下面是By的其他属性及用法
By属性
用 法
By.ID
表示根据ID值获取对应的单个或多个节点
By.LINK_TEXT
表示根据链接文本获取对应的单个或多个节点
By.PARTIAL_LINK_TEXT
表示根据部分链接文本获取对应的单个或多个节点
By.NAME
根据name值获取对应的单个或多个节点
By.TAG_NAME
根据节点名称获取单个或多个节点
By.CLASS_NAME
根据class值获取单个或多个节点
By.CSS_SELECTOR
根据CSS选择器获取单个或多个节点，对应的value为字符串CSS的位置
By.XPATH
根据By.XPATH获取单个或多个节点，对应的value字符串节点位置
在使用selenium模块获取某个节点中的某个属性所对应的值时，可以使用get_attribute()方法来实现，示例代码如下：
# 根据XPath定位获取指定节点中的href地址
href = driver.find_element(By.XPATH, '//div[@id="p-author"]/a').get_attribute('href')
print('指定节点中的地址信息如下：')
程序运行结果如下：
指定节点中的地址信息如下：
https://book.jd.com/writer/%E6%98%8E%E6%97%A5%E7%A7%91%E6%8A%80_1.html
本案例中需要注意的是加载浏览器驱动，一定要指定chromedriver的路径。语法如下：
 # 加载谷歌浏览器驱动
driver = webdriver.Chrome(options = chrome_options, executable_path='chromedriver')  # 本例驱动与爬虫程序在同一路																																											径
关闭浏览器页面
driver.close()：关闭当前页面
driver.quit()：退出整个浏览器
到此这篇关于使用selenium+chromedriver+xpath爬取动态加载信息的文章就介绍到这了,更多相关selenium chromedriver xpath爬取内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
您可能感兴趣的文章:
selenium与xpath之获取指定位置的元素的实现
Python Selenium XPath根据文本内容查找元素的方法
python selenium xpath定位操作
java selenium XPath 定位实现方法
2022-02-02
2022-02-02
2022-02-02
2022-02-02
2022-02-02
2022-02-02
2022-02-02
2022-02-02
2021-11-19
2021-11-09
2021-11-05
2021-10-26
电脑版 - 返回首页
2006-2024 脚本之家 JB51.Net , All Rights Reserved.
苏ICP备14036222号