python3 爬虫—爬取天气预报多个城市七天信息（三）_抓取七天数据所在的li标签

link管理
链接快照平台
输入网页链接，自动生成快照
标签化管理网页链接
相关文章推荐
高大的灯泡 · 暴雨洪水来袭 ...· 5 天前 ·
热心的罐头 · GitHub - ...· 2 周前 ·
淡定的钥匙 · 在体验了上百款iOS小组件后，我推荐你使用这些· 1 月前 ·
个性的啄木鸟 · 【驻马店板桥镇天气】驻马店板桥镇今天天气预报 ...· 1 月前 ·
还单身的打火机 · 建国以来黄山市境内主要洪水发生情况简览!_降 ...· 1 月前 ·
愉快的匕首 · Access Denied· 4 周前 ·
谦虚好学的香槟 · Address false ...· 2 月前 ·
聪明伶俐的墨镜 · jenkins ...· 3 月前 ·
睡不着的地瓜 · canvas学习之圆和圆弧的绘制· 5 月前 ·
善良的伏特加 · Python中除了matplotlib外还有 ...· 8 月前 ·
一、内容：
利用BeautifulSoup抓取中国天气网各个城市7天的时间天气状态最高温最低温的相关信息，并记录保存在本地csv表格文件中。
以杭州为例： http://www.weather.com.cn/weather/101210101.shtml
爬取的页面截图：
html获取信息截图：
二、原理：
1.利用requests获取请求、BeautifulSoup抓取数据。
2.通过readlines()读取city.txt文件的天气接口来生成各城市的url
3.通过第三方库csv将抓取的到的数据写入 weather .csv表格
 获取URL： 
#  获取每个城市对应天气的url
def get_url(city_name):
    url = 'http://www.weather.com.cn/weather/'
    with open('D:\py_project\weather\city.txt', 'r', encoding='UTF-8') as fs:
        lines = fs.readlines()
        for line in lines:
            if(city_name in line):
                code = line.split('=')[0].strip()
                return url + code + '.shtml'
    raise ValueError('invalid city name')
发送URL GET请求，获取response： 
#  对网页获取get请求，得到的是response对象
def get_content(url, data=None):
    #  模拟浏览器访问
    header = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, sdch',
        'Accept-Language': 'zh-CN,zh;q=0.8',
        'Connection': 'keep-alive',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'
    #  超时，取随机数是因为防止被网站认定为网络爬虫
    timeout = random.choice(range(80, 180))
    while True:
            #  获取请求数据
            rep = requests.get(url, headers=header, timeout=timeout)
            rep.encoding = 'utf-8'
            break
        except socket.timeout as e:
            print('3:', e)
            time.sleep(random.choice(range(8, 15)))
        except socket.error as e:
            print('4:', e)
            time.sleep(random.choice(range(20, 60)))
        except http.client.BadStatusLine as e:
            print('5:', e)
            time.sleep(random.choice(range(30, 80)))
        except http.client.BadStatusLine as e:
            print('6:', e)
            time.sleep(random.choice(range(5, 15)))
    return rep.text 
抓取天气信息： 
# 获取html中我们所需要的字段：
def get_data(html_text, city_name):
    #  final元组存放七天的数据
    final = []
    t = []
    t.append(city_name)
    final.append(t)
    bs = BeautifulSoup(html_text, "html.parser")  # 创建BeautifulSoup对象，解析器为：html.parser
    body1 = bs.body  # 获取body部分
    #  print(body1)
    data = body1.find('div', {'id': '7d'})  # 找到id为7d的div
    ul = data.find('ul')  # 获取ul部分
    li = ul.find_all('li')  # 获取所有的li
    for day in li:   # 对每个li标签中的内容进行遍历
        # temp代存每日的数据
        temp = []
        #  添加日期
        data = day.find('h1').string   # 找到日期
        temp.append(data)  # 添加到temp中
        inf = day.find_all('p')  # 找到li中的所有p标签
        #  添加天气状况
        temp.append(inf[0].string)  # 第一个p标签中的内容（天气状况）加到temp中
        #  添加最高气温
        if inf[1].find('span') is None:
            temperature_highest = None  # 天气当中可能没有最高气温（傍晚）
        else:
            temperature_highest = inf[1].find('span').string  # 找到最高气温
            temperature_highest = temperature_highest.replace('℃', '')
        temp.append(temperature_highest)  # 将最高温添加进去
        # 添加最低气温
        temperature_lowest = inf[1].find('i').string  # 找到最低温
        temperature_lowest = temperature_lowest.replace('℃', '')  # 最低温度后面有个℃，去掉这个符号
        temp.append(temperature_lowest)  # 将最低温添加上去
        final.append(temp)  # 将temp 加到final中
    return final
保存信息到CSV中：
  
# 将抓取出来的数据写入文件
def write_data(city_name, data, file_name):
    with open(file_name, 'a', errors='ignore', newline='') as f:
        f_csv = csv.writer(f)
        f_csv.writerows(data)
        print('%s 天气已添加成功' % city_name)
三、完整代码： 
import requests
import csv
import random
import time
import socket
import http.client
from bs4 import BeautifulSoup
#  获取每个城市对应天气的url
def get_url(city_name):
    url = 'http://www.weather.com.cn/weather/'
    with open('D:\py_project\weather\city.txt', 'r', encoding='UTF-8') as fs:
        lines = fs.readlines()
        for line in lines:
            if(city_name in line):
                code = line.split('=')[0].strip()
                return url + code + '.shtml'
    raise ValueError('invalid city name')
#  对网页获取get请求，得到的是response对象
def get_content(url, data=None):
    #  模拟浏览器访问
    header = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, sdch',
        'Accept-Language': 'zh-CN,zh;q=0.8',
        'Connection': 'keep-alive',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'
    #  超时，取随机数是因为防止被网站认定为网络爬虫
    timeout = random.choice(range(80, 180))
    while True:
            #  获取请求数据
            rep = requests.get(url, headers=header, timeout=timeout)
            rep.encoding = 'utf-8'
            break
        except socket.timeout as e:
            print('3:', e)
            time.sleep(random.choice(range(8, 15)))
        except socket.error as e:
            print('4:', e)
            time.sleep(random.choice(range(20, 60)))
        except http.client.BadStatusLine as e:
            print('5:', e)
            time.sleep(random.choice(range(30, 80)))
        except http.client.BadStatusLine as e:
            print('6:', e)
            time.sleep(random.choice(range(5, 15)))
    return rep.text
# 获取html中我们所需要的字段：
def get_data(html_text, city_name):
    #  final元组存放七天的数据
    final = []
    t = []
    t.append(city_name)
    final.append(t)
    bs = BeautifulSoup(html_text, "html.parser")  # 创建BeautifulSoup对象，解析器为：html.parser
    body1 = bs.body  # 获取body部分
    #  print(body1)
    data = body1.find('div', {'id': '7d'})  # 找到id为7d的div
    ul = data.find('ul')  # 获取ul部分
    li = ul.find_all('li')  # 获取所有的li
    for day in li:   # 对每个li标签中的内容进行遍历
        # temp代存每日的数据
        temp = []
        #  添加日期
        data = day.find('h1').string   # 找到日期
        temp.append(data)  # 添加到temp中
        inf = day.find_all('p')  # 找到li中的所有p标签
        #  添加天气状况
        temp.append(inf[0].string)  # 第一个p标签中的内容（天气状况）加到temp中
        #  添加最高气温
        if inf[1].find('span') is None:
            temperature_highest = None  # 天气当中可能没有最高气温（傍晚）
        else:
            temperature_highest = inf[1].find('span').string  # 找到最高气温
            temperature_highest = temperature_highest.replace('℃', '')
        temp.append(temperature_highest)  # 将最高温添加进去
        # 添加最低气温
        temperature_lowest = inf[1].find('i').string  # 找到最低温
        temperature_lowest = temperature_lowest.replace('℃', '')  # 最低温度后面有个℃，去掉这个符号
        temp.append(temperature_lowest)  # 将最低温添加上去
        final.append(temp)  # 将temp 加到final中
    return final
# 将抓取出来的数据写入文件
def write_data(city_name, data, file_name):
    with open(file_name, 'a', errors='ignore', newline='') as f:
        f_csv = csv.writer(f)
        f_csv.writerows(data)
        print('%s 天气已添加成功' % city_name)
if __name__ == '__main__':
    cities = input('请输入城市名称（一个或多个，以空格隔开）： ').split(' ')
    for city in cities:
        url = get_url(city)  # 获取城市天气的url
        html = get_content(url)  # 获取网页html
        result = get_data(html, city)  # 爬去城市的信息
        write_data(city, result, 'D:\py_project\weather\weather.csv')  # 将爬取得信息填入表格文件
                                    前期回顾：你要偷偷的学Python，然后惊呆所有人（第六天）前一天说了，我们今天要进入到爬虫的学习，对，今天我们开始爬本系列文默认各位有一定的C或C++基础，因为我是学了点C++的皮毛之后入手的Python。本系列文默认各位会百度，学习‘模块’这个模块的话，还是建议大家有自己的编辑器和编译器的，上一篇已经给大家做了推荐啦？
                                    通过python脚本，来获取最近的天气情况这样就不必每次打开网站查询天气了思路分析：1.决定好要抓取哪个城市的天气情况，获取天气预报网站的页面内容2.匹配网页内容中天气情况#!/usr/bin/env python# coding:utf-8import urllib2,refrom bs4 import BeautifulSoupimport sysreload(sys)sys.setdefau...
                                    天气预报我们每天都会关注，我们可以根据未来的天气增减衣物、安排出行，每天的气温、风速风向、相对湿度、空气质量等成为关注的焦点。本次使用python中requests和BeautifulSoup库对中国天气网当天和未来14天的数据进行爬取，保存为csv文件，之后用matplotlib、numpy、pandas对数据进行可视化处理和分析，得到温湿度度变化曲线、空气质量图、风向雷达图等结果，为获得未来天气信息提供了有效方法。
                                    今天我们来爬取中国气象局官网的天气预报信息，我们不但要获取今天的天气信息，还要获取未来6天的天气预报信息
分析网页结构
我们在设计网络爬虫程序之前，首先要分析网页的代码结构
这里我放上官网地址：
http://www.weather.com.cn/
我们这次要获取的是北京市的天气预报信息
不同的城市他们的域名不一样（图中画圈地方），大家可以各自尝试一下
我们按 F12 进入网页代码查看器，当前页面的代码结构如下图
注意，除了今天，未来六天的天气预报中将气温分成了最高气温和最低气温两个
我们可以看到：
                                    中央气象台网站提供了1-7天的各要素天气预报和分时段天气预报、生活指数预报信息。该网站通过气象观测数据和数值模型分析，提供了全国范围内各地区未来几天的天气预报和生活指数。用户可以通过该网站获取准确的天气预报，以便做出相应的气象决策和安排。无论是个人还是专业人士，都可以在中央气象台网站上获取可靠的天气预报信息，以帮助其日常生活或工作中的气象需求。武汉7天天气预报和分时段天气预报武汉7天天气预报和生活指数。
                                    在这篇文章中，我们介绍了如何使用Python编写一个简单的爬虫，从中国天气网获取天气信息并保存到CSV文件中。这只是一个简单的示例，您可以根据自己的需求进一步扩展和定制这个爬虫。希望这篇文章能对你有所帮助！
url = 'http://www.weather.com.cn/weather/101190101.shtml'
webpage = req.urlopen(url) # 根据超链访问链接的网页
data = webpa.
1.用到的库：requests，BeautifulSoup，re。其中，requests库用于获取网页内容，BeautifulSoup用于网页解析，re正则表达式库用于对爬取内容进行匹配和搜索。
2.正常情况下BeautifulSoup就可...
                                    上一篇做了一个新闻类爬虫，积累了一些小经验。学到一点：在写文章时最好不要把网站名称和爬取到的新闻文本一起发来，可能会被CSDN下架的。这次准备好爬取天气预报网站，内容应该不像新闻类的可能涉及政治，但网站名称嘛还是不要写得太明白，反正“天气”么英文就是 weather 总之本文中出现的网址url字符串都用****打上马赛克了，自行补齐吧。
爬虫原理简介
爬虫流程：
爬取、解析、美化输出或者存储到文件
常用的库：
请求库：requests,urllib.request,selenium ...
url = "https://j.i8tq.com/weather2020/search/city.js"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like.
from requests_html import HTMLSession
url = "http://www.weather.com.cn/weather15d/101190401.shtml"
# 获取请求对象
session = HTMLSession()
response = session.get(url)
html = response.html
div = html.xpath('//*
                                    思路：1、根据city.txt文档来获取不同城市code2、获取中国天气网7d和15d不同城市url3、利用requests库请求url获取html内容4、利用beautifulsoup获取7d和15d指定天气数据5、将获取的天气数据保存到csv文件中
# -*- coding: utf-8 -*-
import requests
from bs4 import Beaut...
                                    import requestsfrom pyquery import PyQuery as pqimport pymongo#爬取一个星期的天气def cute():headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.1...