Fix the crawling of toutiao article urls.

Git stats

Weibo Spider

本程序可以连续爬取 一个 或 多个 新浪微博用户（如 胡歌 、 迪丽热巴 、 郭碧婷 ）的数据，并将结果信息写入 文件 或 数据库 。写入信息几乎包括用户微博的所有数据，包括 用户信息 和 微博信息 两大类。因为内容太多，这里不再赘述，详细内容见 获取到的字段 。如果只需要用户信息，可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限，后面会讲解 如何获取cookie 。如果不想设置cookie，可以使用 免cookie版 ，二者功能类似。

爬取结果可写入文件和数据库，具体的写入文件类型如下：

同时支持下载微博中的图片和视频，具体的可下载文件如下：

[TOC]

获取到的字段

本部分为爬取到的字段信息说明，为了与 免cookie版 区分，下面将两者爬取到的信息都列出来。如果是免cookie版所特有的信息，会有免cookie标注，没有标注的为二者共有的信息。

如果想要知道程序的具体运行结果，可以查看 示例文档 ，该文档介绍了爬取 迪丽热巴微博 的例子，并附有部分结果文件截图。

本程序有两个版本，你现在看到的是python3版，另一个是python2版，python2版位于 python2分支 。目前主力开发python3版，包括新功能开发和bug修复；python2版仅支持bug修复。推荐python3用户使用当前版本，推荐python2用户使用 python2版 ，本使用说明是python3版的使用说明。

1.安装程序

本程序提供两种安装方式，一种是 源码安装 ，另一种是 pip安装 ，二者功能完全相同。如果你需要修改源码，建议使用第一种方式，否则选哪种安装方式都可以。

$ git clone https://github.com/dataabc/weiboSpider.git
$ cd weiboSpider
$ pip install -r requirements.txt

pip安装

$ python3 -m pip install weibo-spider

2.程序设置

要了解程序设置，请查看 程序设置文档 。

3.运行程序

源码安装 的用户可以在weiboSpider目录运行如下命令， pip安装 的用户可以在任意有写权限的目录运行如下命令

$ python3 -m weibo_spider

第一次执行，会自动在当前目录创建config.json配置文件，配置好后执行同样的命令就可以获取微博了。

如果你已经有config.json文件了，也可以通过config_path参数配置config.json路径，运行程序，命令行如下：

$ python3 -m weibo_spider --config_path="config.json"

如果你想指定文件（csv、txt、json、图片、视频）保存路径，可以通过output_dir参数设定。假如你想把文件保存到/home/weibo/目录，可以运行如下命令：

$ python3 -m weibo_spider --output_dir="/home/weibo/"

如果你想通过命令行输入user_id，可以使用参数u，可以输入一个或多个user_id，每个user_id以英文逗号分开，如果这些user_id中有重复的user_id，程序会自动去重。命令行如下：

$ python3 -m weibo_spider --u="1669879400,1223178222"

程序会获取user_id分别为1669879400和1223178222的微博用户的微博，后面会讲 如何获取user_id 。该方式的所有user_id使用config.json中的since_date和end_date设置，通过修改它们的值可以控制爬取的时间范围。若config.json中的user_id_list是文件路径，每个命令行中的user_id都会自动保存到该文件内，且自动更新since_date；若不是路径，user_id会保存在当前目录的user_id_list.txt内，且自动更新since_date，若当前目录下不存在user_id_list.txt，程序会自动创建它。

个性化定制程序（可选）

本部分为可选部分，如果不需要个性化定制程序或添加新功能，可以忽略此部分。

本程序主体代码位于weibo_spider.py文件，程序主体是一个 Spider 类，上述所有功能都是通过在main函数调用 Spider 类实现的，默认的调用代码如下：

        config = get_config()
        wb = Spider(config)
        wb.start()  # 爬取微博信息

用户可以按照自己的需求调用或修改 Spider 类。通过执行本程序，我们可以得到很多信息。

wb.weibo ：除不包含上述信息外，wb.weibo包含爬取到的所有微博信息，如 微博id 、 微博正文 、 原始图片url 、 发布位置 、 发布时间 、 发布工具 、 点赞数 、 转发数 、 评论数 等。如果爬的是全部微博(原创+转发)，除上述信息之外，还包含被 转发微博原始图片url 、 是否为原创微博 等。wb.weibo是一个列表，包含了爬取的所有微博信息。wb.weibo[0]为爬取的第一条微博，wb.weibo[1]为爬取的第二条微博，以此类推。当filter=1时，wb.weibo[0]为爬取的第一条 原创 微博，以此类推。wb.weibo[0]['id']为第一条微博的id，wb.weibo[0]['content']为第一条微博的正文，wb.weibo[0]['publish_time']为第一条微博的发布时间，还有其它很多信息不在赘述，大家可以点击下面的"详情"查看具体用法。

若目标微博用户存在微博，则：

定期自动爬取微博（可选）

要想让程序每隔一段时间自动爬取，且爬取的内容为新增加的内容（不包括已经获取的微博），请查看 定期自动爬取微博 。

如何获取cookie

要了解获取cookie方法，请查看 cookie文档 。

如何获取user_id

要了解获取user_id方法，请查看 user_id文档 ，该文档介绍了如何获取一个及多个微博用户user_id的方法。

如果运行程序的过程中出现错误，可以查看 常见问题 页面，里面包含了最常见的问题及解决方法。如果出现的错误不在常见问题里，您可以通过 发issue 寻求帮助，我们会很乐意为您解答。

本项目通过获取微博数据，为写论文、做研究等非商业项目提供所需数据。 学术研究文档 是一些在论文或研究等方面使用过本程序的项目，这些项目展示已征得所有者同意。在一些涉及隐私的描述上，已与所有者做了沟通，描述中只介绍所有者允许展示的部分。如果部分信息所有者之前同意展示并且已经写在了文档中，现在又不想展示了，可以通过邮件( [email protected] )或issue的方式告诉我，我会删除相关信息。同时，也欢迎使用本项目写论文或做其它学术研究的朋友，将自己的研究成果展示在 学术研究文档 里，这完全是自愿的。

为方便大家引用，现提供本项目的 bibtex 条目如下：

@misc{weibospider2020,
  author = {Lei Chen, Zhengyang Song, schaepher, minami9, bluerthanever, MKSP2015, moqimoqidea, windlively, eggachecat, mtuwei, codermino, duangan1},
  title = {{Weibo Spider}},
  howpublished = {\url{https://github.com/dataabc/weiboSpider}},
  year = {2020}
weibo-crawler - 功能和本项目完全一样，可以不添加cookie，获取的微博属性更多；
weibo-search - 可以连续获取一个或多个微博关键词搜索结果，并将结果写入文件（可选）、数据库（可选）等。所谓微博关键词搜索即：搜索正文中包含指定关键词的微博，可以指定搜索的时间范围。对于非常热门的关键词，一天的时间范围，可以获得1000万以上的搜索结果，N天的时间范围就可以获得1000万 X N搜索结果。对于大多数关键词，一天产生的相应微博数量应该在1000万条以下，因此可以说该程序可以获得大部分关键词的全部或近似全部的搜索结果。而且该程序可以获得搜索结果的所有信息，本程序获得的微博信息该程序都能获得。
欢迎为本项目贡献力量。贡献可以是提交代码，可以是通过issue提建议（如新功能、改进方案等），也可以是通过issue告知我们项目存在哪些bug、缺点等，具体贡献方式见为本项目做贡献。
感谢所有为本项目贡献力量的朋友，贡献者详情见贡献者页面。
user_id不能为爬虫微博的user_id。因为要爬微博信息，必须先登录到某个微博账号，此账号我们姑且称为爬虫微博。爬虫微博访问自己的页面和访问其他用户的页面，得到的网页格式不同，所以无法爬取自己的微博信息；如果想要爬取爬虫微博内容，可以参考获取自身微博信息；
cookie有期限限制，大约三个月。若提示cookie错误或已过期，需要重新更新cookie。