Python 网络爬虫实战:手把手教你爬取微博评论区数据

大家好,我是机灵鹤。

前几天群里有个粉丝问我,怎么爬取 新浪微博的评论 ,他希望爬取人民日报的微博评论区数据,然后做一些相关的数据分析。

本篇博客,我会手把手教你们如何爬取新浪微博的评论区数据。

1. 思路分析

本节中,我会详细讲解如何分析网站,如何抓包,如何抓取关键参数等,想要学习爬虫的同学,建议耐心看完。

1.1 分析网站

如下,是博主 吃花椒的喵酱 发布的一条微博,我们以此条微博为例进行分析。

Python 网络爬虫实战:手把手教你爬取微博评论区数据_第1张图片

当点击中间的 评论 图标时,会显示部分评论数据。

评论区划到最下方,显示 查看全部3436条评论> 字样,点击后,可以加载显示全部的评论。当评论区滚动条不断下划时,新的评论数据会源源不断 动态加载 进来,直到全部显示完。

Python 网络爬虫实战:手把手教你爬取微博评论区数据_第2张图片

1.2 抓包分析

接下来,我们在浏览器中(按 F12 )打开 开发者工具 ,切换到 Network 页签,开始抓包。

Python 网络爬虫实战:手把手教你爬取微博评论区数据_第3张图片

当评论区页面不断下划时,右侧随之不断出现新的请求消息,这个过程就是所谓的 抓包 ,右侧的请求列表就是我们抓到的  。点击列表里的每个包,可以查看该包的请求头,响应数据等。

在预览列表中 buildComments?fl... 包的响应内容时,我们惊奇的发现,评论数据就包含在这条请求里,包括了 评论内容 , 评论时间 , 评论点赞数 , 评论回复数 ,以及 评论者信息 等数据。

Python 网络爬虫实战:手把手教你爬取微博评论区数据_第4张图片

也就是说,只要我们通过代码去模拟发出这条请求,便可以获得这条请求中的评论数据。

1.3 模拟请求

那么,如何去模拟这条请求呢?

下图是这条请求的请求头信息(切换到 Headers 页签可以查看到)。

Python 网络爬虫实战:手把手教你爬取微博评论区数据_第5张图片

请求地址如下:

https://weibo.com/ajax/statuses/buildComments?flow=0&is_reload=1&id=4717939545342043&is_show_bulletin=2&is_mix=0&max_id=198917376542210&count=20&uid=6512991534

有一些前端基础的同学可能知道,网址中 ? 后面的部分是这条请求的参数,格式为 key=value ,参数间通过 & 进行分隔。

为了看起来更清晰一些,我们将请求地址整理成如下形式:

url = "https://weibo.com/ajax/statuses/buildComments"
params = {
 
    "flow" : 0,
    "is_reload" : 1,
    "id" : 4717939545342043,
    "is_show_bulletin" : 2,
    "is_mix" : 0,
    "max_id" : 198917376542210,
    "count" : 20,
    "uid" : 6512991534
}

在此基础上,我们简单写一段 Python 代码,模拟请求,看能否正确获取数据:

import requests

def fetchUrl():
    # url
    url = "https://weibo.com/ajax/statuses/buildComments"
    # 请求头
    headers = {
 
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
    }
    # 参数
    params = {
 
        "flow" : 0,
        "is_reload" : 1,
        "id" : 4717939545342043,
        "is_show_bulletin" : 2,
        "is_mix" : 0,
        "max_id" : 198917376542210,
        "count" : 20,
        "uid" : 6512991534
    }

    r = requests.get(url, headers = headers, params = params)
    return r.json()

fetchUrl()

运行结果,成功获取到了评论数据

Python 网络爬虫实战:手把手教你爬取微博评论区数据_第6张图片

1.4 数据解析

经过前面的分析,我们可以成功模拟请求,获得评论数据了,那返回的评论数据是什么格式的呢?如何从中提取自己想要的内容呢?

以下是我简化后的返回数据:

{
 
    'data': [
    	{
 
            'created_at': 'Fri Dec 24 14:39:18 +0800 2021',
            "id": 4717939767119210,
            "text": "唱的很好,下次别唱了",
            'like_counts': 14,
            'total_number': 0,
            'user': {
 
                'id': 3720444755,
                'name': '小王小王别活成了龙王',
                'location': '浙江 杭州',
                .....
            }
        },
        {
 ......},
        {
 ......}
    ],
	"total_number": 3438,
	"max_id": 142979722418635,
	"trendsText": "已加载全部评论"
}

可以看到,返回的数据是 json 格式,评论数据以数组的形式放在 'data' 节点下。

解析的话,我们可以通过 python 自带的 json 库来解析,示例代码如下:

# 假设 jsonObj 是返回的数据
data = jsonObj["data"]
for item in data:
    # 评论id
    comment_Id = item["id"]
    # 评论内容
    content = BeautifulSoup(item["text"], "html.parser").text
    # 评论时间
    created_at = item["created_at"]
    # 点赞数
    like_counts = item["like_counts"]
    # 评论数
    total_number = item["total_number"]
    # 评论者 id
    userID = item["user"]["id"]
    # 评论者昵称
    userName = item["user"]["name"]
    # 评论者城市
    userCity = item["user"]["location"]
    
max_id = jsonObj["max_id"]

通过上述的方法,可以将我们需要的数据解析出来。

1.5 循环爬取

通过前面的 模拟请求 和 解析数据 环节,我们可以成功的获取并解析出一条请求中的评论数据。

那么,如何才能循环爬取整个评论区呢?

这就需要找到请求中参数的规律,自行构造并发起请求。

我们回过头来看这条请求的参数。

params = {
 
    "flow" : 0,
    "is_reload" : 1,
    "id" : 4717939545342043,
    "is_show_bulletin" : 2,
    "is_mix" : 0,
    "max_id" : 198917376542210,
    "count" : 20,
    "uid" : 6512991534
}

请求中有很多参数,如 flow , is_reload , id , is_show_bulletin 等等,每个参数是什么意思,其实我也不知道,只能根据字面意思去猜,或者找规律。

经过一番探索,我终于搞明白了其中几个关键参数的含义。

  • flow :推测是排序方式,0 表示按热度排序,1 表示按时间排序。

  • id :是指该条微博的 id,如果爬取单条微博的评论区,id 值是固定的。

  • max_id :具体含义不明,推断是用来控制页码的,后一条请求的 max_id 可以从前一条请求数据中取到。

  • count :每页的评论条数,20 表示该请求返回 20 条评论数据。

  • uid :该条微博的博主用户 id,如果爬取单条微博的评论区,uid 值也是固定的。

  • 其他的参数意义暂时没搞懂,不过不重要。

找到规律后,我们可以通过构造参数,实现循环爬取,示例代码如下:

首先我们将 fetchUrl 函数改造一下,微博 id,用户 id 和 max_id 作为参数传进去,其余参数可以固定写死。

def fetchUrl(pid, uid, max_id):
    
    url = "https://weibo.com/ajax/statuses/buildComments"
    
    headers = {
 
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
    }
    
    params = {
 
        "flow" : 0,
        "is_reload" : 1,
        "id" : pid,
        "is_show_bulletin" : 2,
        "is_mix" : 0,
        "max_id" : max_id,
        "count" : 20,
        "uid" : uid,
    }

    r = requests.get(url, headers = headers, params = params)
    return r.json()

然后在数据解析函数中,解析得到 max_id 并返回,以便作为下一条请求中得参数。

def parseJson(jsonObj):
    data = jsonObj["data"]
    for item in data:
        # 解析数据
        pass

    return jsonObj["max_id"]

最后在主函数中,通过循环实现整个评论区爬取。

if __name__ == "__main__":
    pid = 4717939545342043		# 微博id,固定
    uid = 6512991534			# 用户id,固定
    # max_id 为 0 时爬取第一页,后续请求的 max_id 可以从前一条请求中解析得到
    max_id = 0

    while(True):
        html = fetchUrl(pid, uid, max_id)
        # 解析数据的时候,动态改变 max_id 的值
        max_id = parseJson(html)
        # max_id 为 0 时,表示爬取结束
        if max_id == 0:
            break;

至此,微博评论区爬虫的思路分析部分完成。

通过上述方式,我们可以爬取到单条微博的评论区的全部主评论数据。

下面进入正式的编码环节。

2. 编码环节

本节中,我会将本爬虫的源代码整理贴出,可以直接使用。

2.1 导入需要的库

import requests
from bs4 import BeautifulSoup
import pandas as pd
import os

2.2 发起网络请求

def fetchUrl(pid, uid, max_id):
    
    url = "https://weibo.com/ajax/statuses/buildComments"
    
    headers = {
 
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
    }
    
    params = {
 
        "flow" : 0,
        "is_reload" : 1,
        "id" : pid,
        "is_show_bulletin" : 2,
        "is_mix" : 0,
        "max_id" : max_id,
        "count" : 20,
        "uid" : uid,
    }

    r = requests.get(url, headers = headers, params = params)
    return r.json()

2.3 解析json数据

def parseJson(jsonObj):

    data = jsonObj["data"]
    max_id = jsonObj["max_id"]

    commentData = []
    for item in data:
        # 评论id
        comment_Id = item["id"]
        # 评论内容
        content = BeautifulSoup(item["text"], "html.parser").text
        # 评论时间
        created_at = item["created_at"]
        # 点赞数
        like_counts = item["like_counts"]
        # 评论数
        total_number = item["total_number"]
        
        # 评论者 id,name,city
        user = item["user"]
        userID = user["id"]
        userName = user["name"]
        userCity = user["location"]
        
        dataItem = [comment_Id, created_at, userID, userName, userCity, like_counts, total_number, content]
        print(dataItem)
        commentData.append(dataItem)
        
    return commentData, max_id

2.4 保存数据

def save_data(data, path, filename):
    
    if not os.path.exists(path):
        os.makedirs(path)

    dataframe = pd.DataFrame(data)
    dataframe.to_csv(path + filename, encoding='utf_8_sig', mode='a', index=False, sep=',', header=False )

2.5 主函数

if __name__ == "__main__":
    
    pid = 4717939545342043      # 微博id,固定
    uid = 6512991534            # 用户id,固定
    max_id = 0
    path = "D:/Data/"           # 保存的路径
    filename = "comments.csv"   # 保存的文件名
    
    csvHeader = [["评论id", "发布时间", "用户id", "用户昵称", "用户城市", "点赞数", "回复数", "评论内容"]]
    save_data(csvHeader, path, filename)

    while(True):
        html = fetchUrl(pid, uid, max_id)
        comments, max_id = parseJson(html)
        save_data(comments, path, filename)
        # max_id 为 0 时,表示爬取结束
        if max_id == 0:
            break;

以上便是本爬虫的全部源码,如果运行时遇到什么问题,都可以留言联系我。

3. 运行爬虫

本节简单讲解如何将爬虫运行起来,并展示爬虫运行的部分效果图。

3.1 如何运行

首先,要在自己机器上搭建好 Python 开发环境,并且安装好需要的库。

然后,复制上一节中提供的爬虫源码。

代码中有几个参数 pid , uid , path , filename 需要根据自己的需求进行更改。

pid (微博id)和 uid (用户id)的获取方式,在第一节的抓包分析中有详细讲解,如果你没有细看的话,这里简单介绍一下如何获取。

打开 开发者工具 和要爬取的微博的 评论区 。

向下划动滚动条让页面加载更多评论。

在开发者工具中,找到 buildComments 的请求,打开。

在 Request URL 中可以找到这两个参数的值。

Python 网络爬虫实战:手把手教你爬取微博评论区数据_第7张图片

path 就是你爬好的数据要保存的文件夹路径。

filename 就是你爬好的数据保存的文件名。

参数设定好以后,运行代码,即可。

3.2 运行效果

代码运行结果

Python 网络爬虫实战:手把手教你爬取微博评论区数据_第8张图片

保存好的 csv 文件

Python 网络爬虫实战:手把手教你爬取微博评论区数据_第9张图片

你可能感兴趣的