10行代码爬取微信公众号文章评论 | 数盟社区

10 行代码就能把公众号文章评论爬下来,有点耸人听闻?如果我跟你说是用 Python 实现的,你可能会信了,因为 Python 确实很强大,写个简单爬虫真的只要几行代码就可以搞定,这次爬的是微信的数据,相对来说要麻烦一点。这里讨论的是如何爬自己公众号下面文章的评论,有人说别人文章能抓取吗?理论上都可以,但凡是你能看到的都可以爬,不过,这篇文章讨论的是自己文章,思路都是相通的,希望本文可以给你一些启迪。

1. 获取Cookie

因为是爬自己微信号文章里面的评论,首先你需要登录公众号后台,登录后才能看到文章的评论,登录就会涉及到 cookie,发起请求时只有带上 cookie 才能得到正确的数据。所以第一步就是把 cookie 信息取到。

cookie 信息

打开 Chrome 浏览器你会看到发送请求时会自动把 Cookie 信息发送给微信,我们就把这段 Cookie 数据拷贝出来,用 Python 构建一个 Cookie 对象,给 requests 使用。

from http.cookies import SimpleCookie

raw_cookie = “gsScrollPos-5517=; ..中间还省略很多… bizuin=2393828”

cookie = SimpleCookie(raw_cookie)

requests_cookies = dict([(c, cookie[c].value) for c in cookie])

r = requests.get(url, cookies=requests_cookies)

2. 构造URL

打开任意文章的评论列表,你会发现它的 URL 结构非常清晰,根据名字基本能判断每个参数的意义,这里比较重要的参数是 begin,它是作为分页的起始位置,其实它固定不变就好

url = “https://mp.weixin.qq.com/misc/appmsgcomment?” \

action=list_comment&” \

mp_version=7&” \

type=0&” \

comment_id=2881104117&” \ # 被评论的文章ID

begin=0&” \  # 分页参数

count=10&” \ # 每次返回10条评论

token=1300595798&” \

lang=zh_CN

3. 抓取数据

把 Cookie 和 URL 都搞清楚了,就可以把模拟浏览器抓取数据并进行清洗,开始想着用 BeautifulSoup 来解析网页,结果失败了。

 抓取数据

查找了原因,把爬下来的页面另存为 html 文件,在 html 源代码文件中找留言里面的关键字,发现评论并没有在 div 标签中,而是存在于一段 JS 代码块中,看起来像 JSON 数据,看来数据是在本地用 JavaScript 渲染后显示的。

 抓取数据

于是改用正则表达式,截取需要的数据,最终存储数据库,差不多10代码搞定。

def main():

# 普通留言, 精选留言总数

normal_count, selected_count = 141, 100

# 普通留言url

normal_url = “https://mp.weixin.qq.com/misc/appmsgcomment?”

dd = dict([(normal_count, selected_url)])

for k, v in dd.items():

crawler(k, v)

def crawler(count, url):

for i in range(0, count, 10):

r = requests.get(url.format(begin=i), cookies=requests_cookies)

match = re.search(r'”comment”:(\[\{.*\}\])’, r.text, re.S)

if match:

data = json.loads(match.group(1), encoding=“utf-8”)

conn.insert_many(data)

time.sleep(1)

【本文是51CTO专栏作者“刘志军”的原创文章,作者微信公众号:Python之禅(VTtalk)】

注:转载文章均来自于公开网络,仅供学习使用,不会用于任何商业用途,如果侵犯到原作者的权益,请您与我们联系删除或者授权事宜,联系邮箱:contact@dataunion.org。转载数盟网站文章请注明原文章作者,否则产生的任何版权纠纷与数盟无关。
期待你一针见血的评论,Come on!

不用想啦,马上 "登录"  发表自已的想法.