当前位置:
首页 > 编程开发 > Python基础教程 >
-
python基础教程之python爬虫公众号所有信息,并批量下载公众号视频
本站最新发布 Python从入门到精通|Python基础教程
试听地址 https://www.xin3721.com/eschool/pythonxin3721/
试听地址 https://www.xin3721.com/eschool/pythonxin3721/
主要功能
-
如何简单爬虫微信公众号
-
获取信息:标题、摘要、封面、文章地址
-
自动批量下载公众号内的视频
一、获取公众号信息:标题、摘要、封面、文章URL
操作步骤:
1、先自己申请一个公众号 2、登录自己的账号,新建文章图文,点击超链接
代码
1 import re 2 3 import requests 4 import jsonpath 5 import json 6 7 headers = { 8 "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36", 9 "Host": "mp.weixin.qq.com", 10 "Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1862390040", 11 "Cookie": "自己获取信息时的cookie" 12 } 13 14 def getInfo(): 15 for i in range(80): 16 # token random 需要要自己的 begin:参数传入 17 url = "https://mp.weixin.qq.com/cgi-bin/appmsg?token=1904193044&lang=zh_CN&f=json&ajax=1&random=0.9468236563826882&action=list_ex&begin={}&count=5&query=&fakeid=MzI4MzkzMTc3OA%3D%3D&type=9".format(str(i * 5)) 18 19 response = requests.get(url, headers = headers) 20 21 jsonRes = response.json() 22 23 24 titleList = jsonpath.jsonpath(jsonRes, "$..title") 25 coverList = jsonpath.jsonpath(jsonRes, "$..cover") 26 urlList = jsonpath.jsonpath(jsonRes, "$..link") 27 28 # 遍历 构造可存储字符串 29 for index in range(len(titleList)): 30 title = titleList[index] 31 cover = coverList[index] 32 url = urlList[index] 33 34 scvStr = "%s,%s, %s,\n" % (title, cover, url) 35 with open("info.csv", "a+", encoding="gbk", newline='') as f: 36 f.write(scvStr)
获取结果(成功):
二、获取文章内视频:实现批量下载
通过对单篇视频文章分析,我找到了这个链接:
通过网页打开发现,是视频的网页下载链接:
哎,好像有点意思了,找到了视频的网页纯下载链接,那就开始吧。
发现链接里的有一个关键参数vid 不知道哪来的? 和获取到的其他信息也没有关系,那就只能硬来了。
通过对单文章的url请求信息里发现了这个参数,然后进行获取。
1 response = requests.get(url_wxv, headers=headers) 2 3 # 我用的是正则,也可以使用xpath 4 jsonRes = response.text # 匹配:wxv_1105179750743556096 5 dirRe = r"wxv_.{19}" 6 result = re.search(dirRe, jsonRes) 7 8 wxv = result.group(0) 9 print(wxv)
视频下载:
1 def getVideo(video_title, url_wxv): 2 video_path = './videoFiles/' + video_title + ".mp4" 3 4 # 页面可下载形式 5 video_url_temp = "https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&__biz=MzI4MzkzMTc3OA==&mid=2247488495&idx=4&vid=" + wxv 6 response = requests.get(video_url_temp, headers=headers) 7 content = response.content.decode() 8 content = json.loads(content) 9 url_info = content.get("url_info") 10 video_url2 = url_info[0].get("url") 11 print(video_url2) 12 13 # 请求要下载的url地址 14 html = requests.get(video_url2) 15 # content返回的是bytes型也就是二进制的数据。 16 html = html.content 17 with open(video_path, 'wb') as f: 18 f.write(html)
那么所有信息就都完成了,进行code组装。
a、获取公众号信息
b、筛选单篇文章信息
c、获取vid信息
d、拼接视频页面下载URL
e、下载视频,保存
代码实验结果:
栏目列表
最新更新
pycharm设置开发模板/字体大小/背景颜色(
python爬虫公众号所有信息,并批量下载公
docker系列之一:初见docker
利用Python多线程来测试并发漏洞
Jupyter notebook 安装
Python连载56-发送带有附件、正文为HTML的邮
Django开发登录功能实战
pycharm 提示:this license **** has been cancell
Python学习笔记之二——Python的运行机制,
python基础-并发编程part01
.Net Standard(.Net Core)实现获取配置信息
Linux PXE + Kickstart 自动装机
Shell 编程 基础
Shell 编程 条件语句
CentOS8-网卡配置及详解
Linux中LVM逻辑卷管理
1.数码相框-相框框架分析(1)
Ubuntu armhf 版本国内源
Linux中raid磁盘阵列
搭建简易网站
mysql 安装了最新版本8.x版本后的报错:
Mysql空间数据&空间索引(spatial)
如何远程连接SQL Server数据库的图文教程
复制SqlServer数据库的方法
搜索sql语句
sql中返回参数的值
sql中生成查询的模糊匹配字符串
数据定义功能
数据操作功能
将Session值储存于SQL Server中