-
简单的用Python获取一下视频弹幕,新手练手实战项目,非常简单!
昨天看到个视频,弹幕挺有意思的,于是想着用Python给他全部扒下来。
代码非常简单,接下来我们看看 具体操作。
需要准备这些
软件
- Python 3.8
- Pycharm
模块使用
- import requests 数据请求
- import jieba 分词
- import wordcloud 词云
- import parsel 数据解析
- import re 正则
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)
本次目标
视频地址: https://www.bilibili.com/video/BV1Nz4y1x7tA/
弹幕内容: https://www.ibilibili.com/video/BV1Nz4y1x7tA/
弹幕地址: https://api.bilibili.com/x/v1/dm/list.so?oid=1205968547
流程步骤
基本实现步骤: <公式>
-
发送请求 --> 数据所对应链接地址
https://api.bilibili.com/x/v1/dm/list.so?oid=1205968547 - 获取数据 --> 获取整个页面数据内容
- 解析数据 --> 提取具体数据内容
- 保存数据 --> 保存本地文件
代码展示
模块导入# 数据请求模块 --> 第三方模块 需要安装 pip install requests
import requests # 导入正则表达式 --> 内置模块不需要安装 import re # 导入数据解析模块 --> 第三方模块 需要安装 pip install parsel # 视频讲解+代码我都打包好了,直接在这个q裙自取:708525271 import parsel
发送请求
# 请求链接 url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=1205968547' # 调用requests模块里面get请求方法对于url地址发送请求 response = requests.get(url) print(response)
获取数据
获取文本响应数据
print(response.text)
当我们获取数据出现乱码怎么办呢?
response .encoding = 'utf-8'
数据解析
正则匹配数据
re_content = re.findall('<d p=".*?">(.*?)</d>',html_data) content = re.findall('<source>(.*?)</source>', html_data) print(re_content) print(content)
转化数据
把获取到响应文本数据,转成可解析对象。
selector = parsel.Selector(html_data) # 选择器对象 # d 标签名字 d::text -提取d标签里的文本内容 css_content = selector.css('d::text').getall() print(selector)
保存数据
for content in css_content: # mode 保存方式 --> w写入数据, 会覆盖 a 追加保存 with open('弹幕_1.txt', mode='a', encoding='utf-8') as f: f.write(content) f.write('\n') print(content)
好了,今天的分享就到这里结束了,咱们下次见!
栏目列表
最新更新
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
Python初学者友好丨详解参数传递类型
如何有效管理爬虫流量?
SQL SERVER中递归
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
这是目前我见过最好的跨域解决方案!
减少回流与重绘
减少回流与重绘
如何使用KrpanoToolJS在浏览器切图
performance.now() 与 Date.now() 对比
一款纯 JS 实现的轻量化图片编辑器
关于开发 VS Code 插件遇到的 workbench.scm.
前端设计模式——观察者模式
前端设计模式——中介者模式
创建型-原型模式