当前位置:
首页 > Python基础教程 >
-
Python采集《雪中悍刀行》视频弹幕,并且做词云图可视化分析
前言
最近已经播完第一季的电视剧《雪中悍刀行》,从播放量就可以看出观众对于这部剧的期待,总播放量达到50亿,可让人遗憾的是,豆瓣评分只有5.7,甚至都没有破6。
很多人会把这个剧和《庆余年》做对比,因为主创班底相同
400余万字的同名小说曾被捧为网文界里的“名著”,不少粉丝早就对跨界改编有所期待,剧版的主创班底、出品方与2019年的爆款剧《庆余年》相同则放大了这份期待。然而《雪中悍刀行》播出后,书粉的怒火蔓延到了各类讨论场合。
今天就来采集这部剧的一部分视频弹幕,看看观众都说了啥,为什么播放量高,口碑却低
对于本篇文章有疑问的同学可以加【资料白嫖、解答交流群:910981974】
知识点介绍
- requests模块的使用
- pandas保存表格数据
- pyecharts做词云图可视化
环境介绍
- python 3.8
- pycharm
- requests >>> pip install requests
- pyecharts >>> pip install pyecharts
代码实现
1. 导入模块
import re import requests # 发送网络请求 import pandas as pd # 保存数据
2. 发送网络请求
headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36' } # 构建一个列表储存数据 data_list = [] for page in range(15, 1500, 30): url = f'https://mfm.video.qq.com/danmu?otype=json&target_id=7626435152%26vid%3Dp0041oidttf&session_key=0%2C174%2C1642248894×tamp={page}' esponse = requests.get(url=url, headers=headers)
3. 获取数据 弹幕内容
json_data = response.json()
<Response [200]>: 告诉我们响应成功
4. 解析数据(筛选数据) 提取想要的一些内容 不想要的忽略掉
comments = json_data['comments'] print(comments) for comment in comments: data_dict = {} data_dict['commentid'] = comment['commentid'] content = comment['content'] content = re.sub(r'[\x0e\xa0]', '', content) data_dict['content'] = content data_dict['opername'] = comment['opername'] print(data_dict) data_list.append(data_dict)
5. 保存数据
df = pd.DataFrame(data_list) # 乱码, 指定编码 为 utf-8 或者是 gbk 或者 utf-8-sig df.to_csv('data.csv', encoding='utf-8-sig')
6. 词云图可视化
import jieba from pyecharts.charts import WordCloud import pandas as pd from pyecharts import options as opts wordlist = [] data = pd.read_csv('data.csv')['content'] data a = [list(z) for z in zip(word, count)] c = ( WordCloud() .add('', a, word_size_range=[10, 50], shape='circle') .set_global_opts(title_opts=opts.TitleOpts(title="词云图")) ) c.render_notebook()
出处:https://www.cnblogs.com/qshhl/p/15824095.html
栏目列表
最新更新
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
Python初学者友好丨详解参数传递类型
如何有效管理爬虫流量?
SQL SERVER中递归
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
这是目前我见过最好的跨域解决方案!
减少回流与重绘
减少回流与重绘
如何使用KrpanoToolJS在浏览器切图
performance.now() 与 Date.now() 对比
一款纯 JS 实现的轻量化图片编辑器
关于开发 VS Code 插件遇到的 workbench.scm.
前端设计模式——观察者模式
前端设计模式——中介者模式
创建型-原型模式