当前位置:
首页 > temp > python入门教程 >
-
Python:20行代码爬取高质量帅哥美女视频,让你一次看个够
今天咱们把这个网站上的小姐姐小哥哥都给爬下来,当然你学会了去爬啥那就都随便了~
环境模块
用到的环境是Python3.6和pycharm 需要安装两个模块,requests和re模块,还会用到一个pprint模块,这个是内置的,不用安装,咱们直接调用就可以了。
代码部分
大概的意思都写在注释了,就不一一解释了,让我们直接用代码说话,反正写的太详细了,你们也不看看,就喜欢代码…
import requests # 模拟发送请求 # pip install requests import pprint # 格式化输出模块 内置模块 import re # 正则表达式模块 专门用于字符串 匹配, 替换, 分割 def change_title(title): new_title = re.sub('[\\\/\:\*\?\"\<\>\|]', '_', title) return new_title for page in range(6, 11): try: #打印的时候显示爬多少页 print(f'=======================正在抓取第{page}页数据=========================') # 1. 找数据对应的url连接地址 if page == 1: url = 'https://v.6.cn/minivideo/getMiniVideoList.php?act=recommend&page=1&pagesize=30' else: url = f'https://v.6.cn/minivideo/getMiniVideoList.php?act=recommend&page={page}&pagesize=25' # user-agent 浏览器的身份标识 headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'} # 2. 发送地址请求(包含了各种各样的数据) ua 伪装 遇到请求不到数据的时候可以考虑伪装 response = requests.get(url=url, headers=headers) # json数据: 数据返回的一种形式 json_data = response.json() # pprint.pprint(json_data) # 3. 数据解析 字典: 数据容器 data_list = json_data['content']['list'] # print(data_list) # 数据类型 流程控制 数据容器 ... for data in data_list: title = data['title'] # 视频的标题 # mp4 avi rmvb flv awn... playurl = data['playurl'] # 视频地址 # print(title, playurl) # 请求视频数据 视频数据 图片 音频 都属于二进制数据 video_data = requests.get(url=playurl, headers=headers).content new_title = change_title(title) # 4. 数据的保存 with open('video\\' + new_title + '.mp4', mode='wb') as f: f.write(video_data) print('保存完成:', new_title) except: continue
爬取结果
注意,这里没写自动创建文件,所以要自己先创建一个video文件和代码放到一起,不然没有结果的。
视频教程:
不会安装模块的看这篇:如何安装python模块, python模块安装失败的原因以及解决办法
视频教程:Python一键爬取小姐姐短视频
兄弟们,你的三连就是我的动力,能让我动力加满吗!
作者:静默虚空
最新更新
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
Python初学者友好丨详解参数传递类型
如何有效管理爬虫流量?
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
SQL Server -- 解决存储过程传入参数作为s
关于JS定时器的整理
JS中使用Promise.all控制所有的异步请求都完
js中字符串的方法
import-local执行流程与node模块路径解析流程
检测数据类型的四种方法
js中数组的方法,32种方法
前端操作方法
数据类型
window.localStorage.setItem 和 localStorage.setIte
如何完美解决前端数字计算精度丢失与数