VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > temp > python入门教程 >

  • Python爬虫入门案例教学：批量爬取彼岸桌面4K超清美女壁纸

环境介绍

  • python 3.6 / 3.8
  • pycharm 编辑器
  • requests
  • parsel
  • os 文件操作
    在cmd里面就可以进行安装 pip install requests

无论是爬取那个网站 什么数据 都是可以按照这个流程去分析

一. 数据来源分析

1. 确定爬取的东西?

网址: 彼岸壁纸
网站数据: 壁纸图片

2. 壁纸图片 数据是来自于哪里

通过浏览器上面 开发者工具(F12/鼠标右键点击检查选择network)进行抓包分析
I. 需要所有图片的 ID
II. 获取图片ID之后, 才请求图片详情页url地址
III. 获取图片地址 以及 图片标题

如果你不知道数据来源, 就没法进行爬取

 

【付费VIP完整版】只要看了就能学会的教程，80集Python基础入门视频教学

 

点这里，跳转B站即可免费在线观看

二. 代码实现的过程: 确定需求(查询数据来源分析) >>> 发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据

  1. 发送请求 对于图片列表页发送请求
  2. 获取数据 获取网页源代码
  3. 解析数据 提取图片ID
  4. 发送请求 把获取到的图片ID 出入图片详情页url中
  5. 解析数据 提取图片地址 以及 图片标题
  6. 保存数据
  7. 多页爬取

1. 发送请求 对于图片列表页发送请求

复制代码
url = f'http://www.netbian.com/meinv/index_{page}.htm'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
复制代码

 

<Response [200]> <> python里面表示的是对象 返回的是response对象(响应体对象)
200 状态码 表示请求成功

2. 获取数据 获取网页源代码 >>>> 获取响应体的文本数据(字符串类型)

# 它给返回的数据 出现了乱码 >>> 转码
response.encoding = response.apparent_encoding # 自动识别编码
print(response.text) # html字符串数据

 

3. 解析数据 提取图片ID 解析数据方式: re正则正则表达式 css选择器 xpath

re正则正则表达式 可以对于字符串数据内容直接提取
css选择器 xpath 都是根据标签属性内容提取数据

复制代码
img_ids = re.findall('<li><a href="/desk/(\d+).htm" title', response.text)
# 正则表达式匹配出来的数据内容 返回的是列表  列表里面每一个元素都是图片id

for img_id in img_ids:
    # 构建壁纸详情页的url地址
    # 字符串格式化方法 format()
    link_url = f'http://www.netbian.com/desk/{img_id}-1920x1080.htm'
    print(link_url)
复制代码

 

4. 发送请求 把获取到的图片ID 出入图片详情页url中

response_1 = requests.get(url=link_url, headers=headers)
selector = parsel.Selector(response_1.text)

 

5. 解析数据 提取图片地址 以及 图片标题

img_url = selector.css('#endimg img::attr(src)').get()
title = selector.css('#endimg img::attr(title)').get()
print(response_1.text)

 

6. 保存数据

img_content = requests.get(url=img_url, headers=headers).content
with open('img\\' + title + '.jpg', mode='wb') as f:
    f.write(img_content)
    print(title, img_url)

 

7 .翻页爬取

for page in range(2, 11):
    print(f'正在爬取第{page}页的数据内容')

 

 

Python从零基础入门到实战系统教程、源码、视频，想要数据集的同学也可以点这里

最后运行完整代码

在这里插入图片描述

 

出处：https://www.cnblogs.com/qshhl/p/15225081.html


相关教程