前言

百度贴吧是以兴趣主题聚合志同道合者的互动平台，同好网友聚集在这里交流话题、展示自我、结交朋友。贴吧中有的帖子当中有用户上传的图片，今天跟着老师把约会吧全吧的图片给爬取下来吧

预先清理磁盘哦~~

本文亮点：

1、分析页面（静态or动态）

2、两层数据解析

3、海量图片数据保存

环境介绍：

python 3.6

pycharm

requests

parsel（xpath）

爬虫的一般思路

1、确定爬取的url路径，headers参数

2、发送请求 -- requests 模拟浏览器发送请求，获取响应数据

3、解析数据 -- parsel 转化为Selector对象，Selector对象具有xpath的方法，能够对转化的数据进行处理

4、保存数据

开始我们的案例吧

步骤

1、导入工具

import requests
import parsel

2、确定爬取的url路径，headers参数

base_url = 'https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BE%8E%E5%A5%B3&fr=search'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'}

3、发送请求 -- requests 模拟浏览器发送请求，获取响应数据

response = requests.get(base_url, headers=headers)
html_str = response.text
# print(html_data)

4、解析数据 -- parsel 转化为Selector对象，Selector对象具有xpath的方法，能够对转化的数据进行处理

html = parsel.Selector(html_str)
title_url = html.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href').extract()
# print(title_url)
# 拼接完整的帖子链接
second_url = 'https://tieba.baidu.com'
for url in title_url:
    all_url = second_url + url
    print('当前的帖子链接为：',all_url)
    # 继续发送帖子的请求
    response_2 = requests.get(all_url, headers=headers).text
    # 第二次解析
    response_2_data = parsel.Selector(response_2)
    result_list = response_2_data.xpath('//cc/div/img[@class="BDE_Image"]/@src').extract()  # 提取帖子内部图片的链接
    # print(result_list)
    # 发送图片链接请求
    for li in result_list:
        img_data = requests.get(li, headers=headers).content  # 图片数据
        # 图片文件名
        file_name = li.split("/")[-1]

5、保存图片数据

   with open("img\\" + file_name, 'wb') as f:
            print('正在下载图片：',file_name)
            f.write(img_data)

运行代码，结果如下图：

这样我们这一次的爬虫就算圆满成功了

栏目列表

首页 > temp > 简明python教程 >

基础爬虫小案例：约会吧小姐姐照片，联系方式随手可得（附源码）

前言

本文亮点：

环境介绍：

爬虫的一般思路

步骤