1 #!/usr/bin/env python
  2 # -*- coding: utf-8 -*-
  3 # @File  : spider_bilibili_v2.py
  4 # @Author: 未衬
  5 
  6 # 它可以模拟浏览器向网站发送一个请求[命令]
  7 import requests
  8 
  9 '''
 10 编写爬虫的过程中 有两种写法
 11 
 12     基于html去分析网页数据并删选
 13         因为有些同学没有接触过前端 可能看不懂前端代码
 14 
 15     ** 使用浏览器去分析这个网站的接口 [api] 找到它之后利用
 16         requests去请求这个api 拿到api的数据[json] 字典 基本数据结构 
 17         利用字典的特性去获取字典中的数据并下载
 18         
 19         
 20         json
 21         
 22         requests 
 23         
 24         mysql
 25         网页选择器
 26             xpath
 27             bs4
 28             
 29             pyquery
 30             
 31         scrapy
 32             公司开发爬虫是基于框架去实现功能的
 33                 敏捷开发 快速
 34                 安全 信任的 能解决公司大多数的爬虫问题
 35                 
 36         redis
 37             分布式系统
 38             scrapy-redis 分布式爬虫
 39                 在多个服务器上部署多个爬虫去爬取同一目标
 40                 redis 快 
 41 '''
 42 
 43 
 44 # 去获取api 利用requests去访问这个接口 模拟浏览器
 45 # 禁止非浏览器访问的代码 一律禁止访问
 46 
 47 # 400 403 全是错误 访问错误 哔哩哔哩这家公司导致
 48 # 防止爬虫去过度的向服务器发请求 哔哩哔哩的后台服务器会出现过载的情况
 49 
 50 def get_json(url):
 51     # 伪装成浏览器向这个接口拿数据 作用域
 52     headers = {
 53         'User-Agent':
 54             'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
 55     }
 56 
 57     # 分析api这个链接
 58         # 在api中 会有一些关键字
 59         # 如果这些关键字改变的话 那它返回的值也是不一样的
 60 
 61     params = {
 62         'page_size': 10,
 63         'next_offset': str(num),
 64         'tag': '今日热门',
 65         'platform': 'pc',
 66     }
 67 
 68 
 69 
 70     try:
 71         # 获取api的所有数据
 72         html = requests.get(url, params=params, headers=headers)
 73         return html.json()
 74     except BaseException:
 75         print('请求失败...')
 76 
 77 
 78 def downloader(url, path):
 79     # 初始化参数 当你在下载视频的时候 0kb开始一直到这个视频的总大小 在下载之前我们要定义这个视频
 80     # 大小的参数
 81     size = 0
 82 
 83     # 伪装成浏览器向这个接口拿数据
 84     headers = {
 85         'User-Agent':
 86             'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
 87     }
 88 
 89     # 取变量名一定见名起意
 90     response = requests.get(url, headers=headers, stream=True)
 91 
 92 
 93     # socket 做下载 IO流 每次下载的数据大小 以1024作为一个节点
 94     chunk_size = 1024
 95 
 96     # 视频总大小 在python中是字典格式
 97     content_size = int(response.headers['content-length'])
 98     print(content_size)
 99 
100     if response.status_code == 200:
101         print('[文件大小]: %0.2f MB' % (content_size / chunk_size / 1024))
102 
103         with open(path, 'wb') as file:
104             # 迭代响应数据
105             for data in response.iter_content(chunk_size=chunk_size):
106                 file.write(data)
107                 size += len(data)
108 
109 # 入口函数
110 if __name__ == "__main__":
111     for i in range(10):
112         url = 'http://api.vc.bilibili.com/board/v1/ranking/top?'
113         # 翻页的值 动态的 11 21 31
114         num = i * 10 + 1
115 
116         html = get_json(url)
117         infos = html['data']['items']
118 
119         for info in infos:
120             # 小视频的标题
121             title = info['item']['description']
122 
123             # 小视频的下载链接
124             video_url = info['item']['video_playurl']
125 
126             print(title)
127 
128             try:
129                 downloader(video_url, path='./视频/%s.mp4' % title)
130                 print('下载成功...')
131 
132             except BaseException:
133                 print('下载失败...')
134 
135 
136 '''