当前位置:
首页 > 编程开发 > Python基础教程 >
-
python基础教程之day02_Requests模块
本站最新发布 Python从入门到精通|Python基础教程
试听地址 https://www.xin3721.com/eschool/pythonxin3721/
试听地址 https://www.xin3721.com/eschool/pythonxin3721/
1、anaconda的安装
1.1 、安装可执行程序
1.2 、配置环境变量
根据环境变量的先后顺序
去查找可执行程序文件,如果查找到就执行,如果查找不到就报错。
anaconda主要配置:
python.exe
pip.exe
1.3 、python的多版本兼容问题
修改可执行程序的文件名,再配置环境变量
1.4 、hash案例
import hashlib
def md5_encryption(value):
"""
对字符串进行加密
:param value:待加密的字符串
:return:进行md5加密后的值
"""
md5 = hashlib.md5()
md5.update(value.encode('utf-8'))
return md5.hexdigest()
2、requests模块
2.1、get 请求
(1)、使用步骤
import requests # 1、导包
response = requests.get(url) # 2、发送请求,获取响应
response.text # 3、获取响应内容
(2)、get请求详细参数
requests.get(
url=url, # 请求的url
headers=headers # 请求头【字典】
params=params # 请求参数【字典】
)
# 返回一个response对象
(3)、response对象的属性
-
获取响应正文的内容
-
response.text
:获取字符串格式的响应正文内容 -
response.content
:获取二进制格式的响应正文内容
-
-
获取响应正文的编码类型:
response.encoding
之所以能够通过
response.text
获取响应内容的字符串,是因为requests底层
使用response.encoding
来将正文的二进制
类型变成字符串
的。 -
其他
-
response.status_code
:状态码 -
response.headers
:响应头 -
response.url
:完整url
-
-
乱码问题的解决办法
产生乱码的原因就编解码时不一致,可以通过以下两种方法解决:
- a、response.content.decode('页面对应的编码格式')
- b、response.encoding='页面正确的编码',然后通过response.text就能获取正确的页面内容
-
get请求案例
案例一:将百度贴吧的前10页保存到本地
import requests
import os
base_url = 'http://tieba.baidu.com/f?'
kw = '刘亦菲' # 搜索的关键词
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
}
filename = './tieba/' + kw # 爬取的网页存放路径
if not os.path.exists(filename):
# 如果不存在存放该网页的目录,就创建此目录
os.mkdir(filename)
# 将网页的前10页保存到本地
for i in range(10):
params = {
'kw': kw,
'ie': 'utf-8',
'pn': i*50
}
response= requests.get(url=base_url, headers=headers, params=params)
with open(filename+'/'+kw+str(i+1)+'.html', 'w', encoding='utf-8') as f:
f.write(response.text)
案例二:百度翻译
import requests
base_url = 'https://fanyi.baidu.com/sug/'
kw = 'product'
data = {
'kw': kw
}
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
'x-requested-with': 'XMLHttpRequest',
'cookie': cookie;
'origin': 'https://fanyi.baidu.com',
'referer': 'https://fanyi.baidu.com/',
'content-length': str(len(str(data))), # 参数内容中所有所有字符的长度
}
response = requests.post(url=base_url, headers=headers, data=data)
# 如果response的内容是json数据,可以通过reponse.json()直接获取json数据,返回的是一个字典或者list
json_data = response.json()
res = ''
for data in json_data['data']:
res += data['v'] + '\n'
print(res)
2.2、 post请求
(1)、post请求详细参数
requests.get(
url=url, # 请求的url
headers=headers # 请求头【字典】
data=data # 请求参数【字典】
)
# 返回一个response对象
通常很多网页是通过Ajax发送post请求获取数据,此时需要找发送Ajax请求携带的数据,也就是请求参数。
找请求参数有三种方法:
- 查看这条ajax接口之前有没有发送过一些ajax接口,如果有,可能这些接口的其中一个的响应内容里面包含这个接口的数据。
- 有可能这个请求参数写死到页面中的。一般这种情况出现在滚动加载的第一版数据的获取,有可能这么做。
- 在js文件中去寻找参数。
案例一:有道翻译
import requests
import hashlib
import time
import random
base_url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
kw = 'run'
def get_md5(value):
md5 = hashlib.md5()
md5.update(value.encode('utf-8'))
return md5.hexdigest()
"""
由于salt、sign和ts这3个参数由fanyi.js文件中js动态生成的
因此在发送post请求前,需要去动态地生成它们的值
salt = "" + (new Date).getTime() + parseInt(10 * Math.random(), 10)
ts = "" + (new Date).getTime()
sign = n.md5("fanyideskweb" + e + salt + "n%A-rKaT5fb[Gy?;N5@Tj")
"""
salt = str(int(time.time() * 1000)) + str(random.randint(1, 10))
sign = get_md5("fanyideskweb" + kw + salt + "n%A-rKaT5fb[Gy?;N5@Tj")
ts = str(int(time.time() * 1000))
data = {
'i': kw,
'from': 'AUTO',
'to': 'AUTO',
'smartresult': 'dict',
'client': 'fanyideskweb',
'salt': salt,
'sign': sign,
'ts': ts,
'bv': '710f3e24cb0088b9d9ea448919deb3bb',
'doctype': 'json',
'version': '2.1',
'keyfrom': 'fanyi.web',
'action': 'FY_BY_REALTlME'
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest',
'Origin': 'http://fanyi.youdao.com',
'Referer': 'http://fanyi.youdao.com/',
'Cookie': 'OUTFOX_SEARCH_USER_ID_NCOO=1291930369.870429; _ga=GA1.2.27463077.1574943185; _gid=GA1.2.609141079.1574943185; OUTFOX_SEARCH_USER_ID="10809467@10.108.160.18"; JSESSIONID=aaa7W8E0vjuZ-5hRbD26w; ___rl__test__cookies=1575019115684',
'Content-Length': str(len(str(data))),
}
response = requests.post(url=base_url, headers=headers, data=data)
json_data = response.json()
res = ''
for data in json_data['smartResult']['entries']:
res += data
print(res)
2.3、Cookies 和 Session
Cookies
如果一个响应中包含了cookie,那么我们可以利用 cookies参数拿到:
import requests
base_url = "https://www.baidu.com"
response = requests.get(url=base_url)
# 返回CookieJar对象:
cookiejar = response.cookies # 返回CookieJar对象
print(cookiejar)
# 将CookieJar转为字典:
cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
print(cookiedict)
运行结果:
<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
{'BDORZ': '27315'}
Session
在 requests 里,session对象是一个非常常用的对象,这个对象代表一次用户会话:从客户端浏览器连接服务器开始,到客户端浏览器与服务器断开。
会话能让我们在跨请求时候保持某些参数,比如在同一个 Session 实例发出的所有请求之间保持 cookie 。
实现人人网登录
import requests
# 1、创建session对象,可以保存cookie值
se = requests.session()
# 2、处理 headers
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
}
# 3、需要登录的用户名和密码
data = {
'email':'用户名',
'password':'密码'
}
# 4、发送附带用户名和密码的请求,并获取登录后的Cookie值,保存在ssion里
se.post("http://www.renren.com/PLogin.do", data=data, headers=headers)
# 5、se中包含用户登录后的Cookie值,可以直接访问那些登录后才可以访问的页面
response = se.get("http://www.renren.com/410043129/profile")
if '用户名' in response.text:
print(response)
print('登录成功!')
else:
print('登录失败')
栏目列表
最新更新
python 安装 SQLAlchemy 报错
day02_Requests模块
python处理sqlserver数据库的返回数据
Python-判断回文
python线程信号量semaphore(33)
60%的人不懂Python进程Process,你懂吗?
python-网络编程
python连接sqlserver工具类
Python爬虫技术:爬虫时如何知道是否代理
selenium设置user-agent以及对于是否是浏览器
.Net Standard(.Net Core)实现获取配置信息
Linux PXE + Kickstart 自动装机
Shell 编程 基础
Shell 编程 条件语句
CentOS8-网卡配置及详解
Linux中LVM逻辑卷管理
1.数码相框-相框框架分析(1)
Ubuntu armhf 版本国内源
Linux中raid磁盘阵列
搭建简易网站
mysql 安装了最新版本8.x版本后的报错:
Mysql空间数据&空间索引(spatial)
如何远程连接SQL Server数据库的图文教程
复制SqlServer数据库的方法
搜索sql语句
sql中返回参数的值
sql中生成查询的模糊匹配字符串
数据定义功能
数据操作功能
将Session值储存于SQL Server中