1 # -*- condeing = utf-8 -*-
 2 # @Time:2021/7/19 20:40
 3 # @Author : lmb
 4 # @File:.py
 5 # @Software:
 6 
 7 import urllib.request,urllib.error
 8 import re
 9 from bs4 import BeautifulSoup
10 
11 #爬取多条(实例：豆瓣TOP250)
12 def GetUrl(baseurl):
13     #1.爬取网页
14     for i in range(0,10):
15         url=baseurl+str(i*25)#根据网页网址的规律例如：start=0?
16         html=AskUrl(url)#保存获取的网页源码
17 
18     #2.逐一解析数据
19         soup=BeautifulSoup(html,"html.parser")
20         for item in soup.find_all('div',class_="hd"):#div里class为“hd”的，其实也就是所需要的数据所在的标签区
21             #print(item)
22             data=[] #保存一部电影的信息
23             item=str(item)#将其转换为string类型
24 
25            
26             name=re.findall(findName,item)[0]　　#[0]的意思是只要提取每个标签的出现的第一个相匹配的
27             print(name)#打印出爬取的电影名称
28 
29 
30 #爬取网页
31 def AskUrl(url):#获取html源码
32     #模拟浏览器读取网页
33     head={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4542.2 Safari/537.36"}
34     reqs=urllib.request.Request(url,headers=head)#对其进行封装
35     html="";
36     try:
37         resposed=urllib.request.urlopen(reqs)#打开request封装好的reps
38         html=resposed.read().decode("utf-8")#用read()读取
39         
40 
41     except urllib.error.URLError as e:#可能会报错的一些情况
42         if hasattr(e,"code"):
43             print(e.code)
44         if hasattr(e,"reason"):
45             print(e.reson)
46     return html#必须返回一个读取出来的对象
47 
48 if __name__ == '__main__':
49       
50     findName=re.compile(r'<span class="title">(.*?)</span>')#获取电影名的正则表达式
51     GetUrl("https://movie.douban.com/top250?start=")#用GetUrl的方法,得到爬取的排名前250的电影名称

出处：https://www.cnblogs.com/lmbl/p/15032915.html