python爬虫实战以及数据可视化(2)

当前位置:

首页 > temp > 简明python教程 >

python爬虫实战以及数据可视化(2)

主要代码展示：

第一部分：拉取数据。

（1）使用session保存cokkies信息。

self.lagou_session = requests.session()

（2）写一个request方法；用于请求数据。使用多线程，以及代理的方式来；否则会记录恶意IP，不能爬虫。

			
									def handle_request(self,method,url,data=None,info=None):

									    while True:

									        #加入阿布云的动态代理

									        proxyinfo = "http://%s:%s@%s:%s" % ('H1V32R6470A7G90D', 'CD217C660A9143C3', 'http-dyn.abuyun.com', '9020')

									        proxy = {

									            "http":proxyinfo,

									            "https":proxyinfo

									        }

									        try:

									            if method == "GET":

									                # response = self.lagou_session.get(url=url,headers=self.header,proxies=proxy,timeout=6)

									                response = self.lagou_session.get(url=url,headers=self.header,timeout=6)

									            elif method == "POST":

									                # response = self.lagou_session.post(url=url,headers=self.header,data=data,proxies=proxy,timeout=6)

									                 response = self.lagou_session.post(url=url,headers=self.header,data=data,timeout=6)

									        except:

									            # 需要先清除cookies信息

									            self.lagou_session.cookies.clear()

									            # 重新获取cookies信息

									            first_request_url = "https://www.lagou.com/jobs/list_python?city=%s&cl=false&fromSearch=true&labelWords=&suginput=" % info

									            self.handle_request(method="GET", url=first_request_url)

									            time.sleep(10)

									            continue

									        response.encoding = 'utf-8'

									        if '频繁' in response.text:

									            print(response.text)

									            #需要先清除cookies信息

									            self.lagou_session.cookies.clear()

									            # 重新获取cookies信息

									            first_request_url = "https://www.lagou.com/jobs/list_python?city=%s&cl=false&fromSearch=true&labelWords=&suginput="%info

									            self.handle_request(method="GET",url=first_request_url)

									            time.sleep(10)

									            continue

									        return response.text

栏目列表