VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > temp > python入门教程 >

  • Python爬虫学习笔记(一)

概念：

使用代码模拟用户，批量发送网络请求，批量获取数据。

 

分类：

通用爬虫：

通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。

主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

简单来讲就是尽可能的把互联网上的所有的网页下载下来，放到本地服务器里形成备分，

在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。

聚焦爬虫：

聚焦爬虫是根据指定的需求抓取网络上指定的数据。

例如：获取豆瓣上电影的名称和影评，而不是获取整张页面中所有的数据值。

增量式爬虫：

增量式是用来检测网站数据更新的情况，且可以将网站更新的数据进行爬取。

 

Robots协议：


	

		

			robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。 因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。 如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。 robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。

	

	

		

			

				

					 

			

			

				 

		

	

	



	 



	简单来说，robots决定是否允许爬虫（通用爬虫）抓取某些内容。



	注：聚焦爬虫不遵守robots。



	eg：



	



	 



	 



	爬取流程：



	大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。


    
	
  • 
		指定url
    • 
	
  • 
		发起请求
    • 
	
  • 
		获取响应数据
    • 
	
  • 
		数据解析
    • 
	
  • 
		持久化存储
    • 




	 



	Test：



	Test1：



	 urllib



	 



	Test2：



	 读取内容



	



	Test3：



	 字符串方式读取内容



	



	Test4：



	 将数据写入文件



	



	注：



	出于安全性，https请求的话将无法打开，而http则可以打开。



	Test5：



	 将字符串类型传唤为bytes



	



	注：



	python爬取的类型：str，bytes



	如果爬取返回的是bytes类型：但写入的时候需要字符串 => decode(“utf-8”);



	如果爬取返回的是str类型：但写入的时候需要bytes类型 => encode(“utf-8”).



	Test1 ~ Test4代码：



	 View Code



	 



	Test5：



	 GET - params



	



	 直接运行



	



	 读取内容



	



	 保存到本地



	



	



	参考：



	https://www.xin3721.com/eschool/pythonxin3721/



	 



	__EOF__



	

		

	

		本文作者：3cH0 - Nu1L 本文链接：https://www.cnblogs.com/3cH0-Nu1L/p/14289908.html






      



  

  
  

   
    
    
   

  

  
 
 

 
 
  
 
 
 
 






 






相关教程