首页 > Python基础教程 >
-
决定学习一系列的 python 爬虫教程
必须来个乘上接下的总结,之前学习了很多关于 flask 这个轻量级的 web 开发框架,收获很多,不知道各位是否学习到很多呢?我喜欢有更多的人来跟我一起来践行学习这件事,永远都不要放弃学习,持续学习是这个社会的核心竞争力,对我来说,我喜欢尝试各种各样新鲜的东西,我喜欢挑战
接下来,我可能会继续学习 关于 python 的东西,上次学习 flask ,这次通过学习出一系列的 python 爬虫教程,就从入门开始吧,兄弟们,搞起来
我也不太会像其他公众号那样各种宣传,各种送书,我就以我自己的学习,带动大家一起来跟我学习吧,没有那么多的套路,当然也不是说其他公众号不好的话,也不是酸吧,只是大家都在踏踏实实做事情,只是处理的方式不同,我就比较佛系的那种,也希望大家加进来一起学习吧
先给些建议吧
爬虫工程师要求知识点
1、python入门和进阶(进阶的包括多进程等等)
2、HTTP知识(因为要爬的是网页,所以要了解网页)
2、web前端:HTML、CSS、Javascript等
3、爬虫知识(爬虫基本库的使用、scrapy框架等)
4、反爬虫(代理池、分布式等等)
5、数据库(大批量数据的储存涉及mysql等)
先导知识
HTTP协议
html,css,javascript:学爬虫这些东西是肯定要看的,推荐W3school,倒也不用全看,懂个大概就好了
爬虫实战项目一,涉及知识点:mysql储存、断点续爬、抓包app、ip代理、cookie模拟登陆
爬虫实战项目二,涉及知识点:scrapy具体应用
scrapy知识点:
scrapy中文文档:
scrapy项目实战:
爬虫实战项目三,涉及知识点:去重、分布式、多进程、模拟登陆
数据库,掌握基本用法即可
mysql
mongodb
找工作必备
计算机基础,包含(数据结构与算法、计算机网络协议等计算机专业基本课程、我前面的文章里有介绍怎么学),非计算机专业学生容易忽略
其他技能(可选,加分)
javascript,验证码,app破解
1、要想破解加密,得非常强悍的javascript基础,这个我也不是很懂
2、验证码,工业界目前破解验证码还是用打码平台
3、现在不仅仅是网站破解了,很多公司需要你抓app的数据,抓包最常用,你还得会app脱壳之类的,这些我就不懂了。