介绍

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

背景

最近在玩爬虫，但是发现基本都是python的资料居多。如今代码圈很多做网络爬虫的例子，这里给大家分享的是如何用C#做网络爬虫。注意这里的分享只是分享思路和遇到的一些问题，并不是一整个例子，因为如果要讲解一整个例子的话，牵扯的东西太多。