python爬虫框架scrapy实例详解(3)

当前位置:

首页 > Python基础教程 >

python爬虫框架scrapy实例详解(3)

让scrapy自动抓取网页上的所有链接

上面的示例中scrapy只抓取了start_urls里面的两个url的内容，但是通常我们想实现的是scrapy自动发现一个网页上的所有链接，然后再去抓取这些链接的内容。为了实现这一点我们可以在parse方法里面提取我们需要的链接，然后构造一些Request对象，并且把他们返回，scrapy会自动的去抓取这些链接。代码类似：

						class MySpider(BaseSpider):

						    name= 'myspider'

						    start_urls= (

						        'http://example.com/page1',

						        'http://example.com/page2',

						        )

						    def parse(self, response):

						        # collect `item_urls`

						        for item_urlin item_urls:

						            yield Request(url=item_url, callback=self.parse_item)

						    def parse_item(self, response):

						        item= MyItem()

						        # populate `item` fields

						        yield Request(url=item_details_url, meta={'item': item},

						            callback=self.parse_details)

						    def parse_details(self, response):

						        item= response.meta['item']

						        # populate more `item` fields

						        return item

parse是默认的callback, 它返回了一个Request列表，scrapy自动的根据这个列表抓取网页，每当抓到一个网页，就会调用parse_item，parse_item也会返回一个列表，scrapy又会根据这个列表去抓网页，并且抓到后调用parse_details

为了让这样的工作更容易，scrapy提供了另一个spider基类，利用它我们可以方便的实现自动抓取链接. 我们要用到CrawlSpider

						from scrapy.contrib.linkextractors.sgmlimport SgmlLinkExtractor

						class MininovaSpider(CrawlSpider):

						    name= 'mininova.org'

						    allowed_domains= ['mininova.org']

						    start_urls= ['http://www.mininova.org/today']

						    rules= [Rule(SgmlLinkExtractor(allow=['/tor/\d+'])),

						             Rule(SgmlLinkExtractor(allow=['/abc/\d+']),'parse_torrent')]

						    def parse_torrent(self, response):

						        x= HtmlXPathSelector(response)

						        torrent= TorrentItem()

						        torrent['url']= response.url

						        torrent['name']= x.select("//h1/text()").extract()

						        torrent['description']= x.select("//div[@id='description']").extract()

						        torrent['size']= x.select("//div[@id='info-left']/p[2]/text()[2]").extract()

						        return torrent

栏目列表