Python3多线程爬虫实例讲解(3)

当前位置:

首页 > Python基础教程 >

Python3多线程爬虫实例讲解(3)

3个线程时：

						Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/2.html

						Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/3.html

						Current Thread Name Thread-3, Url: http://www.pythontab.com/html/pythonjichu/4.html

						Current Thread Name Thread-4, Url: http://www.pythontab.com/html/pythonjichu/5.html

						Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/6.html

						Current Thread Name Thread-4, Url: http://www.pythontab.com/html/pythonjichu/7.html

						Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/9.html

						Current Thread Name Thread-3, Url: http://www.pythontab.com/html/pythonjichu/8.html

						Done, Time cost: 2.287320137023926

通过调节线程数可以看到，执行时间会随着线程数的增加而缩短，抓取效率成正比增加。

总结：

Python多线程在IO密集型任务，多线程可以明显提高效率，CPU密集型任务不适合使用多线程处理。

栏目列表