-
php中foreach curl实现多线程例子
多线程是php不支持的但我们可以通过foreach来伪多线程了,但这个伪多线程速度不一定比单线程要单到哪里去了,具体来看个例子.
在利用foreach语句循环图片URL,并通过CURL将所有图片进行本地保存的函数时,出现了只能采集到一个的问题,现将foreach和CURL结合进行多URL请求的方法进行下总结.
方法1:循环请求
- $sr=array(url_1,url_2,url_3);
- foreach ($sr as $k=>$v) {
- $curlPost=$v.'?f=传入参数';
- $ch = curl_init($curlPost) ;
- curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) ; // 获取数据返回
- curl_setopt($ch, CURLOPT_BINARYTRANSFER, true) ; // 在启用 CURLOPT_RETURNTRANSFER 时候将获取数据返回
- $data = curl_exec($ch) ; //开源软件:phpfensi.com
- echo $k.'##:'.$data.'<br>';
- }
- curl_close($ch);
上面代码需要特别注意的是,curl_close 一定要放在foreach循环结束的外面,如果放在里面的话,就会出现我上面提到的多个IMGURL,只能采集到一个URL的问题.
方法2:多线程循环
- <?php
- multi_threads_request($nodes){
- $mh = curl_multi_init();
- $curl_array = array();
- foreach($nodes as $i => $url)
- {
- $curl_array[$i] = curl_init($url);
- curl_setopt($curl_array[$i], CURLOPT_RETURNTRANSFER, true);
- curl_multi_add_handle($mh, $curl_array[$i]);
- }
- $running = NULL;
- do {
- usleep(10000);
- curl_multi_exec($mh,$running);
- } while($running > 0);
- $res = array();
- foreach($nodes as $i => $url)
- {
- $res[$url] = curl_multi_getcontent($curl_array[$i]);
- }
- foreach($nodes as $i => $url){
- curl_multi_remove_handle($mh, $curl_array[$i]);
- }
- curl_multi_close($mh);
- return $res;
- }
- print_r(multi_threads_request(array(
- 'http://www.phpfensi.com',
- 'http://qq.phpfensi.com',
- ));
这里主要利用curl_multi_init()实现多个url 的请求,不过由于php自身并不支持多线程,所以伪多线程速度也不见得会比单线程快.
出处:http://www.phpfensi.com/php/20150404/8965.html
栏目列表
最新更新
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
Python初学者友好丨详解参数传递类型
如何有效管理爬虫流量?
SQL SERVER中递归
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
这是目前我见过最好的跨域解决方案!
减少回流与重绘
减少回流与重绘
如何使用KrpanoToolJS在浏览器切图
performance.now() 与 Date.now() 对比
一款纯 JS 实现的轻量化图片编辑器
关于开发 VS Code 插件遇到的 workbench.scm.
前端设计模式——观察者模式
前端设计模式——中介者模式
创建型-原型模式