使用PHP的cURL库可以简单和有效地去抓网页。你只需要运行一个脚本，然后分析一下你所抓取的网页，然后就可以以程序的方式得到你想要的数据了

无论是你想从从一个链接上取部分数据，或是取一个XML文件并把其导入数据库，那怕就是简单的获取网页内容，cURL 是一个功能强大的PHP库。

PHP中的CURL函数库（Client URL Library Function）

curl_close — 关闭一个curl会话

curl_copy_handle — 拷贝一个curl连接资源的所有内容和参数

curl_errno — 返回一个包含当前会话错误信息的数字编号

curl_error — 返回一个包含当前会话错误信息的字符串

curl_exec — 执行一个curl会话

curl_getinfo — 获取一个curl连接资源句柄的信息

curl_init — 初始化一个curl会话

curl_multi_add_handle — 向curl批处理会话中添加单独的curl句柄资源

curl_multi_close — 关闭一个批处理句柄资源

curl_multi_exec — 解析一个curl批处理句柄

curl_multi_getcontent — 返回获取的输出的文本流

curl_multi_info_read — 获取当前解析的curl的相关传输信息

curl_multi_init — 初始化一个curl批处理句柄资源

curl_multi_remove_handle — 移除curl批处理句柄资源中的某个句柄资源

curl_multi_select — Get all the sockets associated with the cURL extension, which can then be "selected"

curl_setopt_array — 以数组的形式为一个curl设置会话参数

curl_setopt — 为一个curl设置会话参数

curl_version — 获取curl相关的版本信息

curl_init()函数的作用初始化一个curl会话，curl_init()函数唯一的一个参数是可选的，表示一个url地址。

curl_exec()函数的作用是执行一个curl会话，唯一的参数是curl_init()函数返回的句柄。

curl_close()函数的作用是关闭一个curl会话，唯一的参数是curl_init()函数返回的句柄。

例子一: 基本例子

基本例子，代码如下:

1. <?php 
2. // 初始化一个 cURL 对象 
3. $curl = curl_init(); 
4. // 设置你需要抓取的URL 
5. curl_setopt($curl, CURLOPT_URL, 'http://www.phpfensi.com'); 
6. // 设置header 
7. curl_setopt($curl, CURLOPT_HEADER, 1); 
8. // 设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。 
9. curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
10. // 运行cURL，请求网页 
11. $data = curl_exec($curl); 
12. // 关闭URL请求 
13. curl_close($curl); 
14. // 显示获得的数据 
15. var_dump($data); 
16. ?> 

例子二: POST数据

sendSMS.php，其可以接受两个表单域，一个是电话号码，一个是短信内容。

POST数据，代码如下:

1. <?php 
2. $phoneNumber　=　'13812345678'; 
3. $message　=　'This　message　was　generated　by　curl　and　php'; 
4. $curlPost　=　'pNUMBER='　.　urlencode($phoneNumber)　.　'&MESSAGE='　.　urlencode($message)　.　'&SUBMIT=Send'; 
5. $ch　=　curl_init(); 
6. curl_setopt($ch,　CURLOPT_URL,　'http://www.phpfensi.com/sendSMS.php'); 
7. curl_setopt($ch,　CURLOPT_HEADER,　1); 
8. curl_setopt($ch,　CURLOPT_RETURNTRANSFER,　1); 
9. curl_setopt($ch,　CURLOPT_POST,　1); 
10. curl_setopt($ch,　CURLOPT_POSTFIELDS,　$curlPost); 
11. $data　=　curl_exec(); 
12. curl_close($ch); 
13. ?> 

例子三:使用代理服务器

使用代理服务器，代码如下:

1. <?php　 
2. $ch　=　curl_init(); 
3. curl_setopt($ch,　CURLOPT_URL,　'http://www.phpfensi.com'); 
4. curl_setopt($ch,　CURLOPT_HEADER,　1); 
5. curl_setopt($ch,　CURLOPT_RETURNTRANSFER,　1); 
6. curl_setopt($ch,　CURLOPT_HTTPPROXYTUNNEL,　1); 
7. curl_setopt($ch,　CURLOPT_PROXY,　'proxy.lxvoip.com:1080'); 
8. curl_setopt($ch,　CURLOPT_PROXYUSERPWD,　'user:password'); 
9. $data　=　curl_exec(); 
10. curl_close($ch); 
11. ?> 

例子四: 模拟登录

Curl 模拟登录 discuz 程序,适合DZ7.0,将username改成你的用户名,userpass改成你的密码就可以了.

Curl 模拟登录 discuz 程序，代码如下:

1. <?php    
2.  
3. !extension_loaded('curl') && die('The curl extension is not loaded.');    
4.  
5. $discuz_url = 'http://www.phpfensi.com';//论坛地址    
6. $login_url = $discuz_url .'/logging.php?action=login';//登录页地址    
7. $get_url = $discuz_url .'/my.php?item=threads'; //我的帖子    
8.  
9. $post_fields = array();    
10. //以下两项不需要修改    
11. $post_fields['loginfield'] = 'username';    
12. $post_fields['loginsubmit'] = 'true';    
13. //用户名和密码，必须填写    
14. $post_fields['username'] = 'lxvoip';    
15. $post_fields['password'] = '88888888';    
16. //安全提问    
17. $post_fields['questionid'] = 0;    
18. $post_fields['answer'] = '';    
19. //@todo验证码    
20. $post_fields['seccodeverify'] = '';    
21.  
22. //获取表单FORMHASH    
23. $ch = curl_init($login_url);    
24. curl_setopt($ch, CURLOPT_HEADER, 0);    
25. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);    
26. $contents = curl_exec($ch);    
27. curl_close($ch);    
28. preg_match('/<input\s*type="hidden"\s*name="formhash"\s*value="(.*?)"\s*\/>/i', $contents, $matches);    
29. if(!emptyempty($matches)) {    
30.     $formhash = $matches[1];    
31. } else {    
32.     die('Not found the forumhash.');    
33. }    
34.  
35. //POST数据，获取COOKIE    
36. $cookie_file = dirname(__FILE__) . '/cookie.txt';    
37. //$cookie_file = tempnam('/tmp');    
38. $ch = curl_init($login_url);    
39. curl_setopt($ch, CURLOPT_HEADER, 0);    
40. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);    
41. curl_setopt($ch, CURLOPT_POST, 1);    
42. curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields);    
43. curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);    
44. curl_exec($ch);    
45. curl_close($ch);    
46.  
47. //带着上面得到的COOKIE获取需要登录后才能查看的页面内容    
48. $ch = curl_init($get_url);    
49. curl_setopt($ch, CURLOPT_HEADER, 0);    
50. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);    
51. curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);    
52. $contents = curl_exec($ch);    
53. curl_close($ch);    
54.  
55. var_dump($contents);  
56.  

出处：http://www.phpfensi.com/php/20200902/13228.html