博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
PHP利用CURL_MULTI实现多线程
阅读量:6403 次
发布时间:2019-06-23

本文共 1922 字,大约阅读时间需要 6 分钟。

PHP中的curl_multi一类函数可以实现同时请求多个url,而不是一个一个依次请求,这就类似一个进程实现了多个线程的功能,因此可以使用PHP利用CURL_MULTI实现完成多线程类的任务,下面就一个利用PHP CURL_MULTI多线程采集网页为例来说明一下。

 
01 <?php
02 //功能:PHP利用CURL_MULTI多线程采集网页函数
03 $text=remote(array('','','',''));
04 print_r($text);
05 function remote($urls){
06     if(!is_array($urls)||!count($urls)){
07         return false;
08     }
09     $curl=$text=array();
10     $handle=curl_multi_init();
11     foreach($urls as $k=>$v){
12         //$nurl[$k]=preg_replace('/([^:\/\.]+)/i',rawurlencode('\\1'),$v);
13         //$curl[$k]=curl_init($nurl[$k]);
14         $curl[$k]=curl_init($v);
15         curl_setopt($curl[$k], CURLOPT_RETURNTRANSFER,1);
16         curl_setopt($curl[$k], CURLOPT_HEADER,0);
17         curl_multi_add_handle($handle,$curl[$k]);
18     }
19     $active = null;
20     do{
21         $mrc=curl_multi_exec($handle,$active);
22     }while($mrc==CURLM_CALL_MULTI_PERFORM);
23     while($active&&$mrc==CURLM_OK){
24         if(curl_multi_select($handle)!=-1){
25             do{
26                 $mrc=curl_multi_exec($handle,$active);
27             }while($mrc==CURLM_CALL_MULTI_PERFORM);
28         }
29     }
30      
31     foreach($curl as $k=>$v){
32         if(curl_error($curl[$k])==""){
33             $text[$k]=(string)curl_multi_getcontent($curl[$k]);
34         }
35         curl_multi_remove_handle($handle,$curl[$k]);
36         curl_close($curl[$k]);
37     }
38     curl_multi_close($handle);
39     return $text;
40 }

另外我对CURL_MULTI类的函数也做了一下小小的总结,通过查看php手册文档会找出PHP CURL_MULTI类的函数主要有以下几个:

curl_multi_add_handle

curl_multi_close

curl_multi_exec

curl_multi_getcontent

curl_multi_info_read

curl_multi_init

curl_multi_remove_handle

curl_multi_select

调用这些函数实现目的的步骤一般如下:

第一步:调用curl_multi_init初始化一个curl批处理句柄资源

第二步:循环调用curl_multi_add_handle向curl批处理会话中添加单独的curl句柄资源(这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle)

第三步:持续调用curl_multi_exec解析curl批处理句柄

第四步:根据需要循环调用curl_multi_getcontent返回获取的输出的文本流以获取结果

第五步:调用curl_multi_remove_handle移除curl批处理句柄资源中的某个句柄资源,并为每个handle调用curl_close

第六步:调用curl_multi_close关闭批处理句柄资源

另外需要注意的是PHP 5 版本才可以使用这个函数,必须开启 curl 扩展(打开 php.ini 把;extension=php_curl.dll前面的分号去掉 , 重启apache  就可以使用了)。

转载地址:http://sjnea.baihongyu.com/

你可能感兴趣的文章
idea上用的插件
查看>>
如何基于web技术开发国产化网管软件
查看>>
基于maven2打包不同jdk版本的包
查看>>
【实战Java高并发程序设计】2–无锁的对象引用:AtomicReference
查看>>
江城子·钱难挣
查看>>
yii2.0验证
查看>>
css中font-size和size区别
查看>>
zookeeper单机伪集群配置
查看>>
网络编程 -金典echo案例
查看>>
2017年-09月工作日志
查看>>
EnglishHelperSystem-2.05.18
查看>>
已安装好npm需要更新到最新
查看>>
Python网络通信UDP广播流程
查看>>
Postgres 中如何取得周的起始和结束日期?(周是从周一开始算起)
查看>>
centos上安装redis
查看>>
Maven坐标、依赖的介绍之发送邮件示例项目
查看>>
通过 skynet 学习到的 assert 的使用
查看>>
nginx配置文件的基本配置
查看>>
基本数据结构:链表(list)
查看>>
python获取主机ip的正确方式
查看>>