首页 > > 网络编程 > Php编程 >

php之curl get post curl_multi_exec 请求用法

2018-06-22 05:29:52来源：未知 阅读 ()

新老客户大回馈,云服务器低至5折

   一、CURL小结

         个人将归纳curl请求总结成三步

         1、创建curl 句柄(curl_init)，并设置参数(curl_setopt)（打开冰箱）

         2、执行请求(curl_exec)，处理返回的数据 (把大象塞进去)

         3、关闭curl(curl_close),释放所有资源(关上冰箱)

         其实如果代码看起来比较复杂，复杂的地方可能就是在处理返回数据的逻辑。

二、CURL_SETOPT

        故名思议，SetOption 设置参数，其中囊括的参数较多，这里只是简单提取常用的几个，如需查看更多参数，点击这里，常见的设置UA、Cookie、https等

bool curl_setopt          ( resource $ch , int $option , mixed $value )
CURLOPT_USERAGENT         在HTTP请求中包含一个"User-Agent: "头的字符串。
CURLOPT_REFERER           在HTTP请求头中"Referer: "的内容。
CURLOPT_TIMEOUT           允许 cURL 函数执行的最长秒数。
CURLOPT_RETURNTRANSFER    TRUE 将curl_exec()获取的信息以字符串返回，而不是直接输出。
/*下面两个再https请求中才需设置*/
CURLOPT_SSL_VERIFYPEER    FALSE 禁止 cURL 验证对等证书（peer's certificate）。要验证的交换证书可以在 CURLOPT_CAINFO 选项中设置，或在 CURLOPT_CAPATH中设置证书目录。(自cURL 7.10开始默认为 TRUE。从 cURL 7.10开始默认绑定安装。)
CURLOPT_SSL_VERIFYHOST    设置为 1 是检查服务器SSL证书中是否存在一个公用名(common name)。译者注：公用名(Common Name)一般来讲就是填写你将要申请SSL证书的域名 (domain)或子域名(sub domain)。 设置成 2，会检查公用名是否存在，并且是否与提供的主机名匹配。 0 为不检查名称。 在生产环境中，这个值应该是 2（默认值）。    值 1 的支持在 cURL 7.28.1 中被删除了。 

     如需返回的Header头，自行添加 

curl_setopt($curl, CURLOPT_HEADER, 1);

     判断返回的状态码：

curl_getinfo($curl, CURLINFO_HTTP_CODE)
if(curl_getinfo($curl, CURLINFO_HTTP_CODE) == '200')

     简单版的GET请求如下，下面以请求百度为例，只设置了最基本的属性：

<?php
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com');
curl_setopt($curl, CURLOPT_HEADER, 1);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
$sData = curl_exec($curl);
curl_close($curl);
var_dump($sData);
?>

       稍微复杂的设置了UA、Cookie等，https请求中才需要只用的SSL证书校验，http请求中可不用，如果需要请求有规律的地址，类似https://example.com/?id=$i，修改for循环即可。

<?php

class getRequest
{
    const sUA = 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)';
    const sURL = 'https://www.baidu.com';
    const sCookie = 'fake if you want';

    function vInitRequest()
    {
        $curl = curl_init();

        curl_setopt($curl, CURLOPT_HEADER, self::sUA);
        curl_setopt($curl, CURLOPT_COOKIE, self::sCookie);
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

        /*
         * ssl check,use for https url
         */
        curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
        curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);

//        for ($iId = 1; $iId < 1000; $iId++) {
//            $sURL = self::sURL.$iId;
        curl_setopt($curl, CURLOPT_URL, self::sURL);
        $this->sExecRequest($curl);
//        }
    }


    function sExecRequest($curl)
    {
        $sRet = curl_exec($curl);
        print_r($sRet);
        /**
         * handle your response
         * stripos or preg
         */
        curl_close($curl);
    }
}

$foo = new getRequest();
$foo->vInitRequest();

?>

 

三、分离Response里面的 Header和Body

      首先要显示Header信息需要设置，如下设置即可取到header和body，当然还有其他方法大同小异

curl_setopt($curl, CURLOPT_HEADER, 1);
list($sHeader, $sBody) = explode("\r\n\r\n", $sRet, 2);

      完整代码：

<?php

class getRequest
{
    const sUA = 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)';
    const sURL = 'https://www.baidu.com';
    const sCookie = 'fake if you want';

    function vInitRequest()
    {
        $curl = curl_init();
        $i = 0;
        curl_setopt($curl, CURLOPT_HEADER, self::sUA);
        curl_setopt($curl, CURLOPT_COOKIE, self::sCookie);
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($curl, CURLOPT_HEADER, 1);
        curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
        curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);
        curl_setopt($curl, CURLOPT_URL, self::sURL);
        $this->sExecRequest($curl);
    }


    function sExecRequest($curl)
    {
        $sRet = curl_exec($curl);
        // if (curl_getinfo($curl, CURLINFO_HTTP_CODE) == '200') {
            list($sHeader, $sBody) = explode("\r\n\r\n", $sRet, 2);
        // }
            print_r($sHeader);
            print_r($sBody);
        // curl_close($curl);
    }
}

$foo = new getRequest();
$foo->vInitRequest();
?>

 

四、POST请求

      POST请求无非比上述Get请求多设置了两个参数。

      1、嘿，我要用POST提交数据了。

      2、我POST的数据的内容

curl_setopt($curl, CURLOPT_POST, 1);
curl_setopt($curl, CURLOPT_POSTFIELDS, array('user'=>'test'));

      简单版如下：      

<?php
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com');
curl_setopt($curl, CURLOPT_HEADER, 1);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl, CURLOPT_POST, 1);
$aPostData = array(
  'username' => 'test',
   .....
);
curl_setopt($curl, CURLOPT_POSTFIELDS, $aPostData);
$sData = curl_exec($curl);
curl_close($curl);
var_dump($sData);
?>

五、curl_multi_exec请求

      curl_multi_exec可同时执行多个请求，如果你网络请求速度很快，网站相应的速度超过你处理Response的速度，建议采用curl_multi_exec,步骤很简单。代码如下

curl_multi_init();//初始化
curl_multi_add_handle()//添加句柄
curl_multi_exec// 批量执行

     这里以爬取百度验证码图片为例:

<?php
ini_set("memory_limit", '-1');
date_default_timezone_set("PRC");

class multiGetRequest
{
    const sUA = 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)';
    const sURL = 'https://passport.baidu.com/cgi-bin/genimage?njGeb06e22aefd4de7a02671411de01f513c021a606ee0400d3';
    const sCookie = 'fake if you want';
    const sDir = '/Users/test/Desktop/baidu/'; //你自己的路径
    const iCurlCount = 100;    //爬取图片张数
    private $sMicrotime = '';


    function vInitMultiCurl()
    {
        $this->sMicrotime = microtime(true);
        $sMultiCurlResource = curl_multi_init();
        $this->vInitCurl($sMultiCurlResource);
    }

    function vInitCurl($sMultiCurlResource)
    {
        $i = 0;
        while ($i != self::iCurlCount) {
            $aCurlResource[$i] = curl_init(self::sURL);
            curl_setopt($aCurlResource[$i], CURLOPT_RETURNTRANSFER, 1);
            curl_setopt($aCurlResource[$i], CURLOPT_HEADER, 1);
            curl_setopt($aCurlResource[$i], CURLOPT_TIMEOUT, 200);
            curl_multi_add_handle($sMultiCurlResource, $aCurlResource[$i]);
            $i++;
        }
        $this->vExecCurl($aCurlResource, $sMultiCurlResource);
    }


    function vExecCurl($aCurlResource, $sMultiCurlResource)
    {
        $iIsRunning = 0;
        do {
            $sMultiResource = curl_multi_exec($sMultiCurlResource, $iIsRunning);
            curl_multi_select($sMultiCurlResource);
        } while ($iIsRunning > 0 || $sMultiResource == CURLM_CALL_MULTI_PERFORM);

        foreach ($aCurlResource as $i => $rCurl) {
            $aRes[$i] = curl_multi_getcontent($rCurl);
        }
        $this->vHandleResponse($aRes);
    }

    function vHandleResponse($aRes)
    {
        var_dump(count($aRes));
        foreach ($aRes as $sReponse) {
            list($header, $body) = explode("\r\n\r\n", $sReponse, 2);
            $sCode = strtotime(time()).rand(1,1000000);
            file_put_contents(self::sDir . $sCode . '.jpg', $body);
        }
        var_dump(('消时:' . round(microtime(true) - $this->sMicrotime, 3)));
    }

}

$foo = new multiGetRequest();
$foo->vInitMultiCurl();


?>

 

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有

上一篇：PHP 结合实例认识 Socket

下一篇：湛江，海南七彩打奖开会员代理的，有需要的，联系我

相关文章

IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设

网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源

网站联盟： 联盟新闻 联盟介绍 联盟点评 网赚技巧

行业资讯： 搜索引擎 网络游戏 电子商务 广告传媒

网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它

服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护

软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷

网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash

程序设计： Java技术 C/C++ VB delphi

网络知识： 网络协议 网络安全 网络管理 组网方案 Cisco技术

操作系统： Win2000 WinXP Win2003 Mac OS Linux FreeBSD

热门词条
最新资讯
热门关注
热门标签