向东博客 专注WEB应用 构架之美 --- 构架之美，在于尽态极妍 | 应用之美，在于药到病除|赢在IT，Playin' with IT,Focus on Killer Application,Marketing Meets Technology.

背景：http://jackxiang.com/post/2656/  里有通过php进行curl配置并进行模拟IP来进行请求：PHP的curl扩展为我们用了CURLOPT_HTTPHEADER来做host的工作， curl -l -H "Host:test3.qq.com"  http://17.2*.*.70/index.php，这儿讲一下用shell下的curl来一行进行模拟及其用wireshark进行抓包发现其http的头的原理。自己之前写过放在这儿：jackxiang.com/post/2656/
____________实践有用的Curl强大功能________________
用Curl直接模拟Host方法，Curl伪造Refer的方法:
http://jackxiang.com/post/6201/
获取cookie后，模拟refer并带上cookie通过curl访问某个接口：
http://jackxiang.com/post/4082/
PHP用CURL伪造IP和来源：
http://jackxiang.com/post/6201/
______________________________________________
参考：http://get.ftqq.com/9091.get
完整示例只传入data，其它项默认即可：
    function curl_post($data,$url="http://101.200.228.***/sendmail.php",$host=array("Host: *.jackxiang.com"),$refer="wx.*.com")     {         $ch = curl_init();         $res= curl_setopt ($ch, CURLOPT_URL,$url);         curl_setopt($ch, CURLOPT_REFERER, $refer);         curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);         curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);         curl_setopt ($ch, CURLOPT_HEADER, 0);         curl_setopt($ch, CURLOPT_POST, 1);         curl_setopt($ch, CURLOPT_POSTFIELDS, $data);         curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);         curl_setopt($ch,CURLOPT_HTTPHEADER,$host);         $result = curl_exec ($ch);         curl_close($ch);         if ($result == NULL) {                 return 0;         }         return $result;     }
调用示例：
        if(isset($sendEmailArr) && ($sendEmailArr != NULL)){                 $serialize=serialize($sendEmailArr);                 $data = "neworders=".$serialize;                 echo $retInfo = $this->curl_post($data);         }else{                 $date = date("Y-m-d H:i:s");                 echo "提示:没有发现有订单,不用发邮件通知。{$date}\n";         }


实现GET请求成功，注意 header是数组，参考来自：http://get.ftqq.com/9091.get  ，关于Host: xxx.xx.com在Header里是数组,否则会报警告：
第三行改为
$header[] = "Content-type: text/xml"; // 改为数组解决
        $setEggsHostArr = array(Config::getInstance()->getConf('SETEGGSHOST'));         $setEggsHttp = Config::getInstance()->getConf('SETEGGSHTTP');         $setEggsPara = Config::getInstance()->getConf('SETEGGSPARA');         $setEggsHttp = sprintf($setEggsHttp,$eidsIpBind);         $setEggsPara = sprintf($setEggsPara,$eid,$temp,$humi);         $rsJsonStr = $model->curlGetByHost($setEggsHostArr,$setEggsPara,$setEggsHttp);         $rsArrOut = json_decode($rsJsonStr,true);         return $this->writeJson($rsArrOut['code'], [],$rsArrOut['msg']);
    public function curlGetByHost($host,$data,$url)     {         $ch = curl_init();         $res= curl_setopt ($ch, CURLOPT_URL,$url);         var_dump($res);         curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);         curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);         curl_setopt ($ch, CURLOPT_HEADER, 0);         curl_setopt($ch, CURLOPT_POST, 0);         curl_setopt($ch, CURLOPT_POSTFIELDS, $data);         curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);         curl_setopt($ch,CURLOPT_HTTPHEADER,$host);         $result = curl_exec ($ch);         curl_close($ch);         if ($result == NULL) {          return 0;         }         return $result;     }
配置文件：
    'SETEGGSHOST' => 'Host: wx.xxx.com',
    'SETEGGSHTTP' => 'http://%s/Api/Eggs/Eggs/doSetTemp',
    'SETEGGSPARA' => 'eid=%s&temp=%s&humi=%s',

最后，Host: wx.xx.com   =数组传入=》 $setEggsHostArr = array(Config::getInstance()->getConf('SETEGGSHOST'));得注意。
Host: wx.xx.com   eid=83419527&temp=38.2&humi=45    http://wx.xx.com/Api/Eggs/Eggs/doSetTempbool
—————————————————————Curl模拟Host和Ip对应关系—————————————————————
一个是Linux命令行来实现，二是从PHP编码上来实现不用修改Linux的Host就可能实现对虚拟主机的访问，实现如下：
一.假如70上有一个test3.qq.com ,我们在Windows下还需要通过
editplus C:\WINDOWS\system32\drivers\etc\hosts
对Host加入配置：
17.2*.*.70  test3.qq.com
后，
才能通过浏览器访问，而我们如果不加就不能访问。
现在，可以通过Curl来不用修改host文件也能访问，如下：
去Host：
#17.2*.*.70  test3.qq.com
用Curl直接模拟Host如下：
curl -l -H "Host:test3.qq.com"  http://17.2*.*.70/index.php
如果看代码图片：
curl -l -H "Host:mytv.jackxiang.com"  http://127.0.0.1/uploads/temp/201310261334109440.jpg > xdy.jpg
-----------------------------------------------------------------------------------------------------------------------------------------------------------
如果有&号连接的Url需要对Url加引号：
curl -l --silent -v -H "Host:api.xdxp.cn"  "http://115.182.35.108/general/getVideoCategoryList?uid=100&videoCategoryIds=15,16,17,18,19,20,31&format=json"
*   Trying 115.182.35.108... connected
* Connected to 115.182.35.108 (115.182.35.108) port 80 (#0)
> GET /general/getVideoCategoryList?uid=100&videoCategoryIds=15,16,17,18,19,20,31&format=json HTTP/1.1

不加引号的情况：
curl -l --silent -v -H "Host:api.xdxp.cn"  http://115.182.35.108/general/getVideoCategoryList?uid=100&videoCategoryIds=15,16,17,18,19,20,31&format=json
* About to connect() to 115.182.35.108 port 80 (#0)
*   Trying 115.182.35.108... connected
* Connected to 115.182.35.108 (115.182.35.108) port 80 (#0)
> GET /general/getVideoCategoryList?uid=100 HTTP/1.1
-----------------------------------------------------------------------------------------------------------------------------------------------------------

与此同时，我们还能通过在Linux自己带的Curl来进行不用设置/etc/hosts来实现我们自己的模拟host访问。这样在调试接口等就不用我们自己每次都修改Host文件了,带来了极大的方便。

二.我们在PHP代码编程使用中PHP设置Curl参数来实现的代码片段如下,注意传入的是IP，而Host设置在函数的代码中：

function curl_post($data,$host = "http://116.255.139.240/user_join/freereg.php??from_id=10537") {   $ch = curl_init();   $res= curl_setopt ($ch, CURLOPT_URL,$host);   curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);   curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);   curl_setopt ($ch, CURLOPT_HEADER, 0);   curl_setopt($ch, CURLOPT_POST, 1);   curl_setopt($ch, CURLOPT_POSTFIELDS, $data);   curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);   curl_setopt($ch,CURLOPT_HTTPHEADER,array("Host: jackxiang.com"));   $xyz = curl_exec ($ch);   if ($xyz == NULL)   {     return 0;   }   return $xyz; }
如一个域名有两个IP，如何来实现调用的简单实现，这样有利于分担接口负载，如下：
//调用方法 $data = "uin=372647693&appkey=778899"; $host[1] = "http://10.6.207.110/user_join/freereg.php??from_id=10537"; $host[2] = "http://116.255.139.240/user_join/freereg.php??from_id=10537"; $randval = rand(1,2);   $host = $host[$randval]; curl_post($data,$host);

综上所述，其本质是模拟了Http协议的头，想了解更多请看我之前写的一篇文章：
《PHP CURL CURLOPT_HTTPHEADER设置HOST（也就是不用配置host访问），Curl伪造Refer的方法及其杂谈》
Url：http://jackxiang.com/post/4022/


—————————————————————伪造客户端IP—————————————————————
一）这就是伪造的Curl的PHP代码：
curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:'.$sendip, 'CLIENT-IP:'.$sendip));
function get($user_agent = false,$sendip='') {         $ch = curl_init($this->_url);         curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);         curl_setopt($ch, CURLOPT_BINARYTRANSFER, true);         //伪造客户端IP          if($sendip!="")          curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:'.$sendip, 'CLIENT-IP:'.$sendip));         if ($user_agent) {             curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0");         }         if (!empty($this->_cookie))             curl_setopt($ch, CURLOPT_COOKIE, $this->_cookie);         $result = curl_exec($ch);         curl_close($ch);         return $result;     } } ?>
来自：http://www.phpec.org/php/curl.html
参考：http://www.onlypo.com/archives/7


二）在Linux的Shell环境下如何不用PHP设置Header呢？
linux curl http header处理：

设置http请求头信息：
curl -A "Mozilla/5.0 Firefox/21.0" http://www.baidu.com #设置http请求头User-Agent
curl -e "http://pachong.org/" http://www.baidu.com #设置http请求头Referer
curl -H "Connection:keep-alive \n User-Agent: Mozilla/5.0" http://www.aiezu.com
来自：http://www.aiezu.com/system/linux/linux_curl_syntax.html

于是，如果忽悠下服务器端简单获取客户端的IP，实践如下,用-H参数即可：
curl -H "X-Forwarded-For:192.168.1.108" "http://jackxiang.com/album/getAlbumsByUserId?userid=100081&format=xml&appkey=5424371297&checkOauth=0dac14fbc490e2deXXXXX15c1c42&pid=108"
于是日志显示：2013/12/06 21:05:57     HostIp:jackxiang.com--ClientIp:192.168.1.108--
果然被curl给忽悠了吧，其被忽悠的代码如下：
X-Forwarded-For:192.168.1.108 在http头里通过linux下的curl注入头里即可！
调用如下：
file_put_contents($logFile, date("Y/m/d H:i:s") . "\t" . $type .'HostIp:'.$this->request->getHttpHost().'--'.'ClientIp:'.$this->request->getClientIp().'--'. "\t" . var_export($msg, true) . "\n", FILE_APPEND);
代码片段如下：
    /**      * Get the HTTP host.      *      * "Host" ":" host [ ":" port ] ; Section 3.2.2      * Note the HTTP Host header is not the same as the URI host.      * It includes the port while the URI host doesn't.      *      * @return string      */     public function getHttpHost()     {         $host = $this->getServer('HTTP_HOST');         if (! empty($host)) {             return $host;         }         $scheme = $this->getScheme();         $name = $this->getServer('SERVER_NAME');         $port = $this->getServer('SERVER_PORT');         if (($scheme == self::SCHEME_HTTP && $port == 80) || ($scheme == self::SCHEME_HTTPS && $port == 443)) {             return $name;         } else {             return $name . ':' . $port;         }     }     /**      * Get the Client IP.      *      * @return s      */     public function getClientIp ()     {         $clientIp = '';         if (isset($_SERVER['HTTP_X_FORWARDED_FOR'])) {             $clientIp = $_SERVER['HTTP_X_FORWARDED_FOR'];         } elseif (isset($_SERVER['HTTP_CLIENT_IP'])) {             $clientIp = $_SERVER['HTTP_CLIENT_IP'];         } elseif (isset($_SERVER['REMOTE_ADDR'])) {             $clientIp = $_SERVER['REMOTE_ADDR'];         }         return $clientIp;     }

模拟修改Host的IP,不用修改Host文件的方法也是-H参数，能否合并起来使用呢？实践是不行的，如下探讨研究：
curl -H "Host:jackxiang.com" "http://127.0.0.1/album/getAlbumsByUserId?userid=18073494&format=xml&appkey=597&checkOauth=0dac14fbc490e2def12110fd215c1c42&pid=100"
但是把上面两个写在一块用\n分开，实践好像不行，尽管上面有这样一个示例：
curl -H "Connection:keep-alive \n User-Agent: Mozilla/5.0" http://www.aiezu.com
实践是可行的，如：curl -H "Connection:keep-alive \n User-Agent: Mozilla/5.0" http://www.baidu.com
Connection：keep-alive \n User-Agent: Mozilla/5.0
但是把Curl模拟Host所对IP及如模拟客户端IP放一块，实践不Ok，如下：
curl -H "Host: jackxiang.com \n X-Forwarded-For: 192.168.1.108"  "http://127.0.0.1/album/getAlbumsByUserId?userid=18073494&format=xml&appkey=597&checkOauth=0dac14fbc490e2def12110fd215c1c42&pid=100"
出现接口返回不对，Nginx如下，只能单用吗？疑惑，因为这都是\r\n拼接的呀，\r\n也不行，如：http://www.myhack58.com/Article/html/3/62/2012/34944_2.htm
<html>
<head><title>403 Forbidden</title></head>
<body bgcolor="white">
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx</center>
</body>
</html>
很有可能是一个要非ip的字母数字作为域名，而另一个是要ip冲突导致矛盾吧？

Add Time：2013-12-19
在实践中用到，一外包兄弟写的代码经过队列调时出现没有入库，但是线上有多台机器，而所配置的机器的/etc/hosts指向是虚拟IP，不能修改，于是否，用这个方法找到了问题所在，其双方沟通的接口参数不一致导致，当时是怎么说通了，这个真是玄乎，代码如下：
<?php $postData = array (   'data' =>   array(    'uuid' => '05ee5fd7-6887-11e3-bf9b-b9856d949d58',    'title' => '7岁小孩酒瓶上做俯卧撑蹿红网络',    'description' => '7岁小孩酒瓶上做俯卧撑蹿红网络',    'tags' => '11',    'category_id' => '101',    'time_span' => '15',    'user_id' => '31746864',    'is_original' => '0',    'partner_id' => 'b74a99',    'event_id' => '208',    'thumb_path' => 'http://p3.img.cctvpic.com/xiyou/thumb/2013/12/19/16/05ee5fd7-6887-11e3-bf9b-b9856d949d58-thumb.jpg', ),   'url' => 'http://jackxiang.com/mytv/',   'action' => 'video',   'type' => 'approvedvideo', ); //$URL=$postData['url']; $URL="http://127.0.0.1/mytv/"; $PostFileds = "action=".$postData['action']."&type=".$postData['type']."&data=".urlencode(json_encode($postData['data'])); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,$URL); curl_setopt($ch, CURLOPT_POST, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, $PostFileds); curl_setopt($ch,CURLOPT_HTTPHEADER,array("Host:jackxiang.com")); curl_exec ($ch); curl_close ($ch);

对下面这个链接进行tcpdump抓包查看其请求是怎么样的，这儿python主要是想对json输出不能轻易读取加上json输出一行进行格式化：
curl -H"Host:t43.jackxiang.com" "http://127.0.0.1/json.php" | python -mjson.tool
第一点：直接用ip访问就不用找dns了，直接对IP访问，这是一定的。
第二点：这个-H主要体现在头上，也就是服务器（如：WebServer nginx apache tomcat都是对这个解析进行分发到或是php-fpm进行解析这个头作返回）
User-Agent: curl/7.15.5 (x86_64-redhat-linux-gnu) libcurl/7.15.5 OpenSSL/0.9.8b zlib/1.2.3 libidn/0.6.5
Accept: */*
Host:t43.jackxiang.com

也就是说，根据nginx里的conf文件进行分发时核对Host，或是php-fpm进行分发，这块还需要进一步研究，自己写server时可能会用到，也就这儿可以作为标志，至于怎么去的，我们可以直接用域名作对比：
1）域名直接访问（会先读host或dns得到一个ip后直接对其发起连接），curl "http://t43.jackxiang.com/json.php"：
Source      Destination    Protocol
192.168.131.6    115.182.9.243    HTTP

GET /json.php HTTP/1.1
User-Agent: curl/7.17.0 (i586-pc-mingw32msvc) libcurl/7.17.0 zlib/1.2.2
Host: t43.jackxiang.com
Accept: */*

附：curl -H"Host:t43.jackxiang.com" "http://115.182.9.243/json.php"
2）用-H的curl通过localhost进行访问：
Source      Destination    Protocol
127.0.0.1             127.0.0.1              HTTP
User-Agent: curl/7.15.5 (x86_64-redhat-linux-gnu) libcurl/7.15.5 OpenSSL/0.9.8b zlib/1.2.3 libidn/0.6.5
Accept: */*
Host:t43.jackxiang.com


直接访问IP是不行的，加一个错误的头也是不行的，说明的的确确是这个Host：xxx进行解析：

C:\>curl -H"t43.jackxiang.com" "http://115.182.9.243/json.php"
<html>
<head><title>404 Not Found</title></head>
<body bgcolor="white">
<center><h1>404 Not Found</h1></center>
<hr><center>nginx</center>
</body>
</html>

C:\>curl -H"Host:t43.jackxiang.com" "http://115.182.9.243/json.php"
    {  "status":200,  "data":  [  {  "id":1000,  "name":"John"  },  {  "id":1004
,  "name":"Tom"  }  ]  }

作者：jackxiang@向东博客 专注WEB应用 构架之美 --- 构架之美，在于尽态极妍 | 应用之美，在于药到病除
地址：https://jackxiang.com/post/4423/
版权所有。转载时必须以链接形式注明作者和原始出处及本声明！