站长必备武器一：使用php轻松捕获各搜索蜘蛛

2019-03-15 09:46:56来源：天天好吃网阅读 ()

各位站长：

一直以来，相信大家都为如何知道本站有多少搜索蜘蛛来爬过而烦恼。小女子今天就教大家一个非常实用的方法，此方法适合虚拟主机和又独立服务器的朋友。语言仅限使用PHP建站的站长，其它语言版本将陆续推出。

话不多说直接进入正题，将下面的代码放至网站公共包含文件的头部即可捕获所有带有蜘蛛特征的蜘蛛，并会自动记录，方便自己远程通过 http://你的网站地址/log/spider-蜘蛛名称.html 查看，即可准确了解各个蜘蛛的爬网情况。

以下为php程序函数代码：代码可以根据自己的需要在上面做修改哦

//spider 记录函数
function updatespider($spname) {
 $count=count(file(S_ROOT.'./log/'.$spname.'-spider.html'));
$spmes='编号：'.$count++.' 时间：'.date('Y-m-j H:i:m').' IP：'.$_SERVER['REMOTE_ADDR'].'来源页面：<a href='.$_SERVER['HTTP_REFERER'].' target="_blank">'.$_SERVER['HTTP_REFERER'].'</a>停留页面：<a href='.$_SERVER['REQUEST_URI'].' target="_blank">'.$_SERVER['REQUEST_URI'].'</a>方法：'.$_SERVER['REQUEST_METHOD'].'客户端：'.$_SERVER['HTTP_USER_AGENT'].'';
$logfile = S_ROOT.'./log/'.$spname.'-spider.html';

if(@$fp = fopen($logfile, 'a+')) {
 fwrite($fp, $spmes."\n");
 fclose($fp);
 @chmod($logfile, 0777);
}
}
if(strpos($_SERVER['HTTP_USER_AGENT'],'Google')!== false) updatespider('google'); //记录谷歌蜘蛛爬网记录
if(strpos($_SERVER['HTTP_USER_AGENT'],'Baidu')!== false) updatespider('baidu');//记录百度蜘蛛爬网记录
if(strpos($_SERVER['HTTP_USER_AGENT'],'msnbot')!== false) updatespider('msn');//记录微软bing蜘蛛爬网记录

if(strpos($_SERVER['HTTP_USER_AGENT'],'yahoo')!== false) updatespider('yahoo');//记录雅虎度蜘蛛爬网记录

if(strpos($_SERVER['HTTP_USER_AGENT'],'Soso')!== false) updatespider('soso');//记录腾讯搜搜蜘蛛爬网记录

if(strpos($_SERVER['HTTP_USER_AGENT'],'Sogou')!== false) updatespider('sogou');//记录搜狗蜘蛛爬网记录

if(strpos($_SERVER['HTTP_USER_AGENT'],'Xunlei')!== false) updatespider('xunlei');//记录迅雷蜘蛛爬网记录

if(strpos($_SERVER['HTTP_USER_AGENT'],'Youdao')!== false) updatespider('youdao');//记录有道蜘蛛爬网记录