怎样记录蜘蛛爬行 - 讨论/求助

标题: 怎样记录蜘蛛爬行

时间: 2013-08-31

点击: 3833

虽然知道爬虫你看或不看它就在那里不增不减。。。但还是寻求一种心理安慰，，，大哭ing...求知道的大神指点指点。

1 . 不知道的也可顶下，就介样沉了？

(晨昏暮曦/@Ta/2013-08-31 11:35/样/源)

2 . @晨昏暮曦，分析$_SERVER['HTTP_USER_AGENT'];如果是Baiduspider则是百度。

(老虎会游泳/@Ta/2013-08-31 11:37/样/源)

3 . @晨昏暮曦，还有googlebot,yahoo......百度

(听风文字/@Ta/2013-08-31 11:38/样/源)

4 . Googlebot是谷歌的

(老虎会游泳/@Ta/2013-08-31 11:38/样/源)

5 . @老虎会游泳，可这样是一条看？访问记录好多呃。。。

(晨昏暮曦/@Ta/2013-08-31 12:26/样/源)

(晨昏暮曦/@Ta/2013-08-31 12:27/样/源)

7 . 蜘蛛的UA是特定的，根据UA可以判断

(趣航科技小智/@Ta/2013-08-31 12:52/样/源)

8 . @晨昏暮曦，五楼什么意思？不明白

(老虎会游泳/@Ta/2013-08-31 13:30/样/源)

9 . @老虎会游泳，掉了个”条“字，我的意思是这样看的话不也是一条条看跟日志没什么区别（查看起来亚力山大）

(晨昏暮曦/@Ta/2013-08-31 13:47/样/源)

10 . @晨昏暮曦，你可以写进数据库用sql查询来统计：
select count(*) from acclog where ua='Baiduspider'

(老虎会游泳/@Ta/2013-09-01 06:10/样/源)

11 . @老虎会游泳，嗯嗯，只能这样了先

(晨昏暮曦/@Ta/2013-09-01 21:18/样/源)

8月3日 17:01 星期天

本站由hu60wap6驱动