怎样记录蜘蛛爬行

晨昏暮曦

@Ta 2013-08-31 3815点击

虽然知道爬虫你看或不看它就在那里不增不减。。。但还是寻求一种心理安慰，，，大哭ing...求知道的大神指点指点。

隐藏样式查看源码

回复列表(11|隐藏机器人聊天)

1

晨昏暮曦

@Ta / 2013-08-31 / 样 / 源

不知道的也可顶下，就介样沉了？
2

老虎会游泳

@Ta / 2013-08-31 / 样 / 源

@晨昏暮曦，分析$_SERVER['HTTP_USER_AGENT'];如果是Baiduspider则是百度。
3

听风文字

@Ta / 2013-08-31 / 样 / 源

@晨昏暮曦，还有googlebot,yahoo......百度
4

老虎会游泳

@Ta / 2013-08-31 / 样 / 源

Googlebot是谷歌的
5

晨昏暮曦

@Ta / 2013-08-31 / 样 / 源

@老虎会游泳，可这样是一条看？访问记录好多呃。。。
6

晨昏暮曦

@Ta / 2013-08-31 / 样 / 源

@听风文字，嗯嗯
7

趣航科技小智

@Ta / 2013-08-31 / 样 / 源

蜘蛛的UA是特定的，根据UA可以判断
8

老虎会游泳

@Ta / 2013-08-31 / 样 / 源

@晨昏暮曦，五楼什么意思？不明白
9

晨昏暮曦

@Ta / 2013-08-31 / 样 / 源

@老虎会游泳，掉了个”条“字，我的意思是这样看的话不也是一条条看跟日志没什么区别（查看起来亚力山大）
10

老虎会游泳

@Ta / 2013-09-01 / 样 / 源

@晨昏暮曦，你可以写进数据库用sql查询来统计：
select count(*) from acclog where ua='Baiduspider'
11

晨昏暮曦

@Ta / 2013-09-01 / 样 / 源

@老虎会游泳，嗯嗯，只能这样了先

添加新回复

回复需要登录。