常见搜索引擎蜘蛛大全
百度 baidu.com----Baiduspider[url=http://www.baidu.com/search/spider.htm]http://www.baidu.com/search/spider.htm[/url]
谷歌 google.com----Googlebot
[url=http://www.google.com/bot.html]http://www.google.com/bot.html[/url] 中文版请打开以下页面
[url=http://www.google.cn/support/webmasters/bin/topic.py?topic=8843]http://www.google.cn/support/webmasters/bin/topic.py?topic=8843[/url]
雅虎 yahoo.com----Yahoo
[url=http://misc.yahoo.com.cn/help.html]http://misc.yahoo.com.cn/help.html[/url] 打开后跳转到以下页面
[url=http://help.cn.yahoo.com/property.html?product=websearch]http://help.cn.yahoo.com/property.html?product=websearch[/url]
有道 yodao.com----YodaoBot
[url=http://www.yodao.com/help/webmaster/spider/]http://www.yodao.com/help/webmaster/spider/[/url]
搜搜 soso.com----Sosospider/Sosoimagespider(网页蜘蛛/图片蜘蛛)
[url=http://help.soso.com/webspider.htm]http://help.soso.com/webspider.htm[/url]
[url=http://help.soso.com/soso-image-spider.htm]http://help.soso.com/soso-image-spider.htm[/url]
搜狗 sogou.com----sogou
[url=http://www.sogou.com/docs/help/webmasters.htm#07]http://www.sogou.com/docs/help/webmasters.htm#07[/url]
微软 msn.com----msnbot
[url=http://search.msn.com/msnbot.htm]http://search.msn.com/msnbot.htm[/url] 打开后跳转到以下页面
[url=http://help.live.com/help.aspx?mkt=zh-cn&project=wl_webmasters]http://help.live.com/help.aspx?mkt=zh-cn&project=wl_webmasters[/url]
以下是几只收获(抓取页面)不劳动(不来流量)的蜘蛛 可以考虑禁了它们爬行 省空间流量
国外搜索引擎
gigablast.com----Gigabot
[url=http://www.gigablast.com/spider.html]http://www.gigablast.com/spider.html[/url]
国外搜索引擎
webalta.net----WebAlta
[url=http://www.webalta.net/ru/about_webmaster.html]http://www.webalta.net/ru/about_webmaster.html[/url]
国内的一个实验室的
apex.sjtu.edu.cn
页:
[1]