网普技术论坛 网普科技  
» 游客:   网普主页 | 注册 | 登录 | 帮助
 

作者:
标题: 使用robots.txt对搜索引擎蜘蛛限速 上一主题 | 下一主题
网普科技
网普管理员

网普科技人民公仆


积分 3079
发贴 2862
注册 2004-6-26
来自 网普科技
状态 离线
#1  使用robots.txt对搜索引擎蜘蛛限速

http://www.netpu.net
网普科技版权所有,转载请注明作者和出处并保持文章原貌
(网普科技优质美国主机、美国Linux虚拟主机服务)

原文地址
http://bbs.netpu.net/viewthread.php?tid=3597


问题提出

最近一些客户提出,搜索引擎蜘蛛(Googlebot、Yahoo Slurp、MSNBot等)抓取站点内容过于频繁,导致用户站点流量激增,咨询我们有什么解决办法。

正好前一阶段我们也对相同问题进行过一些调研,所以把这部分内容整理一下,与大家分享一下,希望能为遇到相同问题的朋友提供一些参考。


处理思路

一般遇到和蜘蛛相关的问题,往往有几种思路处理:
1:在spider的官方站点进行一些相应的设置(比如google webmaster)
2:在.htaccess中禁止某些spider的访问
3:在网页中嵌入robots相关的标签
<meta name="robots" content="xxxxxx">
<meta name="revisit-after" content="7 days">
4:使用robots.txt

每种方式都有不同的应用范围以及效果。简单来说:

方式一比较麻烦,而且并不是所有的搜索引擎都提供这样的设置功能,也许有,但至少找起来很费力。(注1)

方式二比较粗暴,我们还是希望搜索引擎收录我们的网站呢,如果都屏蔽掉了,很难想象后果

方式三比较低效,首先要改所有的页面,就要累死人了。而且这个要索引一次后才会有效。

方式四效果如何呢?如果能够对搜索引擎的访问进行速度限制,那么即能让我们的站点被收录,又能防止资源过度占用以及流量过度消耗,那么将会是多么美好的事情。OK,我们继续


再说robots.txt

我们之前一篇文章简单介绍过robots.txt,朋友们可以参考
两个最常见的“404错误”以及解决方法
直接链接:http://bbs.netpu.net/viewthread.php?tid=3534

以下是相关的内容片断:
CODE:  [Copy to clipboard]
那么如何使用robots.txt来达到对搜索引擎蜘蛛进行限速的目的呢?

通过对robots.txt相关资料的学习,我们发现以下以下指令:

Crawl-delay directive
CODE:  [Copy to clipboard]
Several major crawlers support a Crawl-delay parameter, set to the number of seconds to wait between successive requests to the same server:

User-agent: *
Crawl-delay: 10
另外在Extended standard中,新增了Visit-time以及 Request-rate等指令,用户可以参考以下内容:
CODE:  [Copy to clipboard]
An Extended Standard for Robot Exclusion has been proposed, which adds several new directives, such as Visit-time and Request-rate. For example:

User-agent: *
Disallow: /downloads/
Request-rate: 1/5         # maximum rate is one page every 5 seconds

Visit-time: 0600-0845     # only visit between 06:00 and 08:45 UTC (GMT)
我们推荐用户使用Crawl-delay来进行限速。


其它事项

根据我们的调查yahoo和bing都支持Crawl-delay指令:
http://search.help.cn.yahoo.com/h4_5.html
http://www.blogsdna.com/4361/how-to-delay-bing-msnbot-crawling-for-your-website-with-robotstxt.htm

(注1)
google貌似以前支持Crawl-delay,但是后来取消了对这个的支持
所以对google的蜘蛛限速还是要通过Google Webmaster tools。


http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=48620
CODE:  [Copy to clipboard]
To change the crawl rate:

    On the Webmaster Tools Home page, click the site you want.
    Under Site configuration, click Settings.
    In the Crawl rate section, select the option you want.

The new crawl rate will be valid for 90 days.
结束语

如何让搜索引擎更好的收录和索引网站是一个复杂的话题。
以上内容仅仅针对如何对搜索引擎限速做了一些探讨,权且当作抛砖引玉。
如有错漏之处,望诸位朋友不吝赐教。


参考资料
http://www.robotstxt.org/
http://en.wikipedia.org/wiki/Robots_exclusion_standard
http://www.google.com/support/webmasters/bin/search.py?ctx=en%3Asearchbox&query=robots.txt+
http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=48620
http://search.help.cn.yahoo.com/h4_5.html
http://www.blogsdna.com/4361/how-to-delay-bing-msnbot-crawling-for-your-website-with-robotstxt.htm

http://www.netpu.net
网普科技版权所有,转载请注明作者和出处并保持文章原貌
(网普科技优质美国主机、美国Linux虚拟主机服务)



天理路上甚宽,稍游心,胸中便觉广大宏朗;
人欲路上甚窄,才寄迹,眼前俱是荆棘泥涂。



网普科技,优质美国主机服务!
美国Linux主机,美国虚拟主机
支持PHP+MYSQL+cPanel+EMAIL
为用户负责,拒绝反动、赌博及色情内容! QQ:126818

发送QQ消息
2011-3-28 02:51 PM
查看资料  访问主页  发短消息  QQ   编辑帖子  引用回复 顶部
网普科技
网普管理员

网普科技人民公仆


积分 3079
发贴 2862
注册 2004-6-26
来自 网普科技
状态 离线
#2  

没想到google居然不直接支持Crawl-delay指令,很令人失望啊。



天理路上甚宽,稍游心,胸中便觉广大宏朗;
人欲路上甚窄,才寄迹,眼前俱是荆棘泥涂。



网普科技,优质美国主机服务!
美国Linux主机,美国虚拟主机
支持PHP+MYSQL+cPanel+EMAIL
为用户负责,拒绝反动、赌博及色情内容! QQ:126818

发送QQ消息
2011-3-28 03:07 PM
查看资料  访问主页  发短消息  QQ   编辑帖子  引用回复 顶部
网普科技
网普管理员

网普科技人民公仆


积分 3079
发贴 2862
注册 2004-6-26
来自 网普科技
状态 离线
#3  

补充一篇关于robots meta tag的文章,仅供参考(不推荐使用)

The ultimate guide to meta name=”robots”
http://yoast.com/articles/robots-meta-tags/



天理路上甚宽,稍游心,胸中便觉广大宏朗;
人欲路上甚窄,才寄迹,眼前俱是荆棘泥涂。



网普科技,优质美国主机服务!
美国Linux主机,美国虚拟主机
支持PHP+MYSQL+cPanel+EMAIL
为用户负责,拒绝反动、赌博及色情内容! QQ:126818

发送QQ消息
2011-3-28 06:02 PM
查看资料  访问主页  发短消息  QQ   编辑帖子  引用回复 顶部
茱莉娅
THE BODY SHOP美容顾问

茱莉娅美体小铺


积分 3079
发贴 2862
注册 2009-5-21
来自 茱莉娅美体小铺
状态 离线
#3  赞助商信息The body shop

茱莉娅美体小铺
茱莉娅美体小铺淘宝店
茱莉娅美体小铺


茱莉娅美体小铺淘宝店
2011-3-28 06:02 PM
查看资料  访问主页  发短消息  QQ   编辑帖子  引用回复 顶部


可打印版本 | 推荐给朋友 | 订阅主题 | 收藏主题



论坛跳转:  




Powered by Discuz! 2.5 © 2001-2005 Comsenz Technology Ltd.
Processed in 0.010610 second(s), 6 queries, Gzip enabled
------------------------------------------------------------------------------
本论坛属网普科技交流与技术支持论坛!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
美国主机, 美国虚拟主机, cPanel+PHP+Mysql+Ftp+Email+Zend+GD2+国际域名支持
技术支持 QQ: 126818 EMail & MSN: support[AT]netpu.net
[ 联系我们 ] - [ 网普科技 ]