45IT.COM- 电脑学习从此开始!
DIY硬件教程攒机经验装机配置
设计Photoshop网页设计特效
系统注册表DOS系统命令其它
存储主板显卡外设键鼠内存
维修显卡CPU内存打印机
WinXPVistaWin7unix/linux
CPU光驱电源/散热显示器其它
修技主板硬盘键鼠显示器光驱
办公ExcelWordPowerPointWPS
编程数据库CSS脚本PHP
网络局域网QQ服务器
软件网络系统图像安全
页面导航: 首页 > 设计学院 > 网页设计 >

通过robots设置搜索引擎的抓取速度

电脑软硬件应用网 45IT.COM 时间:2012-07-17 14:59 作者:未知

User-agent:Baiduspider
Visit-time:0855-1700
说明:指定每天允许百度蜘蛛采集的时间段,格式为mmss-mmss,例如0855-1700

User-agent:Baiduspider
Request-rate:1/5 0900-1045
说明:限制百度蜘蛛在允许的时间段内(0900-1045)隔多少秒采集一次网页,例如1/5 0900-1045。

User-agent:Baiduspider
Crawl-delay:3600
说明:限制百度蜘蛛两次抓取的间隔时间,单位为秒。建议在蜘蛛的抓取频率过高时,可以制定蜘蛛抓取时间间隔,来降低服务器的负担,减少流量的不必要流失。

顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
无法在这个位置找到: baidushare.htm
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
验证码:点击我更换图片
推荐知识