在线网站robots.txt文件生成器 - aTool在线工具

默认 - 所有机器人是:
检索间隔:
Sitemap: (留空为无)

普通搜索机器人: Google googlebot
  Baidu baiduspider
  MSN Search msnbot
  Yahoo yahoo-slurp
  Ask/Teoma teoma
  Cuil twiceler
  GigaBlast gigabot
  Scrub The Web scrubby
  DMOZ Checker robozilla
  Nutch nutch
  Alexa/Wayback ia_archiver
  Naver naverbot, yeti

特殊搜索机器人: Google Image googlebot-image
  Google Mobile googlebot-mobile
  Yahoo MM yahoo-mmcrawler
  MSN PicSearch psbot
  SingingFish asterias
  Yahoo Blogs yahoo-blogs/v3.9

限制目录: 路径是相对的,但每个路径之前都要包含:"/"
 
 
 
 
 

上海快三开奖金 www.jxq88.cn

什么是robots.txt文件 | What Is Robot.txt

robots.txt文件内容 | Content Of Robot.txt

关于robots.txt文件生成器 | Robot.txt Generator

推荐功能 / 猜你喜欢 | Suggest

评论 | Comments

  • 月薪过万白领辞职回乡养鸡 亏数十万后回城找工作 2018-09-08
  • 内地法律音乐专业 香港学生最爱 2018-08-15
  • 不是从天上掉下来的,难道是从“文革”中走来的吗? 2018-08-15
  • FONT color=red2018年4月全国网络举报受理情况FONT 2018-07-14
  • 近七成青年择偶“愿等待不愿将就” 单身三大原因 2018-07-14
  • 吉雄镇开设电子阅览室和图书室 2018-07-13
  • 中国才是当今世界最大的民主国家 2018-07-12
  • 区域经济新格局显现 高质量均衡发展成重点 2018-07-11
  • 中国公民出入境排队将不超半小时--旅游频道 2018-07-11
  • [大笑]你没跟帖,大家都看到了! 2018-07-10
  • 在战火中诞生的党中央机关报(连载十) 2018-07-10
  • 女教师课上画高树讲高数 学生原来高数真是树! 2018-07-09
  • 政府拆迁和商业拆迁有什么不同?当时错信了奸商,懊悔知道晚了! 2018-07-08
  • 央视解读不动产登记体系全面运行 房价会下跌 2018-07-07
  • 畅想——未来的人民日报 2018-07-07
  • 407| 498| 724| 519| 856| 79| 516| 198| 385| 149|