在线网站robots.txt文件生成器 - aTool在线工具

默认 - 所有机器人是:
检索间隔:
Sitemap: (留空为无)

普通搜索机器人: Google googlebot
  Baidu baiduspider
  MSN Search msnbot
  Yahoo yahoo-slurp
  Ask/Teoma teoma
  Cuil twiceler
  GigaBlast gigabot
  Scrub The Web scrubby
  DMOZ Checker robozilla
  Nutch nutch
  Alexa/Wayback ia_archiver
  Naver naverbot, yeti

特殊搜索机器人: Google Image googlebot-image
  Google Mobile googlebot-mobile
  Yahoo MM yahoo-mmcrawler
  MSN PicSearch psbot
  SingingFish asterias
  Yahoo Blogs yahoo-blogs/v3.9

限制目录: 路径是相对的,但每个路径之前都要包含:"/"
 
 
 
 
 

上海快三开奖金 www.jxq88.cn

什么是robots.txt文件 | What Is Robot.txt

robots.txt文件内容 | Content Of Robot.txt

关于robots.txt文件生成器 | Robot.txt Generator

推荐功能 / 猜你喜欢 | Suggest

评论 | Comments

  • 国家人社部“支持鄱阳湖生态经济区建设专家服务上饶行”活动启动 雷平出席活动并致辞 2019-04-16
  • 四川老师陪玉树学生回青海高考 还将指导学生填志愿 2019-04-09
  • [雷人]不管什么税,只有还能通过二次交易获利,就有炒作的空间,房价一样是不会恢复合理的! 2019-03-30
  • 你读过的教科书没有给你讲过共产主义,所以你也不知道共产主义社会的核心内容是什么。[微笑][微笑] 2019-03-30
  • 候选企业:中国工商银行 2019-03-29
  • 新时代·新征程十九大精神在江苏嵌套--江苏频道--人民网 2019-03-29
  • 候选企业:扬子江药业集团 2019-03-28
  • 老外假装施工事故整蛊路人,一个个真吓得不轻(上) 2019-03-28
  • 看改革开放40年:交通篇——从双腿丈量到抬脚上车 2019-03-20
  • 空军首支歼20部队开展多型新机编队协同战术训练 2019-03-12
  • 桃之“妖妖”:古人为什么相信桃木可以驱妖辟邪? 2019-03-11
  • 【学习时刻】参会专家罗怀臻:文化创新要实现从内涵到形式的整体性审美转换 2019-03-11
  • 女性之声——全国妇联 2019-02-22
  • 商务部回应中美经贸问题:中方谈判的大门始终是敞开的 2019-02-22
  • 月薪过万白领辞职回乡养鸡 亏数十万后回城找工作 2018-09-08
  • 218| 845| 907| 84| 57| 433| 905| 45| 583| 464|