什么是robots.txt

    在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现，那么要怎么办呢？我要怎么跟搜索引擎说你不要抓取我的xx内容呢？这时候robots就派上用场了。
   
    Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件，就这么一句话可以解释robots.txt是什么，但是我们需要注意的几点：
   
    1.robots.txt必须存放在网站的根目录下。
   
    2.其命名必须为robots.txt
   
    3.Robots.txt是搜索引擎访问网站的第一个页面
   
    4.Robots.txt中必须指明user-agent

特别说明：本网站有关文章来源于会员投稿和网络转载，并不代表本网站主办者的观点、意愿和认同，文中如有侵权、揭私等行为，敬请联系我们，将在第一时间予以更改或删除。