什么是搜索引擎蜘蛛？

    搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序，每个搜索引擎都有自己的蜘蛛。
   
    　　搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。
   
    　　国内各大搜索引擎蜘蛛名称：
   
    　　百度：百度spider
   
    　　谷歌：googlebot
   
    　　搜狗：sogou spider
   
    　　搜搜：Sosospider
   
    　　360搜索：360Spider
   
    　　有道：YodaoBot
   
    　　雅虎：Yahoo Slurp
   
    　　必应：msnbot
   
    　　Msn:msnbot
   
    以上是常见的搜索引擎蜘蛛（爬虫），如果你的网站不想让让某些蜘蛛抓取，那么可以通过robots.txt来限制爬虫的抓取。

特别说明：本网站有关文章来源于会员投稿和网络转载，并不代表本网站主办者的观点、意愿和认同，文中如有侵权、揭私等行为，敬请联系我们，将在第一时间予以更改或删除。