SEO百科:什么是搜索引擎蜘蛛?

来自:互联网
时间:2019-11-28
阅读:

搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序,每个搜索引擎都有自己的蜘蛛。

搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

国内各大搜索引擎蜘蛛名称:

百度:百度spider

谷歌:googlebot

搜狗:sogou spider

搜搜:Sosospider

360搜索:360Spider

有道:YodaoBot

雅虎:Yahoo Slurp

必应:msnbot

Msn:msnbot

以上是常见的搜索引擎蜘蛛(爬虫),如果你的网站不想让让某些蜘蛛抓取,那么可以通过robots.txt来限制爬虫的抓取。

返回顶部
顶部