常见搜索引擎爬虫IP地址段

来自:互联网
时间:2018-12-16
阅读:
有的时候,我们会因为一些特殊的原因封锁一些IP,比如防采集、防攻击等,但是搜索引擎的爬虫每天也会来光临我们的网站抓取数据,如何才能防止误杀呢?请将以下IP段加入白名单:

Googlebot: 66.249./ 203.208.60./ 216.239./ 66.102./ 64.233./ 72.14.

BAIduspider: 123.125./ 220.181.108./ 220.181.124./ 220.181.125./ 111.206.

Msnbot: 207.46.13./ 157.55.39./ 40.77.167.

Sogouspider: 106.120.173./ 106.38.241./ 111.202.100./ 123.126.113.

Yandex: 37.9.113. 37.9.87./ 93.158.161./ 178.154.244./ 213.180.203./ 141.8.142./ 5.255.250.

返回顶部
顶部