首页 > 经验之谈    日期:2018-12-16 / 来自互联网 / 浏览

有的时候,我们会因为一些特殊的原因封锁一些IP,比如防采集、防攻击等,但是搜索引擎的爬虫每天也会来光临我们的网站抓取数据,如何才能防止误杀呢?请将以下IP段加入白名单:

Googlebot: 66.249./ 203.208.60./ 216.239./ 66.102./ 64.233./ 72.14.

Baiduspider: 123.125./ 220.181.108./ 220.181.124./ 220.181.125./ 111.206.

Msnbot: 207.46.13./ 157.55.39./ 40.77.167.

Sogouspider: 106.120.173./ 106.38.241./ 111.202.100./ 123.126.113.

Yandex: 37.9.113. 37.9.87./ 93.158.161./ 178.154.244./ 213.180.203./ 141.8.142./ 5.255.250.

觉得上面的内容有用吗?快来点个赞吧!

点赞() 我要打赏

温馨提示 : 本站内容来自会员投稿以及互联网,所有源码及教程均为作者总结编辑,请大家在使用过程中提前做好备份,以免发生无法预知的错误,源码类教程请勿直接用于生产环境!

 可能感兴趣的文章

1 2 3 4 5