谷歌蜘蛛是最规范的网络爬虫了，所以对于谷歌蜘蛛的开放程度也是最大的，平时在分析日志的时候也发现谷歌蜘蛛是最勤快的爬虫了，最近在分析日志的时候捎带手的对谷歌蜘蛛 IP 进行了系统的统计整理，经过近半个月的收集截止到目前为止基本获得了谷歌开放蜘蛛的 IP 地址段，今天就分享给大家。
| 66.249.64.0/19 | 谷歌 |
| 72.14.192.0/18 | 谷歌 |
| 66.249.64.0/20 | 谷歌 |
| 203.208.32.0/19 | 谷歌 |
| 216.239.0.0/16 | 谷歌 |
| 66.102.0.0/16 | 谷歌 |
| 64.233.0.0/16 | 谷歌 |
| 72.14.0.0/16 | 谷歌 |
| 74.125.0.0/16 | 谷歌 |
| 35.244.0.0/14 | 谷歌 |
上述 IP 地址段，几乎涵盖了目前经常出现的谷歌蜘蛛，具体清单有：
- Google-Display-Ads-Bot
- FeedFetcher-Google
- Google-adstxt
- Googlebot
- Googlebot-Image/1.0
- Googlebot/2.1
- Mediapartners-Google
更多谷歌爬虫 UA 请查阅【谷歌爬虫 UA 字符串】
如果有启用 CDN 的话，强烈建议大家将上述 IP 地址段加入白名单或者加白处理，服务器端依旧建议加白处理哦！如果您跟明月一样使用的是上海云盾 CDN 的话，建议在“用户中心”单独设定一个 IP 库，然后借助“精准访问控制 ”针对此 IP 库进行加白处理：
虽然谷歌蜘蛛非常值得信赖，但别有用心的人依旧会利用蜘蛛进行恶意的攻击，所以建议大家有条件的话还是在服务器端设定好并发请求限制，防范有人利用正规蜘蛛造成 DDoS 攻击哦。其实对待搜索引擎蜘蛛不用过于刻意了，只要做到开放即可，吸引蜘蛛的最佳手段依旧是高质量原创内容，投机取巧的方法尽量少用，除非你不用考虑域名的长期价值和利益。请善待来到你网站的蜘蛛爬虫哦！
网友留言：