百度蜘蛛(Baiduspider)爬取是搜索引擎获得页面内容的一个重要的途径,通过蜘蛛的抓取可以得到一个页面的***主要的内容从而收录百度数据库系统,每次抓取之后都会再与数据库原有的信息进行比对,来确定页面的总体质量。

(博主注:***近明月的小博客竟然“攻击”不断,大部分是扫描和 SQL 注入类的,甚***造成前两天“主机资源耗尽”又被关停了,于是狠下心好好的分析了一下服务器日志,找出了不少可以 IP,直接给屏蔽掉了,没有想到的是这些 IP 里竟然有 6-7 个是百度蜘蛛的 IP,无语了都,还好及时通过百度站长平台里的“抓取诊断”发现了,要不后果真是不敢设想呀!因为需要知道百度蜘蛛常见 IP,所以就搜索了一下相关的资料,获得了下文的 IP 整理,就当是一次记录吧,指不定啥时候就要用上了。)
那么,每当蜘蛛来抓取的时候都会被网站日志文件记录下来,具体包括抓取时间,抓取的页面以及蜘蛛来路 IP 地址,上次说到百度蜘蛛(Baiduspider)ip 来路基本能够反映出不同蜘蛛对站点不同页面的喜好程度,从侧面也反映出整个网站不同页面的权重值,通过自己一系列的分析,可以较为准确的评估整站的权重分布,对于 seo、文章内容价值、用户体验都起到很好的参考价值。
百度蜘蛛 IP 地址
123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权。
220.181.68.*每天这个 IP 段只增不减很有可能进沙盒或 K 站。
220.181.7.*、123.125.66.*代表百度蜘蛛 IP 造访,准备抓取你东西。
121.14.89.*这个 ip 段作为度过新站考察期。
203.208.60.*这个 ip 段出现在新站及站点有不正常现象后。
210.72.225.*这个 ip 段不间断巡逻各站。
125.90.88.*广东茂名市电信也属于百度蜘蛛 IP 主要造成成分,是新上线站较多,还有使用过站长工具,或 SEO 综合检测造成的。
220.181.108.95 这个是百度抓取首页的专用 IP,如是 220.181.108 段的话,基本来说你的网站会天天隔夜快照。(悲剧的我竟然屏蔽了这个 IP)
220.181.108.92 同上 98%抓取首页,可能还会抓取其他(不是指内页)220.181 段属于权重 IP 段此段爬过的文章或首页基本 24 小时放出来。(嗯,还有这个也屏蔽了,晕死了!)
123.125.71.106 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。(这个也有,汗!)
220.181.108.91 属于综合的,主要抓取首页和内页或其他,属于权重 IP 段,爬过的文章或首页基本 24 小时放出来。
220.181.108.75 重点抓取更新文章的内页达到 90%,8%抓取首页,2%其他。权重 IP 段,爬过的文章或首页基本 24 小时放出来。(这个,……!)
220.181.108.86 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。(还有这个……)
123.125.71.95 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
123.125.71.97 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
220.181.108.89 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。(好吧,220 开头的好像都被我屏蔽了,下手真心有点儿太狠了!)
220.181.108.94 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.97 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.80 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.77 专用抓首页 IP 权重段,一般返回代码是 30400 代表未更新。
123.125.71.117 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或是采集文章。
注:以上 IP 尾数还有很多,但段位一样的 123.125.71.*段 IP 代表抓取内页收录的权重比较低,可能由于你采集文章或拼文章暂时被收录但不放出来.。
220.181.108.83 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.*段 IP 主要是抓取首页占 80%,内页占 30%,这此爬过的文章或首页,*** 24 小时内放出来和隔夜快照的!
一般成功抓取返回代码都 200,返回 304 代表网站没更新。
Google 蜘蛛 IP 地址
216.239.33.*
216.239.35.*
216.239.37.*
216.239.39.*
216.239.51.*
216.239.53.*
216.239.55.*
216.239.57.*
216.239.59.*
64.233.161.*
64.233.189.*
66.102.11.*
66.102.7.*
66.102.9.*
66.249.64.*
66.249.65.*
66.249.66.*
66.249.71.*
66.249.72.*
72.14.207.*
谷歌蜘蛛 IP 段解析
202.101.43.*、222.73.247.*、66.249.65.*这三个 ip 段是***为常规出现的
66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的 ip 段
210.72.225.*这个 ip 段不间断巡逻各站
203.208.60.*这个 ip 段出现在新站及站点有不正常现象后
360 蜘蛛 IP 段
101.226.166.*(101.226.166.195~101.226.166.254,共 60 个)
101.226.167.*(101.226.167.195~101.226.167.254,共 60 个)
101.226.168.*(101.226.168.195~101.226.168.254,共 60 个)
101.226.169.*(101.226.169.195~101.226.169.230,共 36 个)
180.153.236.*(180.153.236.11~26;180.153.236.35~180.153.236.74;180.153.236.101~180.153.236.196,共 152 个)
182.118.20.*(182.118.20.201~182.118.20.254,共 39 个)
182.118.21.*(182.118.21.201~182.118.21.*254,共 54 个)
182.118.22.*(182.118.22.141~182.118.22.149;182.118.22.211~182.118.22.250,共 64 个)
182.118.25.*(182.118.25.131~182.118.25.245;)
182.118.28.*
61.55.185.*
101.199.*.*
220.181.126.*
182.118.26.110~182.118.26.239(时效性 UAIP 段,主要针对网站内容更新的爬取)
360 蜘蛛 IP 段解析
220.181.126.*、101.199.*.*据说为 360 举报 IP。也就是说,假如你的网站日志出现这个 IP 段,你的网站被举报了。如果是违法站,那就自求多福吧。
搜狗蜘蛛 IP 段
123.126.113.79-123.126.113.191
220.181.89.190
220.181.89.189
218.30.103.155
61.135.189.75
220.181.94.228
61.135.189.74
220.181.89.157
220.181.89.165
220.181.89.183
220.181.89.194
218.30.103.80
神马蜘蛛 IP 段
42.156.136.*-42.156.139.*
42.120.160.*42.120.161.*
其他蜘蛛 IP 段
163 搜索引擎蜘蛛 IP 地址大全
202.106.186.*
202.108.36.*
202.108.44.*
202.108.45.*
202.108.5.*
202.108.9.*
220.181.12.*
220.181.13.*
220.181.14.*
220.181.15.*
220.181.28.*
220.181.31.*
222.185.245.*
iask 搜索引擎蜘蛛 IP 地址大全
61.135.152.*
msn 搜索引擎蜘蛛 IP 地址大全
65.54.188.*
65.54.225.*
65.54.226.*
65.54.228.*
65.54.229.*
207.46.98.*
207.68.157.*
搜搜蜘蛛 IP 地址
219.133.40.*
202.96.170.*
202.104.129.*
61.135.157.*
新浪搜索引擎蜘蛛 IP 地址
219.142.118.*
219.142.78.*
搜狐搜索引擎蜘蛛 IP 地址
61.135.132.*
220.181.26.*
220.181.19.*
Yahoo 搜索引擎蜘蛛 IP 地址
66.196.90.*
66.196.91.*
68.142.249.*
68.142.250.*
68.142.251.*
72.30.101.*
72.30.102.*
72.30.103.*
72.30.104.*
72.30.107.*
72.30.110.*
72.30.111.*
72.30.128.*
72.30.129.*
72.30.131.*
72.30.133.*
72.30.134.*
72.30.135.*
72.30.216.*
72.30.226.*
72.30.252.*
72.30.97.*
72.30.98.*
72.30.99.*
74.6.74.*
Yahoo 中国搜索引擎蜘蛛 IP 地址
202.165.102.*
202.160.178.*
202.160.179.*
202.160.180.*
202.160.181.*
202.160.183.*
中搜蜘搜索引擎蜘蛛 IP 地址
202.108.4.*
202.108.4.*
202.108.33.*
202.96.51.*
219.142.53.*
好了,终于通过此文提供的 IP,在屏蔽里排除了百度蜘蛛的 IP 了,总结下来就是“对自己真的是太狠了”,看来一些基本的数据必须要保留呀!就像此文一样,保存好,随时都可以用来参考的!屏蔽 IP 一定要慎重了,很容易误伤的,这两天 QQ 浏览器总是出现“403”错误估计跟 IP 屏蔽也有关系吧!我得好好排查一下了!
推荐阅读:
- 推荐文章
-
- XMDA 系列智能数显控制仪表的基本概述
- 伊顿电气——交流接触器的触点的作用
- 油泵的性能参数
- 真空齿轮泵的详细介绍
- 选择欧姆龙继电器正确型号的方法
- 充气柜发展前景
- 新式***式断路器的特性
- 能够对滑环质量造成影响的因素
- 热缩管在电缆修补中的效果
- 防水开关电源几个经典性的问题方案
- 充气柜基本介绍
- 自力式调节阀在使用中的使用效果
- 电气火灾监控探测器基础功能有什么?
- 跌落式熔断器使用环境要求
- 重力铸造机作业注意事项
- 铜排在冲压模具时怎么会造成翻料歪曲
- 如何准确选择自动剥线机
- 配电箱铜排表面缺陷和机械损伤
- 多功能电力仪表常见注意事项
- 磁力泵使用中的故障分析
- 电压互感器的构造区别于其他的地方
- 防爆照明配电箱的安全性
- ***式断路器适配的操纵机构介绍
- 电流电压信号传感器功能特征以及技术问题
- 电气火灾监控基本概述
- 电气火灾监控系统维护方法
- 丽水名表回收选购的问题详解
- 高压避雷器的应用注意内容
- 消防设备电源监控系统使用要点
- 应急照明控制器维护注意事项
- 如何延长安全挂锁的使用寿命?
- 环境对欧姆龙继电器可靠性的影响
- 你了解自力式调节阀怎样工作吗?
- 拉缝板存储以及操作方法
- kb0开关选用方法以及注意内容
- LED防爆灯的安全性
- 电缆分支箱厂家的产品选择指南
- 选购髙压电容电抗器知识
- 水银接头的安裝流程
- 电容电抗器的常见故障解决及维护保养
- 弹簧包装机组成以及构成配件
- 颗粒包装机日常需注意的方面
- 欧式箱变箱体结构以及材料类型
- 温州自动包装机厂家的发展方向
- 充气柜的结构有什么特征?
- 影响温州市废品回收价格的因素?
- 温州废品回收的价格与什么有关?
- 螺丝包装机正确的保养方法
- 重合闸保护作用
- 高温热缩管的抗老化性能
