百度蜘蛛(Baiduspider)爬取是搜索引擎获得页面内容的一个重要的途径,通过蜘蛛的抓取可以得到一个页面的***主要的内容从而收录百度数据库系统,每次抓取之后都会再与数据库原有的信息进行比对,来确定页面的总体质量。

(博主注:***近明月的小博客竟然“攻击”不断,大部分是扫描和 SQL 注入类的,甚***造成前两天“主机资源耗尽”又被关停了,于是狠下心好好的分析了一下服务器日志,找出了不少可以 IP,直接给屏蔽掉了,没有想到的是这些 IP 里竟然有 6-7 个是百度蜘蛛的 IP,无语了都,还好及时通过百度站长平台里的“抓取诊断”发现了,要不后果真是不敢设想呀!因为需要知道百度蜘蛛常见 IP,所以就搜索了一下相关的资料,获得了下文的 IP 整理,就当是一次记录吧,指不定啥时候就要用上了。)
那么,每当蜘蛛来抓取的时候都会被网站日志文件记录下来,具体包括抓取时间,抓取的页面以及蜘蛛来路 IP 地址,上次说到百度蜘蛛(Baiduspider)ip 来路基本能够反映出不同蜘蛛对站点不同页面的喜好程度,从侧面也反映出整个网站不同页面的权重值,通过自己一系列的分析,可以较为准确的评估整站的权重分布,对于 seo、文章内容价值、用户体验都起到很好的参考价值。
百度蜘蛛 IP 地址
123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权。
220.181.68.*每天这个 IP 段只增不减很有可能进沙盒或 K 站。
220.181.7.*、123.125.66.*代表百度蜘蛛 IP 造访,准备抓取你东西。
121.14.89.*这个 ip 段作为度过新站考察期。
203.208.60.*这个 ip 段出现在新站及站点有不正常现象后。
210.72.225.*这个 ip 段不间断巡逻各站。
125.90.88.*广东茂名市电信也属于百度蜘蛛 IP 主要造成成分,是新上线站较多,还有使用过站长工具,或 SEO 综合检测造成的。
220.181.108.95 这个是百度抓取首页的专用 IP,如是 220.181.108 段的话,基本来说你的网站会天天隔夜快照。(悲剧的我竟然屏蔽了这个 IP)
220.181.108.92 同上 98%抓取首页,可能还会抓取其他(不是指内页)220.181 段属于权重 IP 段此段爬过的文章或首页基本 24 小时放出来。(嗯,还有这个也屏蔽了,晕死了!)
123.125.71.106 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。(这个也有,汗!)
220.181.108.91 属于综合的,主要抓取首页和内页或其他,属于权重 IP 段,爬过的文章或首页基本 24 小时放出来。
220.181.108.75 重点抓取更新文章的内页达到 90%,8%抓取首页,2%其他。权重 IP 段,爬过的文章或首页基本 24 小时放出来。(这个,……!)
220.181.108.86 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。(还有这个……)
123.125.71.95 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
123.125.71.97 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
220.181.108.89 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。(好吧,220 开头的好像都被我屏蔽了,下手真心有点儿太狠了!)
220.181.108.94 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.97 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.80 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.77 专用抓首页 IP 权重段,一般返回代码是 30400 代表未更新。
123.125.71.117 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或是采集文章。
注:以上 IP 尾数还有很多,但段位一样的 123.125.71.*段 IP 代表抓取内页收录的权重比较低,可能由于你采集文章或拼文章暂时被收录但不放出来.。
220.181.108.83 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.*段 IP 主要是抓取首页占 80%,内页占 30%,这此爬过的文章或首页,*** 24 小时内放出来和隔夜快照的!
一般成功抓取返回代码都 200,返回 304 代表网站没更新。
Google 蜘蛛 IP 地址
216.239.33.*
216.239.35.*
216.239.37.*
216.239.39.*
216.239.51.*
216.239.53.*
216.239.55.*
216.239.57.*
216.239.59.*
64.233.161.*
64.233.189.*
66.102.11.*
66.102.7.*
66.102.9.*
66.249.64.*
66.249.65.*
66.249.66.*
66.249.71.*
66.249.72.*
72.14.207.*
谷歌蜘蛛 IP 段解析
202.101.43.*、222.73.247.*、66.249.65.*这三个 ip 段是***为常规出现的
66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的 ip 段
210.72.225.*这个 ip 段不间断巡逻各站
203.208.60.*这个 ip 段出现在新站及站点有不正常现象后
360 蜘蛛 IP 段
101.226.166.*(101.226.166.195~101.226.166.254,共 60 个)
101.226.167.*(101.226.167.195~101.226.167.254,共 60 个)
101.226.168.*(101.226.168.195~101.226.168.254,共 60 个)
101.226.169.*(101.226.169.195~101.226.169.230,共 36 个)
180.153.236.*(180.153.236.11~26;180.153.236.35~180.153.236.74;180.153.236.101~180.153.236.196,共 152 个)
182.118.20.*(182.118.20.201~182.118.20.254,共 39 个)
182.118.21.*(182.118.21.201~182.118.21.*254,共 54 个)
182.118.22.*(182.118.22.141~182.118.22.149;182.118.22.211~182.118.22.250,共 64 个)
182.118.25.*(182.118.25.131~182.118.25.245;)
182.118.28.*
61.55.185.*
101.199.*.*
220.181.126.*
182.118.26.110~182.118.26.239(时效性 UAIP 段,主要针对网站内容更新的爬取)
360 蜘蛛 IP 段解析
220.181.126.*、101.199.*.*据说为 360 举报 IP。也就是说,假如你的网站日志出现这个 IP 段,你的网站被举报了。如果是违法站,那就自求多福吧。
搜狗蜘蛛 IP 段
123.126.113.79-123.126.113.191
220.181.89.190
220.181.89.189
218.30.103.155
61.135.189.75
220.181.94.228
61.135.189.74
220.181.89.157
220.181.89.165
220.181.89.183
220.181.89.194
218.30.103.80
神马蜘蛛 IP 段
42.156.136.*-42.156.139.*
42.120.160.*42.120.161.*
其他蜘蛛 IP 段
163 搜索引擎蜘蛛 IP 地址大全
202.106.186.*
202.108.36.*
202.108.44.*
202.108.45.*
202.108.5.*
202.108.9.*
220.181.12.*
220.181.13.*
220.181.14.*
220.181.15.*
220.181.28.*
220.181.31.*
222.185.245.*
iask 搜索引擎蜘蛛 IP 地址大全
61.135.152.*
msn 搜索引擎蜘蛛 IP 地址大全
65.54.188.*
65.54.225.*
65.54.226.*
65.54.228.*
65.54.229.*
207.46.98.*
207.68.157.*
搜搜蜘蛛 IP 地址
219.133.40.*
202.96.170.*
202.104.129.*
61.135.157.*
新浪搜索引擎蜘蛛 IP 地址
219.142.118.*
219.142.78.*
搜狐搜索引擎蜘蛛 IP 地址
61.135.132.*
220.181.26.*
220.181.19.*
Yahoo 搜索引擎蜘蛛 IP 地址
66.196.90.*
66.196.91.*
68.142.249.*
68.142.250.*
68.142.251.*
72.30.101.*
72.30.102.*
72.30.103.*
72.30.104.*
72.30.107.*
72.30.110.*
72.30.111.*
72.30.128.*
72.30.129.*
72.30.131.*
72.30.133.*
72.30.134.*
72.30.135.*
72.30.216.*
72.30.226.*
72.30.252.*
72.30.97.*
72.30.98.*
72.30.99.*
74.6.74.*
Yahoo 中国搜索引擎蜘蛛 IP 地址
202.165.102.*
202.160.178.*
202.160.179.*
202.160.180.*
202.160.181.*
202.160.183.*
中搜蜘搜索引擎蜘蛛 IP 地址
202.108.4.*
202.108.4.*
202.108.33.*
202.96.51.*
219.142.53.*
好了,终于通过此文提供的 IP,在屏蔽里排除了百度蜘蛛的 IP 了,总结下来就是“对自己真的是太狠了”,看来一些基本的数据必须要保留呀!就像此文一样,保存好,随时都可以用来参考的!屏蔽 IP 一定要慎重了,很容易误伤的,这两天 QQ 浏览器总是出现“403”错误估计跟 IP 屏蔽也有关系吧!我得好好排查一下了!
推荐阅读:
- 推荐文章
-
- 电压互感器的安装检查步骤
- ***式断路器的常见故障及处理
- 黄铜排和紫铜排哪个型号更加好用?
- 高压环网柜优点介绍
- 电压互感器的分类及作用
- 低压铸造机的***性能
- 如何提高防爆配电箱的使用效率及时间
- 环网柜应用效果
- 真空断路器性能检查方法
- LED防爆灯常见问题分析
- 小型断路器出现异常问题该怎么办?
- 你知道高压环网柜怎么检测吗?
- 自复式过欠压保护器基本故障疑问解答
- 安全挂锁须具备的基本功能介绍
- 热缩管的耐温等级
- 防爆检修箱的安装及布线大家了解多少?
- 跌落式熔断器操作详细
- 多功能电力仪表的安裝需要哪些环境下进行
- 10KV避雷器常见故障类型以及排除方法
- ***式断路器的基本***
- 网站建设后的效果不理想的原因
- 有关魏德米勒开关电源的主要用途详细介绍?
- 高压避雷器的专业知识详细介绍
- 钢钉线卡正常使用条件下的寿命
- 你对电动执行器的优点真的了解吗?
- 电流电压信号传感器功能特点以及主要用途
- 直流接触器应该如何选择?
- 导致扎带断裂的原因分析
- 管道泵应用留意事项
- 结构拉缝板的维护要点
- 镀锡铜排挤压工艺设计
- 防爆电动执行器的组件构成
- 智能一体化执行器受到影响的因素及解决方法
- 带胶热缩管的使用法门
- 工业连接器使用注意事项
- 防爆箱那些一定要注意的事项
- 配电箱铜排变黑的缘由
- 防爆接线箱安裝注意事项
- 电气火灾监控系统严重负载的原因
- 电缆附件的常见类型以及型号
- 气滑环的使用特征以及工作原理
- 电流电压信号传感器性能参数
- 自力式调节阀在应用中应留意难题?
- 浙江固体柜厂家的生产技术
- 操纵机构的结构组成以及运行原理
- 不锈钢扎带选购知识
- 电动执行器过载故障的常见原因
- 化工泵密封性方式
- 液下泵的选型依据
- 安全挂锁的主要功能以及结构
