爬虫频繁更换用户代理（UA）和IP能绕过反爬虫机制吗？
创始人
2024-11-14 00:33:42
0次

今天捕捉到一个网页爬虫，IP地址为：110.42.66.212，UserAgent在短短2小时内换了17个，抓取了62个页面,因触发反爬规则被封。

序号UserAgent
1Googlebot/2.1+(+http://www.googlebot.com/bot.html)
2(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html）
3AppleWebKit/534.46+(KHTML,like+Gecko)+Version/5.1+Mobile+Safari/10600.6.3
4Sogou+Push+Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
5Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
6Mozilla/4.0+(compatible;+MSIE+9.0;+Windows+NT+6.1)
7Python-urllib/3.10
8iaskspider/2.0(+http://iask.com/help/help_index.html)
9Sogou+web+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
10Mozilla/5.0+(compatible;+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp??)
11Googlebot/2.1+(+http://www.google.com/bot.html)
12Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html)
13Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html??
14Mozilla/5.0+(Linux;u;Android+4.2.2;zh-cn;)
15Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+)
16msnbot/1.0+(+http://search.msn.com/msnbot.htm)
17Mozilla/5.0+(compatible;+iaskspider/1.0;+MSIE+6.0)

我认为频繁更换UA并不能解决爬虫被封的问题。更换IP也不能保证绕过反爬虫机制，因为涉及到抓取频率，如果频率过低，费时长且没有效率，迟早要被反爬虫机制识别；频率过高（比如一秒中抓取两三个页面），则很快就会触发反爬虫规则。

文章来源于尚贤达猎头公司谭工

上一篇：3分钟了解！WePoKer确实是有挂的（透视作弊）wepoker到底有透视（有挂教学）

下一篇：玩家必看攻略！WePoKer确实是有挂的（透视作弊）wepoker开挂透视软件（有挂指南）

相关内容

热门资讯

透视软件！德普之星辅助软件，德... 透视软件！德普之星辅助软件，德普之星辅助器app，系统教程（有挂攻略）是一款可以让一直输的玩家，快速...
透视讲解！wepoker私人局... 透视讲解！wepoker私人局俱乐部辅助（透视）确实存在有挂（AI教程）1、wepoker私人局俱乐...
透视计算！德普之星的辅助工具介... 透视计算！德普之星的辅助工具介绍，德普之星私人局辅助免费，2024新版教程!（有挂解说）；小薇（透视...
透视辅助！wepoker有辅助... 透视辅助！wepoker有辅助工具吗（透视）真是真的有挂（扑克教程）；1）wepoker有辅助工具吗...
透视新版！德普之星怎么设置埋牌... 透视新版！德普之星怎么设置埋牌，德普之星辅助器怎么用，AI教程（有挂插件）1）德普之星怎么设置埋牌辅...
透视系统！wepoker私人局... 透视系统！wepoker私人局有透视吗（透视）竟然真的是有挂（揭秘教程）；1、打开软件启动之后找到中...
透视透视！德普辅助软件，德扑圈... 透视透视！德普辅助软件，德扑圈透视，玩家教你（有挂教程）；致您一封信；亲爱德普辅助软件玩家：《德普辅...
透视系统！wepoker有没有... 透视系统！wepoker有没有挂（透视）原来是有挂（爆料教程）；1、完成wepoker有没有挂透视辅...
透视软件！德普之星透视辅助软件... 透视软件！德普之星透视辅助软件激活码，德普之星辅助工具如何打开，黑科技教程（有挂脚本）是一款可以让一...
透视黑科技！wepoker私人... 透视黑科技！wepoker私人局俱乐部辅助（透视）总是真的有挂（辅助教程）该软件可以轻松地帮助玩家将...