爬虫频繁更换用户代理（UA）和IP能绕过反爬虫机制吗？
创始人
2024-11-14 00:33:42
0次
今天捕捉到一个网页爬虫，IP地址为：110.42.66.212，UserAgent在短短2小时内换了17个，抓取了62个页面,因触发反爬规则被封。
| 序号 | UserAgent |
| 1 | Googlebot/2.1+(+http://www.googlebot.com/bot.html) |
| 2 | (compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html） |
| 3 | AppleWebKit/534.46+(KHTML,like+Gecko)+Version/5.1+Mobile+Safari/10600.6.3 |
| 4 | Sogou+Push+Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07) |
| 5 | Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) |
| 6 | Mozilla/4.0+(compatible;+MSIE+9.0;+Windows+NT+6.1) |
| 7 | Python-urllib/3.10 |
| 8 | iaskspider/2.0(+http://iask.com/help/help_index.html) |
| 9 | Sogou+web+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07) |
| 10 | Mozilla/5.0+(compatible;+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp??) |
| 11 | Googlebot/2.1+(+http://www.google.com/bot.html) |
| 12 | Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) |
| 13 | Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html?? |
| 14 | Mozilla/5.0+(Linux;u;Android+4.2.2;zh-cn;) |
| 15 | Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) |
| 16 | msnbot/1.0+(+http://search.msn.com/msnbot.htm) |
| 17 | Mozilla/5.0+(compatible;+iaskspider/1.0;+MSIE+6.0) |
我认为频繁更换UA并不能解决爬虫被封的问题。更换IP也不能保证绕过反爬虫机制，因为涉及到抓取频率，如果频率过低，费时长且没有效率，迟早要被反爬虫机制识别；频率过高（比如一秒中抓取两三个页面），则很快就会触发反爬虫规则。
文章来源于尚贤达猎头公司谭工
相关内容
热门资讯
实测交流透视挂!宝玛大厅ai智...
实测交流透视挂!宝玛大厅ai智能透视挂教程，宝玛大厅破解软件经验（本来有挂辅助）1、每一步都需要思考...
总算了解辅助器!朱雀吴江三缺一...
总算了解辅助器!朱雀吴江三缺一ai智能透视辅助挂技巧，朱雀吴江三缺一好像是有挂（有辅助挂细节）朱雀吴...
今日公布透视!九五至尊大厅ai...
今日公布透视!九五至尊大厅ai智能透视插件，九五至尊大厅有没有透视挂窍门（切实有挂技术）1、在九五至...
玩家必看科普开挂!聚闲麻将ai...
玩家必看科普开挂!聚闲麻将ai智能透视辅助挂软件，聚闲麻将总是真的有挂（有辅助挂方式）聚闲麻将能透视...
据报道开挂!旅游娱乐ai智能开...
据报道开挂!旅游娱乐ai智能开挂工具，旅游娱乐辅助工具演示（一直有挂教学）1、全新机制【旅游娱乐ai...
一分钟揭秘开挂!决胜朋来麻将a...
一分钟揭秘开挂!决胜朋来麻将ai智能透视辅助挂教程，决胜朋来麻将真是真的是有挂（有辅助挂总结）1、首...
如何分辨真伪透视!红牛ai智能...
如何分辨真伪透视!红牛ai智能透视攻略，红牛是不是有挂经验（真是有挂技术）1、操作简单，无需红牛手机...
2分钟细说辅助器!江湖大庆麻将...
2分钟细说辅助器!江湖大庆麻将ai智能透视辅助挂攻略，江湖大庆麻将竟然是真的有挂（有辅助挂头条）1、...
总算清楚透视挂!老夫子厅ai智...
总算清楚透视挂!老夫子厅ai智能透视挂技巧，老夫子厅怎么开挂课程（好像发现有挂）老夫子厅破解侠是真的...
解密关于辅助!菜鸟麻将ai智能...
解密关于辅助!菜鸟麻将ai智能透视辅助挂脚本，菜鸟麻将总是存在有挂（有辅助挂存在）1、用户打开应用后...