防止内容被抓取训练AI：百度百科屏蔽谷歌/必应等搜索引擎_科技资讯

创始人

2024-08-22 19:21:24

0次

快科技8月22日消息，据报道，近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

特朗普如愿了！首批“美国制造”... 财联社10月24日讯（编辑黄君芝）苹果周四宣布，该公司位于得克萨斯州休斯顿的工厂已开始发运用于人工...

透视玄学！wepoker免费脚... 透视玄学！wepoker免费脚本咨询，本来真的是有挂（透视）存在挂教程（有挂细节）1、全新机制【we...

透视有挂"菠萝辅助器... 透视有挂"菠萝辅助器免费版的功能介绍"一直真的是有挂(透视)实用技巧(有挂插件)1、菠萝辅助器免费版...

透视智能ai!aapoker透... 透视智能ai!aapoker透视脚本(透视)真的假的(一直真的是有挂)；1、在aapoker透视脚本...

透视讲解(WePoKer)we... 透视讲解(WePoKer)wepoker底牌透视(透视)都是存在有挂(2025新版教程)；1、不需要...

辅助透视！aapoker万能辅... 辅助透视！aapoker万能辅助器，最初真的是有挂（透视）黑科技教程（有挂技巧）；aapoker万能...

透视玄学"xpoke... 透视玄学"xpoker辅助工具"一贯真的有挂(透视)曝光教程(有挂工具)1、透视玄学"xpoker辅...

透视辅助!aapoker安装包... 透视辅助!aapoker安装包怎么使用(透视)ai插件(切实是有挂)；1、完成aapoker安装包怎...

透视透视(WEPOKER)we... 透视透视(WEPOKER)wepoker有插件吗(透视)一贯是真的有挂(普及教程)；1）wepoke...

透视辅助！智星德州插件2024... 透视辅助！智星德州插件2024最新版，一向是真的有挂（透视）技巧教程（有挂攻略）；1、智星德州插件2...