防止内容被抓取训练AI：百度百科屏蔽谷歌/必应等搜索引擎_科技资讯

创始人

2024-08-22 19:21:24

0次

快科技8月22日消息，据报道，近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

wepoke辅助挂(德州机器人... wepoke辅助挂(德州机器人)线上wpk德州ai机器人(透视挂)总是真的有挂(有挂透明)-微博热搜...

7分钟细节!wepoke ap... 7分钟细节!wepoke app系统规律(黑科技辅助挂)外挂透明挂辅助软件(2022已更新)(小红书...

wepok软件透明挂(来玩ap... wepok软件透明挂(来玩app)wepoke德扑之星(辅助挂)总是真的有挂(有挂插件挂)-今日头条...

4分钟攻略!wepoke软件透... 4分钟攻略!wepoke软件透明挂测试(透视)外挂透明挂辅助神器(2021已更新)(小红书)暗藏猫腻...

智星德州菠萝辅助器(WpK)智... 智星德州菠萝辅助器(WpK)智星德州扑克辅牌器(黑科技)一直真的有挂(有挂ai代打)-抖音1、构建自...

7分钟体悟!微扑克机制技巧(黑... 7分钟体悟!微扑克机制技巧(黑科技)外挂透明挂辅助挂(2023已更新)(小红书)；7分钟体悟!微扑克...

微扑克辅助挂(WepOke)w... 微扑克辅助挂(WepOke)wepoke有正规吗(透视挂)果然真的有挂(有挂ai辅助)-哔哩哔哩暗藏...

一分钟方案!智星德州菠萝在哪下... 一分钟方案!智星德州菠萝在哪下载(辅助挂)外挂透明挂辅助工具(2024已更新)(今日头条)；1、每一...

德州之星外挂(wepoKE)... 德州之星外挂(wepoKE)微扑克的辅助工具(黑科技)一贯真的有挂(有挂线上)-百度暗藏猫腻，小编...

四分钟安装!wpk微扑克有挂(... 四分钟安装!wpk微扑克有挂(黑科技)外挂透明挂辅助器(2020已更新)(知乎)1、进入游戏-大厅左...