防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎_科技资讯

创始人

2024-08-23 01:20:53

0次

快科技今日（8月22日）消息，据报道，近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

免费换新！珠海12万只智能水表... 南都讯记者赵雨琪8月28日上午，珠海市超长期特别国债“智能化水表更新改造”项目启动仪式在香洲区建...

透明黑科技!aapoker透明... 透明黑科技!aapoker透明挂"wpk德州胜利跟号有关"一直真的有挂(有挂插件)-头条；1、在wp...

黑科技辅助!德州ai辅助软件&... 黑科技辅助!德州ai辅助软件"aapoker发牌机制"一般真的有挂(有挂黑科技)-知乎1、首先打开a...

黑科技辅助!wepoke辅助德... 黑科技辅助!wepoke辅助德之星"微扑克软件的规律"果真真的有挂(有挂机制)-哔哩哔哩；黑科技辅助...

黑科技辅助挂!wpk透视辅助&... 黑科技辅助挂!wpk透视辅助"wepoke调控参数"一贯真的有挂(有挂苹果版本)-头条1、每一步都需...

透明辅助挂!智星德州菠萝有挂吗... 透明辅助挂!智星德州菠萝有挂吗"德扑网上设置"一贯真的有挂(有挂透明)-小红书；1、智星德州菠萝有挂...

黑科技辅助挂!WPK透视辅助&... 黑科技辅助挂!WPK透视辅助"aapoker辅助工具下载"的确真的有挂(有挂挂)-小红书1、许多玩家...

透视辅助!wpk透视辅助工具&... 透视辅助!wpk透视辅助工具"wepoke可以来好牌"的确是有挂的(有挂苹果版)-今日头条1、超多福...

黑科技辅助!德扑之星辅助器购买... 黑科技辅助!德扑之星辅助器购买"红龙扑克会作假"的确是有挂的(有挂插件挂)-百度贴吧；1、玩家可以在...

透明黑科技!微扑克全自动机器人... 透明黑科技!微扑克全自动机器人"来玩app德州扑克"一直真的有挂(有挂稳赢)-哔哩哔哩；1、微扑克全...