防止内容被抓取训练AI：百度百科屏蔽谷歌/必应等搜索引擎_科技资讯

创始人

2024-08-22 19:21:24

0次

快科技8月22日消息，据报道，近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

今日公布！wepoker怎么下... 今日公布！wepoker怎么下载游戏，白金岛手游作必弊码，一直存在有辅助脚本（有挂技术）1）白金岛手...

实测揭晓！wejoker手机版... 实测揭晓！wejoker手机版透视脚本，椰子大厅辅助脚本，竟然真的是有辅助下载（有挂细节）1、起透看...

一分钟秒懂！wpk俱乐部辅助器... 一分钟秒懂！wpk俱乐部辅助器，小程序财神十三水脚本时评，一贯有辅助安装（有挂规律）一分钟秒懂！wp...

玩家必备教程！xpoker辅助... 玩家必备教程！xpoker辅助工具，蜀山四川破解版安卓版，其实真的有辅助教程（详细教程）1、每一步都...

科技新动态！哈糖大菠萝攻略，创... 科技新动态！哈糖大菠萝攻略，创思维激k透视免费，一直真的是有辅助透视（有挂规律）1、创思维激k透视免...

玩家必看攻略！哈糖大菠萝挂法，... 玩家必看攻略！哈糖大菠萝挂法，火神大厅辅助器，原来是有辅助开挂（有挂秘籍）玩家必看攻略！哈糖大菠萝挂...

今日公布！wpk作必弊，途游修... 今日公布！wpk作必弊，途游修改器，一贯是真的有辅助下载（有挂秘籍）1、玩家可以在途游修改器透视最简...

传递经验！fishpoker透... 传递经验！fishpoker透视底牌，新上游拼十辅助，原来是有辅助开挂（有挂方略）亲，关键说明，fi...

实操分享！wejoker私人辅... 实操分享！wejoker私人辅助软件，情怀宜春怎么开挂，本来是真的有辅助神器（有挂秘笈）运情怀宜春怎...

重大推荐！wepoker透视功... 重大推荐！wepoker透视功能下载，淘宝买顺欣茶楼辅助软件靠谱吗，一贯有辅助神器（有挂技巧）1、首...