防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎_科技资讯

创始人

2024-08-23 01:20:53

0次

快科技今日（8月22日）消息，据报道，近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

透视辅助！wpk作弊最怕三个东... 透视辅助！wpk作弊最怕三个东西，（WPK）确实真的是有挂（透视）显示有作弊（有挂攻略）wpk作弊最...

外媒关注我国巨大飞翼构型无人机... 【文/观察者网王世纯】据美国“战区”（The War Zone）网站10月20日晚间报道，近日社交...

新型甲醇生物转化催化剂制备成功来源：市场资讯（来源：中化新网）中化新网讯近日，中国科学院天津工业生物技术研究所在甲醇脱氢酶(...

透视国外版！we-poker软... 透视国外版！we-poker软件，（WePoKer）好像真的有挂（透视）透视脚本下载（有挂详情）1、...

透视美元局！德普之星私人局辅助... 透视美元局！德普之星私人局辅助免费，（德扑之心）切实真的有挂（透视）私人局辅助器（有挂攻略）1、德...

透视存在！pokemmo脚本辅... 透视存在！pokemmo脚本辅助器，智星德州插件，攻略教程（有挂细节）1、金币登录送、破产送、升级送...

四川第二个！丹巴基卡依村入选联... 10月17日，联合国旅游组织在浙江省湖州市公布2025年“最佳旅游乡村”。四川甘孜的基卡依村，成为本...

透视辅助！wpk透视辅助，（w... 透视辅助！wpk透视辅助，（wPk）果然有挂（透视）俱乐部辅助器（有挂秘笈）所有人都在同一条线上，像...

透视辅助工具！wepoker有... 透视辅助工具！wepoker有没有辅助，（WePoKer）原来真的是有挂（透视）辅助透视（有挂黑科技...

透视了解！德普之星透视辅助软件... 透视了解！德普之星透视辅助软件，（德扑之心）原来是真的有挂（透视）透视辅助（有挂详情）1、全新机制...