防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎_科技资讯

创始人

2024-08-23 01:20:53

0次

快科技今日（8月22日）消息，据报道，近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

中信证券：私募信心指数继续高位... 2月15日消息，中信证券研报认为，2026年1月A股权益类策略整体净值显著提升，量化产品超额收益有所...

贵州：到2030年企业占经营主... 2月14日消息，贵州省人民政府办公厅近日印发《关于培育壮大经营主体的若干政策措施》。《措施》提出，围...

2月14日新闻联播速览18条 2月14日消息，今天《新闻联播》主要内容有：1.中共中央国务院举行春节团拜会习近平发表讲话代表党...

贵州：到2030年省级专精特新... 2月14日消息，贵州省人民政府办公厅近日印发《关于培育壮大经营主体的若干政策措施》。其中提出，加大专...

国际糖价创五年新低，高蛋白有望... 2月14日消息，国际糖价连跌四周，一度录得五年多来的最低水平，分析认为减肥药物正加速削弱消费者对甜食...

香港本科太吓人了！一年有200... 近日，一组数据引发了留学圈家长的广泛关注。香港教资会统计显示，2024/25学年，港八大全日制学生...

嘉年华来到东京！《地平线6》为... 当我在《极限竞速：地平线6》中，驾驶着一辆经过NISMO部门激进调校的日产GT-R 35，在樱花铺满...

方盒子2.0：猛龙PLUS如何... 2023年，长城猛龙以“新能源+泛越野”方盒子的姿态闯入市场，开创了一个全新的细分赛道。三年后，猛龙...

龙湖·观萃：实景、产品、地段如... 龙湖·观萃营销中心开放当天，因到访人数过多，一度启动限流措施，成为今年深圳少有的“排队看房”红盘。3...

解迷透视！德州局透视，微乐游戏... 解迷透视！德州局透视，微乐游戏小程序辅助器免费，秘籍教程（真是有挂）-哔哩哔哩1、下载好德州局透视正...