Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫,官方称与谷歌合作无关
今年2月,谷歌宣布与Reddit达成一项新协议,Reddit数据将用于训练谷歌的AI模型,并在谷歌搜索结果中着重显示Reddit结果。彭博社报道称,这笔交易的金额约为6000万美元。从那时起,Reddit在谷歌搜索中的展示次数也大幅增加。
而最新消息称,Reddit已禁止其他搜索引擎检索其网站内容。外媒404 Media最先报道了此行为,并指出Reddit已更新其robots.txt文件(IT之家注:网站与爬虫的协议文件),阻止所有机器人抓取网站的任何内容。
IT之家查询Reddit网站的robots.txt文件获悉,该平台称“Reddit相信开放的互联网,但不相信滥用公共内容。”其“Disallow”选项设置为“/”,也就是禁止检索网站根目录下的所有文件。
该文件在今年6月首次更新,Reddit解释说,这一更改是由于“抓取Reddit内容的商业实体明显增多并且内容被滥用”。
外媒9To5Google则称,Bing、DuckDuckGo、Mojeek和Qwant等搜索引擎都受到了影响,使用“site:reddit.com”搜索内容时,要么不显示最新内容,要么不显示完整的网站结果。
不过IT之家最新测试,Bing、DuckDuckGo已重新显示“site:reddit.com”搜索内容。
Reddit发言人Tim Rathschmidt在给The Verge的一份声明中表示:“这与我们最近与谷歌的合作完全无关。我们一直在与多个搜索引擎进行讨论,但无法与所有人达成协议,因为有些人无法或不愿意就他们使用Reddit内容(包括他们对AI训练的使用)作出可执行的承诺。”
责编:莎莉
免责声明:凡注明为其它来源的信息均转自其它平台,由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,不为其版权负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本站联系,我们将及时更正、删除,谢谢。联系邮箱:gaochanggong@szw.org.cn