Cloudflare，一家网络的主要参与者，正在采取前所未有的进攻战略。 以前无处不在的人工智能机器人现在遭遇到了阻碍。Cloudflare实施的封锁系统旨在减少在线内容使用中的滥用。
这一举措的后果对企业和出版商而言是相当重大的。数字掠夺的时代已经结束。 面对这种威胁，创作者渴望实现公平的商业模式，以保护他们的作品免受未经请求的侵入。Cloudflare重新定义了游戏规则。
新的人工智能机器人封锁政策
Cloudflare，内容分发领域的领导者，已对人工智能机器人展开进攻。从7月1日起，该公司默认阻止人工智能机器人访问其服务，例如OpenAI 的 GPTBot 和 Anthropic 的 ClaudeBot。此举是由于网站拥有者对这些抓取工具造成的延迟的日益担忧。
网站拥有者报告称，这些机器人生成的未请求请求数量急剧增加。Cloudflare的基础设施保护着超过200万用户，这些用户约占20%的互联网。网站拥有者现在必须明确同意他们的内容可以被这些机器人访问，从而为现有状态提供更大的安全性。
非监管访问所引发的问题
许多出版商和内容公司抱怨某些人描述为真正的数字掠夺的现象。像美联社、康泰纳仕和ZDNET这样的公司对人工智能公司未经授权使用他们内容表示不满。大多数此类操作在未获同意的情况下进行，并绕过标准协议，如robots.txt，以阻止访问。
包括出版商的措施
Cloudflare的新政策旨在恢复出版商与人工智能公司之间的平衡。Cloudflare的首席执行官Matthew Prince强调，这一举措旨在“赋予出版商应得的控制权”。此外，Cloudflare推出了一项名为“按爬取付费”的计划，允许出版商为人工智能公司访问其内容设定费用。
对网络流量的显著影响
数据显示，自人工智能技术兴起以来，新闻网站的流量有所下降。例如，Business Insider网站自2022年4月以来，其流量下降了55%，预计若这一趋势持续，像The Atlantic的Nicholas Thompson这样的专家预测，来自Google的流量将大幅下降，威胁到在线出版商的经济可持续性。
对日益严重现象的反应
这一变化也因围绕版权的法律辩论而加剧。最近的判决裁定，某些公司，包括Meta和Anthropic，有权在合理使用的范围内使用受版权保护的作品。然而，创作者和撰稿人仍然对人工智能对其作品影响的日益增长表示担忧。
未来和市场的发展
随着Cloudflare抢占先机，其他内容分发网络，如Akamai，可能会跟随这一趋势。限制人工智能机器人的网络访问是一个重要的发展，标志着无限访问时代的结束。人工智能公司面对重大的障碍，现在必须谈判以获得许可证并支付费用以获取内容。
有关此主题的更多信息，需要考虑最近在人工智能领域的进展，例如这些新技术对网络流量的影响这里，以及教育领域的倡议这里。围绕版权和这些技术的环境影响的辩论也在继续发展，以及减少人工智能碳足迹的努力，这些都在此详细说明这里。
Cloudflare对人工智能机器人的进攻的FAQ
为什么Cloudflare要阻止人工智能机器人？
Cloudflare阻止人工智能机器人是为了保护其客户的网站，因为这些机器人会产生大量的自动请求，显著降低网站的性能。
此措施涉及哪些类型的人工智能机器人？
如OpenAI的GPTBot和Anthropic的ClaudeBot等人工智能机器人被明确阻止，此外还有其他尝试在未经授权的情况下访问内容的机器人。
Cloudflare如何确定阻止哪些机器人？
Cloudflare使用行为分析和机器学习技术来检测试图逃避检测的“阴影抓取器”机器人。
这一政策对使用竞争对手CDN的企业有什么影响？
这一新政策可能促使其他CDN，例如Akamai，采取类似的措施，从而给人工智能机器人施加更大的压力，并改变在线内容访问的动态。
Cloudflare提出的“按爬取付费”计划是什么？
“按爬取付费”计划允许出版商为人工智能公司访问他们的内容设定费用，这样就使抓取对这些机器人可能变得成本高昂。
Cloudflare如何保护在线出版商的内容？
Cloudflare默认阻止人工智能机器人，只允许经过网站所有者明确批准访问，从而赋予他们对内容更大的控制权。
这一措施对人工智能公司有什么影响？
人工智能公司现在必须谈判内容的访问，并可能支付许可费用，从而改变他们目前在未经同意的情况下抓取内容的方式。
这一措施是否也会影响普通互联网用户？
然而，这项措施不应影响普通用户，但如果内容代理无法协商访问，可能会影响某些在线信息的可获取性。
出版商对人工智能机器人使用的担忧是什么？
出版商担心人工智能机器人在没有补偿的情况下使用他们的内容，这影响了他们的收入以及创造优质内容的能力。
由于人工智能机器人，新闻网站的流量发生了什么变化？
自人工智能机器人兴起以来，许多新闻网站的流量显著下降，有的企业报告流量下降了55%。
