Cloudflare新规：AI公司9月15日前需为出版商内容付费，否则将被默认屏蔽

Cloudflare近日宣布一项新政策，要求AI公司在9月15日之前，将用于搜索的网络爬虫与用于AI训练和代理的爬虫明确区分开来。如果未能按时执行，这些AI公司将在众多出版商网站上默认被屏蔽。这一举措直接针对AI公司大规模抓取内容用于模型训练的行为，旨在保护出版商的权益，推动AI公司为内容付费。

根据新规，AI公司需要向Cloudflare提交其爬虫的详细用途分类，并确保用于AI训练的爬虫不会绕过出版商设定的付费墙或版权限制。Cloudflare将提供技术工具，帮助出版商识别和区分不同类型的爬虫，从而自主决定是否允许AI公司使用其内容。这一政策被视为数字内容版权领域的重要转折点，标志着平台方开始主动介入AI与出版商之间的利益博弈。

业内分析认为，Cloudflare此举可能引发连锁反应，其他内容分发平台或效仿推出类似规定。对于AI公司而言，这意味著过去“免费抓取、低成本训练”的模式将难以为继，未来可能需要与出版商建立正式的内容授权合作。出版商则有望从AI浪潮中获得新的收入来源，但如何合理定价、避免垄断仍是挑战。