圈小蛙
今年早些时候，网络基础设施提供商Cloudflare推出了一个交易市场，允许网站向AI机器人收取抓取其内容的费用。如今，该公司正在推动加强对AI领域的监管。
该公司首席执行官马修·普林斯（Matthew Prince）表示，他此次来到伦敦是为了与英国竞争与市场管理局 (CMA) 会面，鉴于谷歌在搜索领域的统治地位，他提议制定更严格的规则，以规范谷歌在人工智能领域的竞争方式。
本月初，英国竞争与市场管理局（CMA）因谷歌在搜索和广告市场“根深蒂固”的地位，赋予其特殊地位。此举将使监管机构能够对谷歌实施更严格的监管，其监管范围不仅限于搜索和广告，还包括谷歌的AI概览和AI模式、“发现”信息流、热门新闻和新闻标签页等领域。
普林斯认为，Cloudflare有很好的优势提出建议，因为它本身并不从事人工智能业务，但与许多人工智能公司建立了合作关系。
“我们并不直接参与这场竞争。我们不是一家人工智能公司，”普林斯本周在伦敦举行的彭博科技大会上表示。“我们也不是媒体出版商，但我们是一个连接两者的网络——80%的人工智能公司都是我们的客户，”他补充道。
Cloudflare 的老板认为，谷歌应该与其他人工智能公司在公平的竞争环境中竞争，但谷歌目前并没有这样做。他指出，谷歌不仅利用其搜索引擎，还利用现有的网络爬虫抓取内容，用于其人工智能产品和服务。普林斯表示，这让谷歌获得了不公平的优势。（普林斯指的是 Googlebot，它负责抓取搜索内容，包括人工智能功能，例如人工智能概览。谷歌发言人内德·阿德里安斯表示，网站所有者可以通过Google Extended选择不让网站内容用于训练人工智能产品，这不会影响网站在谷歌搜索结果中的排名。不过，一些媒体公司可能更倾向于完全退出人工智能功能，因此普林斯的观点基本成立。）
“谷歌的意思是，‘我们拥有上帝赋予的绝对权利，可以随意获取世界上所有内容，即使我们不付费，因为看看我们过去27年都做了些什么，’”普林斯解释道。“他们还说，我们可以把这些内容拿走，用我们搜索用的同一个爬虫来驱动我们的人工智能系统。如果你想退出其中一项，就必须同时退出两项，”他指出。
这位高管表示，显然，这对大多数人来说都是不可行的，尤其是媒体行业，因为失去搜索业务意味着损失大约 20% 的收入。
“但情况还会更糟。如果你屏蔽了谷歌的爬虫程序，就会屏蔽他们的广告安全团队，这意味着你在所有平台上的广告都会停止工作，这简直是行不通的，”普林斯补充道。
由于谷歌将其爬虫程序打包出售，因此它能够访问其他公司（如 Anthropic、OpenAI 和 Perplexity）需要付费才能获取的内容。
“问题在于，那样一来，我们实际上就把游戏规则拱手让给了谷歌，”他说。
普林斯表示，解决方案在于促进市场竞争，让成千上万家人工智能公司竞相从数千家媒体企业和数百万家小型企业购买内容。他认为，英国竞争与市场管理局（CMA）将谷歌列为潜在监管目标的做法是深思熟虑的，表明他们意识到了谷歌的独特优势。
Cloudflare还向CMA提供了数据，展示了Google的爬虫是如何工作的，以及为什么其他公司几乎不可能复制Google取得的成功。
近来，持有类似观点的并非只有普林斯一人。上个月，美国最大的数字和印刷出版商《人物》杂志（People, Inc.）首席执行官尼尔·沃格尔（Neil Vogel）也表达了类似的观点。《人物》杂志旗下拥有超过40个媒体品牌。在一次采访中，他指责谷歌是“不良行为者”，称由于网络爬虫的整合方式，媒体公司别无选择，只能允许谷歌抓取其网站以获取人工智能内容。
Vogel的公司采用了Cloudflare的解决方案来阻止不付费的AI爬虫，他声称该系统运行良好，并表示正在与几家大型 LLM 提供商进行交易谈判。