利用 Attribution Business Insights 揭示爬虫活动

原创内容是推动对话与好奇心的源泉所在。试想一个没有原创内容的世界：我们或许可以用无数种方式重复已有内容，但也将目睹新观点与新论证的逐步衰退。

网站所有者为思想交流、新闻传播和精彩资讯的生态注入活力，却不得不应对愈发复杂的双重挑战——既要管控网站流量，也要确保内容变现。

尽管部分机器人流量显然具有恶意，但特定 AI 爬虫究竟是在助力还是损害您的业务，往往并不显而易见。

要回答这个问题，网站所有者必须依靠细致、可信的数据，明确区分哪些流量具有实际价值，哪些流量不仅占用资源，更会动摇其商业模式的根本——真实用户对内容的访问与消费。 

Cloudflare 坚信一个基本 原则：网站所有者有权 掌控对其内容的访问。我们致力于协助网站所有者维护其优质内容，并有效管理 AI 爬虫流量。

为提供亟需的透明度并帮助网站所有者掌握控制权，我们欣然推出专为商业决策者与内容发布者打造的全新 Attribution Business Insights（归属商业洞察）仪表板 。

【互联网经济新模式】
几十年来，互联网的商业模式始终遵循一种心照不宣的简单协议：网站所有者开放内容供搜索引擎抓取，作为回报，搜索引擎将读者导流至其页面。

这种共生关系中，传统搜索引擎以均衡的“爬取-导流”（crawl-to-referral）比率运行，从而产生维持广告、联盟营销收入及订阅业务所需的页面浏览量。

搜索索引爬虫 扫描您的内容若干次即可带来一次导流 ，因此向爬虫开放您的网站能形成一条清晰的增收路径。

我们可以将此视为 SEO（搜索引擎优化）时代。

如今，AI 爬虫与智能体的爆发式增长打破了这一约定，令数字出版行业陷入前所未有的危机。

互联网正面临转变为 “零点击” 生态的风险，其中 AI 聊天机器人抓取原创内容以整合即时答案，完全绕开内容原始来源。

我们已经看到从单纯的 SEO（搜索引擎优化）转向 AEO（答案引擎优化）的明显变化，现在围绕 GEO（生成引擎优化）的讨论正在成为焦点。

当今互联网上普遍存在的爬取-导流比率失衡，清晰揭示了这一新现实的不平衡性。

传统搜索引擎的爬取量与所导流的合法访客数量之比相对均衡，而主流 AI 爬虫则以截然不同且具有掠夺性的规模运作。

据观察，主流 AI 公司的爬虫爬取与导流比例差异显著：在 我们的 2025 年“内容独立日” 前后，记录到的比率从 118:1 到高达近 50,000:1。

换句话说，AI 爬虫或许已经对您的优质内容抓取了数万次，却只带来一位访客。

这种比率极不公平。

这时对内容发布者的双重打击：首先，他们失去了支撑内容创作与新闻业所必需的导流流量、广告展示量以及与受众的直接联系。

其次，他们不得不承担因托管和提供内容并向没有回报商业价值的自动化机器人而导致的基础设施成本上升。

那个为了获得曝光而对 所有 爬虫敞开大门的时代，已经一去不复返了。

【隆重推出 Attribution Business Insights】
我们希望网站所有者掌握事实——确切、可靠的数据，以了解哪些机器人有助于其业务，哪些有害。

为让分析工作前所未有地轻松，我们打造了 Attribution Business Insights——旨在剔除干扰信息，专注呈现客户明确指出的核心要点。 

即日起， Attribution Business Insights 仪表板 面向所有 Cloudflare Bot Management 客户开放 。

该全新仪表板旨在为您提供网站机器人流量的 专门 视图；

与可能需要大量手动筛选的传统分析工具不同，此仪表板可立即为您呈现关键洞察。

我们旨在解答当前网站所有者最紧迫的问题： 您应如何考虑网站上的 AI 流量？ 不同受众的价值是什么——包括人类、非 AI 机器人和 AI 机器人？而最关键的问题是：您的数据究竟被用来做什么？ 



全新的 Attribution Business Insights 仪表板视图包含整体机器人流量洞察，全站爬取与导流比率，以及 AI 机器人流量与自然流量的分布情况。 

为解答上述问题，该仪表板展示了一组强大的数据与洞察：

•

内容页面的机器人流量： 查看您的整体机器人流量与人类流量对比，以及成功访问内容的全部机器人流量规模。

•

爬取-导流比率： 查看您全站范围的爬取与导流比率，时间范围可选 24 小时、7 天或 30 天。您还能 按机器人运营商 （即运营一个或多个机器人的公司）分别查看其爬取与导流比率。

•

主要机器人明细： 按流量规模排序的主要机器人列表，包含其来源国家、在您网站占用的带宽，以及您当前对其采取的拦截或放行策略。

•

基于爬虫行为的更新分类： 我们采用更新后的分类体系，超越笼统的“AI 爬虫”标签，将爬虫细分为 训练 （即用于训练 下一代大语言模型聊天机器人 ）、 搜索 （即用于刷新 检索增强生成 数据库）或 智能体 （即用于 智能体式交互，向终端用户返回答案 ）。

【从数据到商业策略】
您不需要成为安全专家也能理解 AI 爬虫如何影响您的业务。

若网站所有者希望仅需花费数分钟了解高层级洞察，便可快速掌握其内容安全策略有效性的清晰评估。

对于那些希望深入了解 AI 公司如何利用其内容，或者收集信息以指导其与 AI 公司关系发展方向的人，我们展示按机器人运营商组织的更详细视图。



网站机器人活动明细，包含每个机器人的关键信息，如类型、爬取与导流比率及当前操作策略。 

您可通过统一视图全面掌握试图访问网站内容的各家公司，从而为爬虫活动建立更准确的基准。

我们希望这些数据能够为客户提供开展任何商业洽谈所需的事实信息。

告知 A 公司，他们的爬取量是 B 公司的二十倍，而 B 公司已经为使用内容向您支付补偿。

根据 C 公司的近期活动，重新评估向其许可内容的方式。

该全新仪表板将有效推动商业洽谈。 

这层新的可见性如何与您现有的工具结合，以保护您的网站免受滥用？

与 Bot Management 的其他功能一致， 操作 步骤仍在安全规则中进行。

为了避免对控制平面造成干扰，Attribution Business Insights 旨在成为 经过深思熟虑和过滤的分析 中心，而不是另一个执行的操作的地方。

此仪表板汇聚关键信息，便于您开展调查，然后通过同时管控其他滥用缓解策略的统一规则引擎执行操作。

我们还希望公开邀请业务决策者使用此仪表板，因为 AI 流量相关话题的利益相关者早已超越安全专家范畴，牵涉更广泛的群体。

【下一步】
Attribution Business Insights 仪表板是关键的下一步，为网站所有者提供所需透明度与控制能力，以应对不断演化的 AI 机器人威胁，以及（更广泛地）塑造互联网的新动态。

我们正与紧密合作的内容发布合作方共同探索下一代方案，旨在构建一个从网站所有者视角出发的可见性平面，覆盖其在分享高价值原创内容时所需的安全能力。 

下方预览包含一个新视图，可 按文章粒度 剖析爬虫活动，揭示 AI 公司对不同内容、不同营销活动等的抓取偏好。



按流量排列的热门文章明细。显示关键指标，如 AI 机器人流量与其他机器人流量和人类流量的对比，包含直接访问和导流流量。  

可见性是第一步，后续我们还将推出更多功能，助力网站所有者在这个新时代管控自有内容。

我们鼓励所有 Cloudflare Bot Management 客户——尤其是推动商业洽谈者——立即访问该仪表板，以获得对分析数据的全新洞察。 

[来源链接] https://blog.cloudflare.com/zh-cn/attribution-business-insights/