流量格局已彻底逆转

依据网络安全服务商Cloudflare的实时监测数据, 在2026年的全球互联网HTTP请求当中, 由AI机器人、爬虫以及智能体发起的自动访问, 其所占比例高达57.4%, 而人类用户访问仅仅占据42.6%。该数据源自该公司分布于全球各地的服务器集群, 这些服务器集群覆盖了数十亿次日常网络请求。

马特·普林斯, 也就是Cloudflare的首席执行官, 宣称, 流量逆转这一情况, 原本按照行业的预测, 是要一直到2027年年底的时候才会出现的, 然而当前, 在AI智能体的有力推动之下, 它提前了一年多的时间就爆发了。这所表明的结果是, 互联网的基础生态已经发生了根本性的变化, 机器正逐步取代人类, 从而成为网络空间里的主角, 这一现象已经真实地出现了。

智能体成流量主力军

时下, 各种各样的AI智能体, 每日于全球网络之上, 开展数十亿次之多的数据抓取任务, 它们涵盖搜索引擎的爬虫, 大语言模型的训练数据采集工具, 还有各类自动化运营脚本, 这些智能体借由模拟人类行为, 持续不断地朝着网站服务器发送请求。

按照普林斯的看法, 那些机器人, 还有些爬虫以及智能体, 本质上统统都是同一款自动化工具。它们存在共同特性, 就是大量地、高频次地、带有目的去进行批量访问, 这跟人类随机的、个体的浏览行为构成了鲜明的对比。这样的一种趋势, 在2025年下半年的时候开始加速, 到2026年初的时候彻底爆发。

网站所有者面临新困境

大量机器人流量让众多中小网站每天承受数万回无效自动访问请求, 这些请求既不会带来真实用户, 也不会产生商业价值, 可是却致使服务器负载激增以及带宽成本上升, 还拖慢了正常访问速度, 这是无数中小网站当下面临状况却需普通网站站长去面对。

更为严重的是, 存在部分恶意爬虫, 这些恶意爬虫行为肆意, 毫无限制地抓取得来网站内容, 其目的是用于训练竞争对手的AI模型, 这一情况致使原创内容生产者的权益遭受侵害, 然而他们却欠缺有效的维权手段, 因为已然无法依据传统通过robots.txt文件的方式去约束数量越来越多逐渐智能化的主体了。

付费抓取时代即将到来

普林斯确切表明, 往后互联网会全面迈向付费抓取样式, Cloudflare于2025年夏天推出的服务平台, 准许网站所有者对AI爬虫予以拦截, 还能给数据抓取举动设置价格标识, 然而, 鉴于缺少配套的支付与结算生态, 此项目当前至今还没进行大规模推广。

想要达成付费抓取, 就得有全新的协议以及底层基础设施予以支撑, Cloudflare正在研发专门的高频结算系统, 它能够实时追踪每一次自动访问请求, 还能自动完成小额扣费, 这个系统预计在2027年完成测试, 到那时将会彻底改变互联网的数据流通规则。

传统巨头加速转型

就在这个时候, 包括谷歌之流的传统互联网大公司也在奋力促使用户行为发生转变。那谷歌所推出的AI概述以及AI模式功能, 当下已然吸引了全球数量超过20亿的用户去使用。这些功能能够直接把网页内容予以智能归纳, 用户不用逐个去点击链接便能得到答案。

这表明着, 用户用以获取信息的方式, 正从传统的网页浏览, 朝着AI总结快速迈进。倘若这种趋势得以持续, 那么未来人类直接访问网站的比例, 有可能继续下降, 最终会稳定在30%左右。网站所有者务必提前适应这种崭新生态, 重新谋划流量变现策略。

基础设施升级刻不容缓

顺应AI流量呈现出的井喷态势, Cloudflare正不遗余力倾力拓展新一代网络协议, 致力于其深度研发与建构。该协议会嵌入流量认证、访问控制以及自动结算功能, 旨在达成: 使网站所有者凭借如此协议, 像经营店铺那般有条不紊地管控归属自身的数据资源。普林斯持有这样的观点与认知视角: 对抗思维彰显出陈旧过时属性。因而网站应当把机器人流量成功转化为具备无限潜力的商业机遇, 此乃当下所需践行之方向。

照技术层面来讲, 往后每个网站都得去部署智能流量识别系统了, 该系统要能够把人类用户跟各类自动工具区分开来。与此同时呢, 还得有配套的支付接口以及合约模板, 以此方便双方能够快速达成数据使用协议。而这套基础设施预计会在2027年初步形成样子。

AI爬虫频繁抓取, 你当下的网站是否遭遇此种情况, 在评论区分享你的经历, 点赞并将其转发以使 More 站长看到此倾向, 那你会思考针对这些智能体收取数据使用费的事情吗?