从 Web 时代的搜索引擎小蜘蛛与 Robot.txt，到电商平台对爬虫态度的反转，流量的聚合与分发一直在换主人。AI 时代这套逻辑被推到哪一步，用一串层层递进的问题就能推完。

我昨天在知乎看到一个问题，写了一半，然后困了，就去睡觉了。

那个提问大概的意思是：

『马云说「AI 电商时代刚刚开始，对谁都是机会，也是挑战。」你怎么看？』

这个问题其实比表面上看起来有价值，所以我想单独写一写。

这次，我用问题来组织，前一问是后一问的基础，直到推导完成。

互联网的流量是如何被聚合和分发的？

在 Web 时代，人们打开 Google、Baidu，输入关键词，从搜索的结果里去挑选他们需要的，最终进入他们认为适配的站点。

Web 时代的流量聚合和分发中心就是搜索引擎。

那么，搜索引擎的内容从哪儿来，它怎么知道哪儿有什么内容是可以满足人们的需求的呢？

答案很简单，从 Web Pages 来。

你是电商也好、聊天室也好、软件下载站也好、论坛也好，都有一套 Web Pages，这套 Pages 上有各种各样的内容，搜索引擎会派出它的小蜘蛛们（Spider），去各个 Pages 上爬，再把爬到的信息，带回「家」，告诉搜索引擎，我今天去了哪儿，那里有什么东西。

Web Pages 越来越多，就出现了，有些页面的拥有者欢迎小蜘蛛到家里来做客，于是就在门口贴告示，喜欢您来，喜欢您常来，我这儿每天都有新东西；而另一些人就不想让小蜘蛛进家门，也在门口贴个告示：小蜘蛛和闲杂人等非请勿入。这就是 Robot.TXT 的协议文件。

电商最早的时候，当然是欢迎小蜘蛛们的，因为它一来一回，就会把我这个电商平台上有什么东西在售卖的信息，交给搜索引擎，当有人想买这个东西的时候，搜索引擎的结果里就会显示我这个平台上有的卖。

你看，如此一来，非常合理且自然的运转逻辑就出现了：

搜索引擎会收录网民需要的信息 → 网民会来这里搜索 → 搜索结果对网民来说是开盲盒 → 排名越靠前就会越早被网民开出来 → 信息越匹配就越容易成交。

于是，两条商业线被构建了：

1. 我帮你优化你的 Web Pages，让小蜘蛛更愿意上你家里来爬，让你的信息和内容更快被搜索引擎获取，你的排名会越靠前，你的用户会越多，生意就有机会变大；
2. 搜索引擎出售广告位，如果你优化得不那么好，但是你肯出钱，我也可以把你放在更靠前的位置，让更多用户能首先看到你，你的用户就会越多，生意就有机会变大。

这个时候，整个 Web Pages 构成的互联网信息宇宙，就是一个大的公共空间，唯一的路牌就是搜索引擎的指向，为了大家和谐相处，搜索引擎自己不生产额外的内容和信息，不和信息宇宙的供应商竞争。

所以，我们说，Web 时代，搜索引擎构成的信息网络，是公域，搜索引擎的结果是指挥棒。

这是整个互联网流量故事的起点。

那么，作为世界上人口最大的两个国家，也是唯二有真正意义互联网的国家：美国和中国有什么不同呢？

差别就在于：他们的玩家选择的玩法不同，最终从一个起点出发，走向了不同的路径。

移动互联网，中美玩家各自做了什么选择？

2008 年，淘宝在自家门口贴了告示：百度的小蜘蛛，别来了。这是一个标志性动作，意思是：我自己就是流量中心，我不需要你帮我分发，更不想让你拿走我的数据。

之后的故事大家都熟悉。

微信公众号的文章，百度基本搜不到；抖音、小红书的内容关在 App 里。

每个超级 App 都把自己变成了一个独立的「信息宇宙」，自带搜索，自带分发，自带广告系统。

公共空间被切成了一个个私家花园——这是私域的起源，也是公域的崩塌。

但是这里的私域，并不是社群之类的，而是每一个超级 App 自己希望成为流量的聚合和分发器，所以，在商家们看来，这些超级 App 是公域，而自己搭建的社群，才是属于自己的私域——殊不知，社群功能本身也长在超级 App 身上，所谓的「私域」只是一种幻象而已。

那，结果是什么？

中国的独立网站越来越少。根据 CNNIC 的统计报告，中国的独立网站数量曾经已经来到了第三个周期的开端。

第一个周期，从 1997 年到 2009 年，从 1500 个站点一路向上，达到 323 万个；

第二个周期，2010 年前后因为互联网安全治理和域名规范化政策，水分被挤出，独立网站当年降到 191 万个，随后的 8 年再次高歌猛进，于 2017 年达到顶峰的 533 万个，到 2018 年稍微降低到 523 万个；

第三个周期，2019 年开始，由于超级 App 崛起，独立网站一路下滑到 2022 年的 387 万个，而从 2024 年开始，独立网站突然开始伴随 AI 浪潮的兴起而抬头，截止到 2026 年，已经回升到 438 万个，大概相当于 2015 年前后的水平。

但是请注意，虽然独立网站的数量起起落落，可从数量上看内容并没有变少，反而因为社交媒体的存在而爆炸了。只是它们不再静静待在公开的 Web Pages 上，而是长在 App 里。

与之相对的是，虽然美国的 App 也很强势，但 Web 一直没死。亚马逊的商品页、Reddit 的帖子、维基百科、各种独立博客和品牌官网，搜索引擎照样能爬，照样有排名。App 和 Web 是并存的。

这就是中美两种互联网的分叉起点。

AI 是怎么「知道」这个世界的？

简单的说，AI 通过两条「腿」来完成对「世界」的认知。

第一条是「在家里练」：大模型在训练时读了海量的公开文本，绝大部分来自公开网页——当然也有 OCR 识别的书籍、文献之类。

第二条是「在网上搜」：用户提问时，AI 现场去网上搜、去读，再把读到的东西组织成答案。

你看，两条腿都踩在 Web Pages 上。

中文 AI 会遇到什么问题？

公开网页里，高质量的中文内容太少了。真正有价值的经验、评测、讨论，大量在公众号、小红书、抖音、知乎里，很多是第三方 AI 拿不到的。

所以，你现在看到很好玩的现象：超级 App 都有自己的 AI Agent，可原来那个叫百度的搜索引擎，它的文心，听不见消息很久了。

这就是中国玩家做出的「中国式 AI 范式」：把自家的内容喂自己的 AI。

元宝没法去看抖音、头条，更没法给你推荐淘宝上评价最好的店铺；

豆包不认识视频号上的大 V，无法告诉你公众号里谁的鸡汤写得点赞最多；

千问只能帮你点淘宝闪购的外卖，没法告诉你类似的品，可能美团上面有更便宜的团购。

所以，我猜测，未来的 AI 分发，在中文互联网里，大概率也是割据的。

AI 作为分发器，和搜索引擎一样吗？

答案是，不一样，而且差别很大。

搜索引擎给你的是一排排盲盒，你得自己点进去开。所以排名靠前，就意味着流量。

AI 给你的是开好的盒子。它读完十几个网页，直接告诉你答案，你大多数时候不用再点进任何一个网站。

还记得前面说的那条规矩吗？

搜索引擎不自己生产内容，不和信息供应商竞争——一定意义上它就是个路标。

但 AI 把这条规矩打破了——它也会组织内容，所以它既是路标，也是终点本身。

所以，在 AI 时代，被看见的方式变了：不是「被点击」，而是「被引用」「被推荐」。

用户可能一辈子不会进你的网站，但他听到的答案里，有没有你的名字、你的产品、你的说法，这才是关键。

所以，「复古」，到底要复什么？

千万别误会，我可不是说你要回到 2005 年，哼哧哼哧去建一个官网就行了——毕竟 AI 要读 Web Pages 呀！

并非如此，一个官网只是当下最便宜、最简单的一个基础动作，但是它不仅不是唯一的「必选项」，反而是你必须的「基础设施」之一。

一方面，在开放网络上：品牌官网、产品参数页、价格说明、常见问题、真实案例。写清楚、写结构化、写成 AI 一读就能引用的样子。这是给第三方 AI 和独立 AI 搜索准备的通用材料。

另一方面，在各家生态里：如果你希望豆包推荐你，就得在抖音和头条上有足够多、足够准确的内容；如果你希望元宝提到你，公众号就得有东西可读，视频号你就得考虑也要同步更新，甚至搜一搜这种边角料你都必须利用起来。

这才是我说的「复古」的意思：面对 AI 时代，如果你想保住增长，找到机会，你就必须要思考去补一层机器能读懂的信息，这里面既有公开的信息，也有针对性的私有信息。

说白了：过去你的内容是写给人看的，现在还得写给 AI 看。

而中文互联网的特殊之处在于，「给 AI 看」的地方有好几个，一个都不能少。

最后的话

回到马云那句话，其实对所有人都有机会，也有挑战的，并不仅仅是 AI 电商，而是整个 AI 时代。

机会在于，排序规则重写了。

搜索时代，排名靠的是 SEO 积累和广告预算，大品牌占尽优势。

AI 时代，谁的信息更完整、更准确、更容易被 AI 理解和引用，谁就更可能出现在答案里。

这给了中小品牌一个重新排位的窗口。

挑战在于，这件事没有人会替你做。

那些在移动互联网时代被遗忘被丢弃的信息层，你得自己一块一块补回来，就这么简单。