From 39daf83b0d755b4188ac2b4dcc267edee030afb3 Mon Sep 17 00:00:00 2001 From: eltrac Date: Tue, 31 Mar 2026 21:50:41 +0800 Subject: docs: update draft --- content/article/search-engine-problem.md | 44 +++++++++++++++++++++++++++----- 1 file changed, 37 insertions(+), 7 deletions(-) diff --git a/content/article/search-engine-problem.md b/content/article/search-engine-problem.md index b573b4cc..cb93e7c6 100644 --- a/content/article/search-engine-problem.md +++ b/content/article/search-engine-problem.md @@ -34,7 +34,7 @@ toc = true > The Encyclopædia Britannica could be reduced to the volume of a matchbox. A library of a million volumes could be compressed into one end of a desk.
> 大英百科全书可能被缩小到火柴盒的体积。藏书百万的图书馆可能被压缩进书桌的一端。 -这么多的信息被压到一起，如果没有完善、稳定且能处理庞大问题的搜索系统，便毫无用处。*嗯？你以为我要大谈人工智能和大语言模型的历史？那你想错了，这篇文章的主题是搜索引擎。* +这么多的信息被压到一起，如果没有完善、稳定且能处理庞大问题的搜索系统，便毫无用处。布什接着提出了 memex 归档信息的设想。 > When data of any sort are placed in storage, they are filed alphabetically or numerically, and information is found (when it is) by tracing it down from subclass to subclass. It can be in only one place, unless duplicates are used. > @@ -44,7 +44,7 @@ toc = true 从 memex 的愿景来看，它的确很接近如今的搜索引擎：全人类的信息被索引，放在同一个地方，用很小的设备就能查阅。不过很可惜，memex 只是个假设，布什描述的机械结构应该造价很高，在他提出这个想法的不久后计算机也问世了。 -*咦？说好的会思考的机器呢？原来那个时候的新闻报纸也已经学会用标题哗众取宠造势了，把信息检索称作思考，和把统计规律称作思考，真是难以分清区别呢。* +*咦？说好的会思考的机器呢？原来那个时候的新闻报纸也已经学会用标题哗众取宠造势了，把信息检索称作思考，和把统计规律也称作思考，都是把黑说成白的广告修辞罢了。关于大语言模型究竟会不会思考，可以阅读《[思考是碳基生物的特权吗？](/essays/thinking-privilege/)》。这篇文章的主题是搜索引擎，就不展开了。* ## 万维网问世以前 @@ -88,17 +88,17 @@ Gopher 本身不是搜索引擎而是搜索协议，它催生了名为 Veronica 就像 Telnet 一样，如今还有一些爱好者在维护 Gopher 服务器，或许你也可以给自己的网站做一个 Gopher 目录供人搜索呢？ -## 从古法手挑到网络爬虫再到算法统治 +## 从古法手挑到网络爬虫再到排名算法 万维网的信息那么杂乱，而且已经有前人指路，维护搜索引擎并不难，想必万维网的使用者在一开始就会做出类似的东西吧！ -没有。一直到 1993 年夏天，他们都在古法手选，也就是维护目录（Catalog）网站，按照主题把网页链接放在一起。后来，一个叫作 W3Catalog 的搜索引擎从这些高质量的目录网站上镜像内容，然后统一格式，整理成独立的条目以供搜索。W3Catalog 没有用户界面，是用 Perl 写的，在 1996 年就关停了。 +没有。一直到 1993 年夏天，他们都在古法手选，也就是维护目录（Catalog）网站，按照主题把网页链接放在一起。后来，一个叫作 W3Catalog 的搜索引擎从这些高质量的目录网站上镜像内容，然后统一格式，整理成独立的条目以供搜索。W3Catalog 没有用户界面，是用 Perl 写的，在 1996 年就关停了。不过，`w3catalog.com` 这个域名被收购，现在仍能访问，人工收集和整理了一些互联网上的高质量内容，最近一次更新是 2025 年 9 月。 在 1993 年六月，MIT 里一个叫作 Matthew Gray 的人发明了世界上第一个网络爬虫（大概是第一个），编程语言也是 Perl。它的作用是「测量万维网的大小」，一直到 1995 年关闭，它都在记录万维网的增长。它会对万维网进行索引，索引的名字叫作 Wandex（*你们怎么都喜欢用 Index 造词？*）。不过，尽管有潜力，这个名为万维网漫游者（The World Wide Web Wanderer）的网络爬虫并没有成为第一个万维网搜索引擎，它只是在测量而已。 -此后还出现了 Aliweb（和阿里巴巴没有关系）、JumpStation 和 WebCrawler 等大大小小的万维网搜索引擎及爬虫，考古虽然很好玩，但一一列举就显得有些冗长了。我们直接跳跃到 1995 年（好像也没有跳多久呢……），那时雅虎给自家的第一个产品 Yahoo! Directory（雅虎目录）增加了搜索功能，即 Yahoo! Search，成为了在万维网上搜索内容的最流行的方式之一。后来也出现了许多类似的产品，不过它们都是基于目录的，用户只能在他们的目录里搜索，不过除了搜索，还可以直接查看目录，不仅仅只有搜索框。 +此后还出现了 Aliweb（和阿里巴巴没有关系）、JumpStation 和 WebCrawler 等大大小小的万维网搜索引擎及爬虫，考古虽然很好玩，但一一列举就显得有些冗长了。我们跳跃到 1995 年，那时雅虎给自家的第一个产品 Yahoo! Directory（雅虎目录）增加了搜索功能，即 Yahoo! Search，成为了在万维网上搜索内容的最流行的方式之一。后来也出现了许多类似的产品，不过它们都是基于目录的，用户只能在他们的目录里搜索，不过除了搜索，还可以直接查看目录，不仅仅只有搜索框。 -好玩的是，李彦宏（百度的创始人和 CEO）很快加入了战局，甚至比 Google 还早。他在 1996 年开发了一个名叫 RankDex 的页面排名算法，并提交了美国专利，后来他用这个算法成立了百度，与 2000 年在中国发布。 +好玩的是，李彦宏（百度的创始人和 CEO）很快加入了战局，甚至比 Google 还早。他在 1996 年开发了一个名叫 RankDex 的页面排名算法，并提交了美国专利，后来他用这个算法成立了百度，于 2000 年在中国启动。 后来就是 Google 的故事了，它从名为 `goto.com` 的小搜索引擎变成了商业化非常成功的大公司，大约在 2000 年占据主导地位。Google 开发了名为 PageRank 的算法，还在相关的论文里引用了李彦宏的 RankDex 算法。某种程度上，是百度影响了 Google，而不是反过来。这种算法的基本思想是，一个网页的反向链接越多，质量就越高，排名就越靠前，那些有更多人引用的网页会显示在搜索结果更靠前的位置。 @@ -113,7 +113,37 @@ Gopher 本身不是搜索引擎而是搜索协议，它催生了名为 Veronica 在 2009 年，Microsoft 将 MSN Search 重新包装为 Bing，也就有了如今的必应搜索。 -恐怖的是，直到现在搜索引擎市场都是受到极大程度的垄断的。根据 StatCounter[^2] 提供的数据，截止 2026 年二月，Google 占市场份额的 90.01%，Bing 占据 4.98%，第一个流行的万维网搜索引擎 Yahoo! 仅占 1.39%。 +这差不多就是近来搜索引擎的发展历史了，不过我刻意忽略了一小部分留到后文讨论。总结一下，自万维网问世并得到广泛应用之后，人们先是从维护手选的目录网站，再到搜索目录，然后发明了网络爬虫自动索引网站，最后发明了页面排行算法，这才造就了如今搜索引擎技术的样子。 + +## 咕噜咕噜的统治 + +前文我一直表现得十分中立（*好吧我确实嘲笑了微软*），接下来的内容就会更加观点鲜明了。 + +表面上看起来，许多企业都提供做搜索引擎服务，他们看起来好像差不多，都只是在搜索网页而已。尽管不少人声称谷歌得到的结果要比百度好得多（这或许是事实），但我们不觉得搜索引擎之间有什么本质区别，毕竟，它们看起来都是一个搜索框，输入一些文字之后会弹出相关的关键词，按下按钮或者回车之后就会展示搜索结果，仅此而已。 + +但只要仔细想想，就会发现搜索引擎是非常重要的基础设施。对许多人而言，搜索历史的私密性不亚于日记内容，而这些数据都会流经搜索引擎的服务器。这些企业会怎么对待这些数据？直接把他们删掉吗？当然不可能。尽管不是所有人都会注册和登录 Google 账号，搜索引擎（以及任何网络服务）为了牟取利益，都会跟踪用户，以此投放更精准的广告。 + +这是怎么做到的？很简单，如果你使用的设备、浏览器、IP 地址、是否使用暗色模式、安装了什么浏览器拓展，这些信息都基本一致，那网站（以及它们插入的广告）就会把你当作同一个人，并对你的浏览路径和行为进行分析。由于不同的网站会插入同一个提供商的广告（比如 Google Adsense），所以追踪器可以跨站追踪你，进一步挖掘你的喜好。就算不搜索任何东西，仅仅是浏览，都会被收集很多数据，很难想象搜索引擎能掌握的信息有多少了，更可怕的是，无论是广告还是搜索记录，都掌握在一个服务商手里——Google。可以说，如果你经常访问各种插入 Google 广告的网站并且使用 Google 搜索，Google 对你的了解可能已经远超你的亲人了。顺带一提，这些不怀好意的企业还会相互交易这些数据。 + +广告最可恶的并非对上网体验的负面影响，而是对隐私的极大侵犯。 + +如果你想说：“我没干什么坏事，只是在网上看点东西而已，为什么在乎隐私？”，可以阅读我在[第 15 期周刊](/weekly/15)分享过的[这篇文章](https://timsh.org/tracking-myself-down-through-in-app-ads/)，作者通过应用内的广告，分析网络流量和数据包，成功推导出了自己所处的地理位置。因为被迫观看个性化广告，导致所有人都有办法了解你的地理位置，这难道不是很可怕吗？不要总是想象坏事不会发生在你身上。 + +根据 StatCounter[^2] 提供的数据，截止 2026 年二月，Google 占市场份额的 90.01%，Bing 占据 4.98%，第一个流行的万维网搜索引擎 Yahoo! 仅占 1.39%。这个数据无论怎么看都很恐怖。难以想象 Google 这家企业掌握了多少用户数据，而现在还有一群人想尽办法把自己更私密的内容交给他们*善解人意的*大语言模型。 + +追踪器的问题或许可以通过拦截器（比如 [uBlock Origin](https://github.com/gorhill/uBlock)）或直接屏蔽广告域名的 DNS 服务器（比如 [AdGuard DNS](https://adguard-dns.io/)）解决大部分，但在勉强保证隐私的情况下，你也要面对一系列问题。 + +首先，广告不会消失。即便追踪你变得更困难了，但给搜索引擎广告费的服务商的内容总是会被展示在靠前的位置，并且它们不总是会被显眼地标记为「广告」。广告依旧会影响你的搜索体验，甚至潜移默化地操作你对某些品牌和事物的看法。我再跟不少人对话的时候，发现他们总是会毫无根据地发表一些观点，被要求解释的时候却说不出来，那些观点几乎都是从网上看来的，而现在的视频里几乎不会缺席广告带货，广告商试图灌输给你的观点总会找到进入你大脑的方式。搜索结果里的广告也一样。 + +其次，如今的搜索引擎会在毫无预警的情况下展示 AI 废料。在谷歌上搜索几乎任何一个概念，迎接你的不是维基百科或者别的什么可靠来源，而是大语言模型的一段总结。这为什么不好呢？常识是：或许可以把某些工作交给语言模型，但绝对不应该把它当作可靠的事实来源。如果关注事实真相，就不该使用这种把可靠性没有保证的内容放在第一位的搜索引擎。更何况，大语言模型很贵，如果人们默许每次搜索都会调用大语言模型执行大量计算，就为了给出简练的总结，那么世界上又会多好几座数据中心，内存和硬盘的价格也会只增不减，计算机会消耗更多的电力，会有更多的天然气被燃烧，会有更多的水资源被用于给服务器降温。 + +我没有在危言耸听，这些是已经在发生的事实。上个月《卫报》发表了一篇报道，题为《[受 AI 需求驱动，美国引领全球燃气发电量创纪录激增，令气候付出沉重代价](https://www.theguardian.com/environment/2026/jan/29/gas-power-ai-climate)》。关于水资源，不要跟我说什么服务器冷却水是封闭的循环系统，就算一个数据中心不会持续消耗水资源——这难道不是用水需求吗？难道没有成吨的水进入数据中心而不是进入人们的家里吗？难道这些水会被吐出来吗？难道数据中心建成之后用的水会变少吗？ + +关于大语言模型引发的 AI 热潮有什么问题，我可以讲一年，再写下去就太长了，我只希望 [AI 泡沫破裂](https://martinvol.pe/blog/2026/03/30/how-the-ai-bubble-bursts/)能早点来。我还想提醒那些抱有「我也不喜欢 AI，但 AI 总结我不看就好了」想法的读者，你的选择在经济学意义上具有价值，你的选择能决定市场需求，少一个人使用谷歌，他们就少一份钱赚；相反，无论你因为什么原因继续使用他们的服务，他们赚的钱都只会变多而不会变少。 + +人们经常开玩笑嘲讽百度和谷歌，说搜索结果的前几条永远是广告，却从没想过自己可以换一个搜索引擎。 + +## [^1]: 参见：[As We May Think - Wikipedia](https://en.wikipedia.org/wiki/As_We_May_Think) [^2]: 来源：[Search Engine Market Share Worldwide](https://gs.statcounter.com/search-engine-market-share3) -- cgit v1.2.3