AI技术、操作系统AI研究、去中心化AI（DeAI）努力与开源历史

作者：@yb_effect

编译：白话区块链

想象一下，你已经盯着这副超酷的拼图很久了，终于决定买下来。它就摆在你面前，所有的拼图块都齐全。你已经准备好咖啡，开着背景音乐，屋里没人，只有你和这副拼图，你有什么想法？

问题是——它实在是太让人不知所措了。该从哪里开始呢？我是不是很傻……为什么这些拼图块怎么都不合？

不过，冷静下来理智地想了想，我发现首先我得先根据拼图块属于哪个区域进行初步的分类。然后，先连接一些简单的部分，获得一些小小的启发，再依此类推深入探索。这基本上就是我过去一周的经历。

这副既让人沮丧又令人愉快的拼图叫做“去中心化与开源AI”。

我未来几个月的目标是成为“去中心化AI（DeAI）”的专家，而且我想成为能将这两个领域粘合在一起的主题专家，通过深入了解开源AI和去中心化AI前沿的最新发展，来实现这一目标。

这意味着既要有深度，也要有广度——我不希望在这个领域有任何一个知识点是我不了解的。

今天的帖子，我想分享一下我如何实现这个目标的框架。下面是我认为最有意义的“拼图区域”，以及每个区域的简短思考和待办事项清单。

主要分为以下几个部分：

AI基础：赶上进度并不难
开源AI社区：开源到底落后多少？
去中心化AI：黄金篮子是什么？
开源历史：有哪些关键的学习经验？

让我们深入探讨一下。

 

1、AI基础：赶上进度并不难

 

我本周开始尝试写一篇关于Nous Psyche的文章。显然，我是从阅读文档开始的，甚至在高层次上大致理解了大部分内容。
但我并没有真正理解它。

于是，我决定阅读Nous Distro的论文，认为这可能对我有所帮助。即使这样——借助ChatGPT的帮助——我也能在高层次上理解它。
但我还是没有没有真正弄明白。

这让我意识到，自己在AI知识上有个明显的空白。如果没有掌握基本的AI概念，我是无法得出新的见解的。于是，我决定跳进深水区。我从Karpathy的著名LLM（大语言模型）入门讲座开始。做了笔记后，我信心大增。很多在Twitter和播客中听到的术语开始变得更有感觉。

作为一个天生的数学爱好者，我决定更深入地理解神经网络和变换器（Transformers）的工作原理。于是，我疯狂观看了3blue1brown关于LLM的完整系列。

到这个时候，我已经非常兴奋了，对许多AI概念开始有了清晰的认知。如果你和我一样，你一定能理解，当你无法完全理解一个新概念的整个体系时，那种烦躁的感觉（我当时还没完全搞明白，但终于进入了那个兔子洞）。

然后！就好像技术之神在听我的心声一样。当我刚看完那些视频，Andrej Karpathy就发布了一段3.5小时的视频，内容涵盖了你可能想了解的所有关于LLM的中级知识，简直是太及时了。

相信我，当我说这句话时…如果你正感到AI领域的冒充者综合症，我保证这段视频能单枪匹马地帮你解决这个问题。我才看了2个小时（进度很慢，还在做笔记），但我已经可以说，这是我看过的最棒的教程视频之一。

看到他在视频中使用的工具和资源，真的帮助了我很多：

• FineWeb：基本上是通过爬虫为你压缩的“互联网数据”。
• Common Crawler：一个开放的仓库，用来抓取所有的互联网数据。
• Tiktokenizer：选择一个模型，你可以在纯文本和token之间转换。
• BBY Croft：一个出色的LLM可视化工具，帮助理解训练过程。
• GPT-2 from scratch：Karpathy的仓库，可以从零开始做一切。
• Hyperbolic：无需设置即可访问预先托管的模型。
• UltraChat：用于后训练过程的合成数据改进仓库。
• Nielsen\’s Textbook：跟着3blue1brown的例子做，进行实际操作。

在完成了上面LLM教程的最后一小时后，接下来的计划如下：

• √熟悉Hugging Face
• √跟随ChatGPT-2教程，从零开始运行
• √简要阅读Llama和Deepseek论文，了解开源SOTA模型
• √阅读Leopold的情境意识论文

澄清一下，AI基础部分是一个需要更大预热的阶段，我现在正处在这个阶段。一旦我的基础知识清晰了，接下来就是跟进最新的论文和发布内容。就像学习加密货币时，你也得先进入那个“兔子洞”。

 

2、开源AI社区：闭源竞争者落后多少？

 

我知道最近围绕Deepseek和开源的炒作很多，但我仍在努力弄清楚我们在开源AI发展的具体进展到了哪里。

幸运的是，Lex Fridman本周的播客让我认识了Nathan Lambert和他在Ai2的工作。Nathan过去几年一直是开源AI的倡导者，他写了一篇出色的Substack文章《Interconnects》，涵盖了开源AI世界中的许多动态。
就在昨天，他发布了一篇文章，讲述了为什么他认为最近的Deepseek新闻应该成为美国人加大对开源投资的一个巨大警钟。

文章的核心观点是，过去30年里，中国一直在复制西方的技术并改善其边际效益。但在这场当前的AI竞赛中，很明显，他们正试图成为传播创新的一方。所以，如果美国公司不努力开源他们的模型，其他国家（包括美国人）将很快采纳中国的技术。

文章中让我意识到现实的一段话是：

构建强大的AI模型要比围绕AI建立一个可持续的开源生态系统容易得多。
建立一个更好、真正开放的AI生态系统是我过去几年的毕生事业，我显然希望它能够进一步繁荣，但越接近当前开源生态系统的核心，你就越知道，这并不是理所当然的，因为进行相关AI训练的成本正在飙升（看，我知道DeepSeek的计算成本很低，但这些组织可不是轻易就能成立的），而且许多监管机构正在迅速行动，以便在AI领域抢占先机，这可能无意中阻碍了开放的进程。
是的，效率在不断提高，成本也会下降，正如DeepSeek V3所展示的那样，但在前沿训练真正开放的模型并没有变得更容易。

具体来说，“越接近当前开源生态系统的核心，你就越知道，在进行相关AI训练时，成本并非理所当然。”

说实话，我第一个承认，我对开源AI领域的具体情况并不完全了解。但！我必须说，令我感到惊讶的是，本周我阅读的像Nathan和Tim Dettmers这样的开源AI研究者的文章中，竟然完全没有提到加密货币的任何内容。
他们可能并不看重加密行业，觉得它充满了骗局、骗局、各种问题。但我并不认同这种看法。

在阅读Nathan的文章时，我不禁注意到，他提出的核心问题其实是一个成本问题。如果真是这样，那么毫无疑问，加密激励机制能够大大提升开源研究的效率。

那么，难道他们已经考虑过加密货币，并得出了“不值得投入”的结论吗？还是他们只是普遍回避加密领域？

如果是前者，我希望能看到一些实际的例子。如果是后者，那就是他们的盲点，我希望能加以强化。
不管怎样，我才刚刚触及开源AI领域的表面，但Lambert的工作无疑是一个很好的起点。

有一点让我十分清楚，那就是这些开源AI研究者与加密行业的从业者其实在讨论着相似的问题。我在上周五的文章中提到过，开源AI面临的挑战与比特币非常相似，毫无疑问，这两个社区（加密和开源AI）需要更多的合作。希望我能在这方面做出贡献，帮助弥合这个鸿沟。

这个象限的任务清单：

• √观看Lambert在哈佛法学院关于开源AI的演讲
• √了解Ai2的工作和目前的进展
• √找到和Nathan/Ai2类似的公司和研究人员，全面了解开源AI的现状（并建立Twitter列表）
• √理解不同类型的许可证及其影响（例如，Amazon需要为Llama支付Meta费用，而Deepseek使用MIT许可证，更加“自由”）
• √从Lambert类型研究者的角度，形成一个关于开源AI现状的观点。尽量搞清楚目前的主要瓶颈，并了解他们认为哪些解决方案是有效的（排除加密货币的偏见）

 

3、去中心化AI：什么是“黄金篮子”？

 

在开始这一部分之前，我建议大家花10分钟阅读这篇文章，了解为什么AI特别需要加密货币。我在之前的文章中已经讲过核心观点，但我认为@dbarabander做得非常棒，清楚地把过去、现在和未来的关系讲解得很明白。

来源：https://variant.fund/articles/why-good-ai-needs-crypto/

他精准地指出了开源AI面临的资源问题，并解释了为什么加密货币能够解决这个问题。

有一点引起了我的注意，那就是在审阅和编辑这篇文章的人。在感谢部分，我得到了一个很有价值的公司名单，这将成为我在掌握AI基础知识后，深入了解去中心化AI领域的起点。需要注意的是，我知道这些信息因为个人利益关系可能会有一些偏见，因为Daniel在Variant工作，但无论如何，这些信息对我还是很有帮助的。

最近我一直在思考一个问题，那就是AI领域的人们对去中心化AI（我们所说的加密货币）公司有多了解？

我现在还没有答案，但我得承认，看到Andrej Karpathy在他的新LLM教程视频中使用Hyperbolic，真的很酷（感谢@Yuchenj_UW提醒我这一点）。

你可能会想……YB，为什么你理解这些去中心化AI公司要这么久？好吧，正如我之前提到的，像Nous Psyche一样，我被我的AI知识瓶颈所限制。例如，48小时前，我根本无法理解下面这条推文的意思。

但是！我可以自信地说，随着我完成AI基础知识的快速学习，我将在接下来的两周内快速了解这些公司，并形成自己的观点。

我的目标是创建一个去中心化AI公司的“黄金篮子”。如果我只能投资这5家初创公司，我会选择哪些？为什么？接下来，我的计划是成为这些团队最大的支持者。到目前为止，我已经在过去几个月的文章中多次提到的两家公司——Nous和Prime，可能会在我的投资名单上。

@0xPrismatic，一位朋友和加密与AI领域的同行，正在通过他的新闻通讯精彩地介绍这些公司，我也迫不及待地想开始阅读他的入门文章。如果你还没看过《Chain of Thought》，一定要去读，非常值得！

总的来说，去中心化AI的核心论点是：我们的任务就是让这一切成为现实。

具体来说，这是@krybharat的完美总结，两个具体领域是：
1）去中心化和激励型开源模型聚合器
2）提供近实时数据访问的去中心化数据提供者

因此，以下是这一部分的待办事项清单：

• √下周浏览Nous、Prime和Hyperbolic，并发布推特总结
• √阅读Ronan的文章《去中心化AI能否竞争？》
• √查看是否有其他DeAI公司被AI研究者提及或使用（例如Hyperbolic-Karpathy类型的例子。我知道Nous被广泛讨论，但也要检查其他公司）
• √开始阅读CoT入门文章中的资源
• √更深入了解Teleport和Nous在TEEs方面的工作
• √撰写我自己的关于“为什么加密需要AI”的观点，并创建黄金篮子

 

4、开源历史：有哪些关键的学习经验？

 

最后，聊聊开源。我会简短说一下这一部分。虽然严格来说了解开源历史不是必需的，但我认为花时间学习开源的历史，能帮助我更好地理解为什么DeAI的斗争如此重要。

说实话，我不够老，记不住Linux时代或2000年代初期那个开源是常态的计算机时代。我是在Facebook、Twitter和Uber时代长大的，对我来说，中心化平台一直是默认选择。

所以，我想了解一下过去开源发生了什么，从那些例子中学到些什么。

前几天，我在听BG2播客时，Bill Gurley将Meta的Llama战略与MongoDB等公司的历史做了比较。我觉得这个对比非常有趣，真的想深入了解其中的细节。很多老读者知道，我对技术历史充满兴趣，所以这一部分刚好能让我把过去与现在的情况做一些对比。

我相信，这不仅能帮助我在这个领域获得独特的见解，还能让我在成为加密与AI交叉领域的专家时，更加与之契合。

我还要阅读《Working in Public》 和《Cathedral and Bazaar》。

如果你看到了这里，我猜你和我一样，对DeAI领域充满激情和兴奋。如果你想加入一个讨论组，和我们这些疯子一起学习DeAI、探索上述资源，可以私信作者。