返回首页
最新
展示HN：我的AI投资操作系统 – 8个AI就7个实验进行了投资辩论，我将它们的共识转化为一个免费的5个问题诊断工具和提示库。
有没有人弄明白如何在内核级别保护大型语言模型（LLMs）？
我不确定是否有人需要阅读这些内容。我知道我会需要，只是想要一些停顿的时间。如果你愿意的话，算是一个沉思的时刻。因此我写了这篇文章。
我需要全面了解全栈软件工程，最好是全面掌握。这意味着从硬件到你选择的任何编译语言的所有内容，包括网页、应用程序、桌面软件，所有这些。全栈不仅仅是网页的后端/前端。我认为这个技术栈的深度和广度远不止于此（我想到了这幅XKCD漫画[1]）。
但是，当我了解了所有这些之后，我还需要知道如何安全地进行开发，对吧？所以我也需要了解相关的安全知识。
接着，我需要了解最佳实践，比如持续集成/持续交付（CI/CD）、六边形架构、测试，以及开发者文化中提出的其他各种方法（例如，Smalltalk社区和JavaScript社区在扩展基类方面并不一致）。还有很多其他的内容。
我需要了解数学，不一定要全面掌握，但至少要达到能够阅读机器学习论文的水平，并尝试提出一些潜在的新想法。
还有人工智能本身的话题！了解其背后的数学很不错，但如何在混乱的数据源和数据管道中进行<i>应用</i>呢？这些通常并没有清晰的框架。
这仅仅是我作为软件工程师的职业需求。我还有创业的雄心。
市场营销、法律、金融、人力资源、急救（你永远不知道！）、人类本身、经济学。这个清单真是令人眼花缭乱。当然，我知道作为一个创业者，你可以在这些领域中采用80/20原则，但这依然让人感到眩晕。
此外，我还对这个世界上几乎所有的学习内容都充满兴趣。我有一些特定的兴趣，但即使超出了这些范围，我也总是喜欢听听相关的课程，或者与那些对这些领域充满热情的人交流。我随时都愿意倾听。
物理、医学、音乐、艺术、体育、科学、沉思传统与科学的互动。是的，甚至我的动漫兴趣也涉及到这一部分，因为它是了解日本文化的一个绝佳途径。我不在乎你怎么说，这确实有效。我希望其他文化也能对我有如此强烈的吸引力，但目前来说，美国文化（好莱坞）和日本文化（动漫）是我最感兴趣的。
在很大程度上，我的思维要求我与这些领域保持同步和更新。
这真是太多了。通常来说，这也很有趣。但确实是很多。
我知道我永远无法赢得这个游戏，但尝试的过程很有趣。随着我年龄的增长，科技不断进步，我感到难度也在增加。但我绝不会停止，因为我热爱这个游戏。
只是想把这些分享出来，希望能引起一些人的共鸣。
[1] https://xkcd.com/2347/
CHATGPT 目前无法使用。
正在进行调查。https://status.openai.com/
我最近在思考当前深度学习的核心低效时，了解到神经形态计算。<p>如今，人工智能在很大程度上依赖于超密集的层次、各层和神经元的持续计算，以及全局反向传播来寻找最佳的权重更新。然而，当你观察人脑时，发现这些并不存在。<p>大脑的运作原则与现代大型语言模型（LLM）形成鲜明对比：<p>- 局部演化：神经元在很大程度上是独立的，基于其局部环境和简单的反馈回路（如神经递质，例如多巴胺）而演化，而不是依赖于全局误差信号。
- 极端稀疏性：系统极其稀疏（神经元只有在参与发放链时才会演化和更新）。
- 事件驱动处理：神经元只有在被评估时才会发放，并且实际上是被其他发放的神经元触发的。<p>相比之下，我认为当前的LLM似乎是通过同时训练所有层和神经元，强行解决问题，并试图找到最佳的全局更新函数。<p>如果你观察过去几年人工智能进步的轨迹，会发现一个明显的模式：<p>- 2020–2022：扩大数据集和原始计算能力。
- 2023–2024：扩展上下文窗口并转向专家混合模型（MoE）。
- 2024–2025：链式思维和推理时的推理。
- 2025年至今：自主执行和并行多智能体系统。<p>从根本上说，这些进展无一例外地只是扩大计算和处理令牌的不同方式。因此，这种扩展在某个时刻自然会遇到瓶颈，因为电力并不是无限的。这就是为什么我相信，长期的进步不能仅仅依靠无止境的扩展。我们需要的是根本性的效率提升。那么，神经形态处理是否正是这种解决方案，还是说它尚未成熟呢？