最新

有一句话说：“上帝创造了人，但塞缪尔·科尔特让他们平等。”人工智能有时也能产生类似的效果。在我见过的一个企业系统中，使用工具每周40小时的人与每周仅使用2小时的人的差距在引入人工智能代理后几乎消失。我还看到，在每个人都获得慷慨的Cursor订阅后，10倍开发者与普通开发者之间的差距也缩小了。 与此同时，最近关于Anthropic的Claude Fable 5和Mythos级模型的公开报道表明，最强大的系统可能会通过有限访问的项目或高级渠道推出，而不是广泛而均匀地分发。 历史上，能够负担得起当时最佳技术的人往往决定了谁能够掌权。在古希腊，重装步兵是普通的自由公民，他们自费购买装备，将军事服务与公民参与紧密联系在一起。类似地，殖民时期的美国民兵将武装服务融入日常社区生活。相比之下，晚期中世纪欧洲盔甲、战马和军事训练的高昂成本将军事权力牢牢掌握在少数富人手中——这导致了雅典和早期美国的民主传统，同时在整个中世纪欧洲加强了专制统治。 因此，在我看来，人工智能是否成为一种平等化的工具，或者成为加大有无访问差距的工具，都是一个重要的问题。

在将动态上下文包含在代理线程中时，我发现缓存利用率不高。经过大量实验，我找到了一种良好的模式，可以最小化长期对话历史被修改的频率，同时仍然支持动态上下文。这个模式提供了灵活的钩子，可以在将消息转移到长期历史时进行截断或总结工具输出。我发现尽管包含了大量动态用户上下文，我的代理仍然有超过90%的令牌命中缓存。 代理提示策略有很多种，我很想听听这个库在哪些方面表现良好，以及在哪些模式不太适合当前的API！

我对分发Java应用程序的挫败感并不是最近才出现的。我记得在2000年代时实现了我的第一个网络JAR，因为我需要类似Applet的功能支持，同时又希望能够完全控制桌面。多年后，问题依然如故。Webstart并没有真正起飞，而我在项目中唯一能用的就是那些丑陋的fatjar，包括（对我而言）更丑的Spring Boot重新打包，这改变了应用程序的类加载行为，给我带来了意想不到的麻烦。 所以，基本上，Nuts是我9年前对这种挫败感的回应，但现在我认为它已经足够成熟（在生产环境中使用）可以分享，并且我迫切希望能从其他贡献者那里获得建议和帮助。

上周四，DeepMind 发布了 Magenta Realtime 2，一个开源的音乐生成模型。他们表示该模型可以在 Mac 上运行，但无法在 iPhone 上使用。 作为一个对编码充满热情的人工智能爱好者，以及一个曾经让 iPhone 融化的人（链接见底部），我将此视为个人挑战，并把它作为我的周末项目。 星期六，我成功让一部 2020 年的 iPhone 12 Pro 连续运行了 10 分钟，没有让手机过热，甚至 - 令人震惊的是 - 没有触碰 GPU。 我是怎么做到的呢？我将模型拆分成 5 个部分，并让它们分别在苹果的系统芯片（SoC）的不同部分上运行。 我过去的经验告诉我，如果能够充分利用，iPhone 的神经处理单元（NPU）是非常强大且高效的。如果你在没有风扇的设备上进行长时间的实时生成，就必须使用神经引擎，否则设备会过热。 请参见： [我们为了科学融化了 iPhone](https://accelerateordie.com/p/we-melted-iphones-for-science) 苹果的神经引擎有很多限制，主要是它只接受固定形状的输入，并且仅支持某些架构——这就是我将模型拆分的原因。 但它确实有效！而且我没有手动写一行代码。以前在我经营风险投资支持的公司时，我需要一小组脾气不好的老工程师来完成这项工作，而且通常需要 2 到 6 周的时间。现在我可以满足自己的技术爱好，自己来做这些事情。 接下来：我正在开发一个 iPhone 应用，它可以结合你的心率、运动数据、位置信息等，实时生成你生活的背景音乐。 活在这个时代真是太棒了！