最新

大家好，我是来自Cactus的Henry。我们开源了Needle，一个拥有2600万个参数的函数调用（工具使用）模型。它在消费设备上以6000个token/s的速度进行预填充，以1200个token/s的速度进行解码。 我们一直对在预算手机上构建自主模型的努力感到失望，因此进行了调查，得出了一个观察结果：自主体验是建立在工具调用之上的，而庞大的模型对此来说是过于复杂的。工具调用本质上是检索和组装（将查询与工具名称匹配，提取参数值，生成JSON），而不是推理。交叉注意力是实现这一点的正确基础，而在这个规模下，前馈神经网络的参数是浪费的。 简单注意力网络：整个模型仅由注意力和门控组成，没有任何多层感知器（MLP）。Needle是一个针对消费设备（手机、手表、眼镜等）进行单次函数调用的实验性运行。 训练： - 在16个TPU v6e上预训练了2000亿个token（27小时） - 在2亿个合成函数调用数据上进行后训练（45分钟） - 数据集通过Gemini合成，包含15个工具类别（计时器、消息、导航、智能家居等） 您现在可以在您的Mac/PC上测试并进行微调： [https://github.com/cactus-compute/needle](https://github.com/cactus-compute/needle) 关于架构的完整说明在这里：[https://github.com/cactus-compute/needle/blob/main/docs/simple_attention_networks.md](https://github.com/cactus-compute/needle/blob/main/docs/simple_attention_networks.md) 我们发现“无前馈神经网络”的发现超出了函数调用的范围，适用于任何模型可以访问外部结构化知识的任务（RAG、工具使用、检索增强生成）。如果事实在输入中提供，模型就不需要在前馈神经网络权重中记忆这些事实。实验结果将会发布。 虽然在单次函数调用上超越了FunctionGemma-270M、Qwen-0.6B、Granite-350M和LFM2.5-350M，但这些模型的范围/容量更大，并且在对话场景中表现更佳。我们鼓励您通过游乐场在自己的工具上进行测试，并相应地进行微调。 这是我们在Cactus（[https://github.com/cactus-compute/cactus](https://github.com/cactus-compute/cactus)）上的更广泛工作的一个部分，Cactus是一个为移动设备、可穿戴设备和定制硬件从零开始构建的推理引擎。我们之前在这里写过关于Cactus的内容：[https://news.ycombinator.com/item?id=44524544](https://news.ycombinator.com/item?id=44524544) 一切都采用MIT许可证。权重：[https://huggingface.co/Cactus-Compute/needle](https://huggingface.co/Cactus-Compute/needle) GitHub：[https://github.com/cactus-compute/needle](https://github.com/cactus-compute/needle)

嗨，HN，我们开发了开源项目 OSS Claude Cowork，作为 OpenClaw 的一个插件。它允许你创建实时工件（类似 Claude），这些工件可以连接到数据源，而不是数据集。（例如：自动获取 Stripe 数据）<p>其他工具（如 Paperclip 和 Multica）专注于任务管理，但我们的愿景是构建一个界面，感觉像你已经喜欢使用的 SaaS 工具。<p>这是一个开源项目，欢迎反馈。

嗨，HN，我们是Sai和Aayush，我们正在构建Hypercubic（<a href="https://www.hypercubic.ai">https://www.hypercubic.ai</a>），旨在将人工智能工具引入主机和COBOL世界。（我们去年做过一次Launch HN：<a href="https://news.ycombinator.com/item?id=45877517">https://news.ycombinator.com/item?id=45877517</a>。）今天，我们推出了Hopper，一个用于主机的自主开发环境。 您可以在这里下载：<a href="https://www.hypercubic.ai/hopper">https://www.hypercubic.ai/hopper</a>，您还可以申请访问并立即获得一个主机用户帐户进行体验。 此外，还有一个视频演示可在<a href="https://www.youtube.com/watch?v=q81L5DcfBvE" rel="nofollow">https://www.youtube.com/watch?v=q81L5DcfBvE</a>观看。 主机仍然在许多关键基础设施中发挥着重要作用：银行、支付、保险、航空公司、政府项目、物流以及大型机构的核心运营。许多这些系统已有数十年历史，但它们仍能处理巨大的交易量，因为它们可靠、安全，并深深嵌入业务运营中。 很多软件是用COBOL编写的，并运行在IBM z/OS上。开发环境与现代云或Unix风格的开发有很大不同。开发人员通常通过TN3270终端会话、ISPF面板、分区数据集、JCL、JES队列、输出缓冲、返回代码、VSAM文件、CICS事务和特定于商店的约定进行工作，而不是使用GitHub、命令行、包管理器和CI管道。 TN3270是与许多IBM主机系统交互的终端接口。ISPF是开发人员在该终端内使用的菜单和面板系统，用于浏览数据集、编辑源代码、提交作业和检查输出。它功能强大且可靠，但设计是为了让专家在屏幕、功能键和固定宽度工作流程中导航，而不是为AI代理设计的。 一个简单的COBOL修改可能需要找到正确的源成员、检查复制书、定位编译JCL、提交作业、读取JES/SYSPRINT输出、解释条件代码、修补固定宽度源代码并重新提交。 这项工作中的许多部分定义明确且重复性强，非常适合自主AI。然而，要实现这一点，仅仅在终端旁边放一个聊天机器人是不够的。代理需要在主机环境中操作。 Hopper结合了三项功能：（1）一个真实的TN3270终端，（2）针对数据集、成员、作业和输出缓冲的主机感知面板，以及（3）一个可以跨越这些z/OS界面操作的AI代理。 例如，以下是Hopper可以帮助调试的一个小示例： ``` COBOL: IDENTIFICATION DIVISION. PROGRAM-ID. PAYCALC. DATA DIVISION. WORKING-STORAGE SECTION. 01 CUSTOMER-BALANCE PIC 9(7)V99. PROCEDURE DIVISION. ADD 100.00 TO CUSTOMER-BALNCE DISPLAY "UPDATED BALANCE: " CUSTOMER-BALANCE STOP RUN. JCL: //PAYCOMP JOB (ACCT),'COMPILE',CLASS=A,MSGCLASS=X //COBOL EXEC IGYWCL //[COBOL.SYSIN](https://cobol.sysin/) DD DSN=USER1.APP.COBOL(PAYCALC),DISP=SHR //[LKED.SYSLMOD](https://lked.syslmod/) DD DSN=USER1.APP.LOAD(PAYCALC),DISP=SHR ``` 人类需要提交此作业，检查JES输出，打开`SYSPRINT`，找到未定义的`CUSTOMER-BALNCE`，将其映射回源代码，修补成员并重新提交。Hopper旨在让代理能够自主地通过相同的循环进行操作。 Hopper并不是试图将主机隐藏在一个通用的抽象后面，也不是一个聊天机器人。设计原则很简单：保持主机环境的真实性，但使其对AI代理可访问。 敏感操作需要获得批准，终端始终可见。 一旦代理能够在主机环境中操作，就会出现新的工作流程：更快的作业调试、自动文档生成、更安全的代码更改、测试生成、迁移规划、流量重放和现代化验证。 我们很想听听您的想法！特别是来自那些有主机、COBOL或进行过遗留企业现代化经验的人士。