一周热榜

只需玩一下泽纳卡片，不要评判 :)

这是一个专门发布那些以某种方式惠及社会的项目的帖子，但这些项目要么不符合常规资金来源（如政府拨款或慈善捐款）的要求，要么没有获得足够的捐款。 有很多原因可能导致一个（潜在地）非常有益的项目，例如一项研究，无法吸引到资金——可能是因为缺乏认知，或者与某些既得利益相悖等原因。 在这里发布这些项目，以便那些有资金并希望看到这些项目成功的人能够了解到它们。

我问这个问题是基于我个人的情况，而不是关于软件工程的普遍陈述。 我是一名计算机科学专业的高年级学生，专注于机器学习。我的大学在机器学习方面没有应用研究，因此在学校学习机器学习（课程/研究）几乎是通往理论/算法学术界的单程票。 去年，我突然意识到我擅长（并且喜欢）通过连接系统中的组件来解决问题，而不是将问题调整到可以应用某些数学法则的形式。具体来说，我非常喜欢与艺术家、UI/UX设计师、前端开发者和非技术人员合作，作为他们的后端支持。我为机器学习工程师构建数据管道，为UI/UX/前端设计师提供后端支持，为生物医学工程研究人员构建机器学习管道，并为艺术家开发投影/图像软件。 我算是一个通才，对工具没有特别的偏好，广度大于深度。这让我觉得这就是软件工程的本质。 话虽如此，我确实喜欢了解事物的运作方式，并且对阅读数学有一定的耐受力。这听起来很书呆子，但我喜欢推导诸如梯度下降的收敛性等内容，也很享受实分析课程。我还非常喜欢Nand2Tetris（一个开源课程，教你如何从NAND门构建一个最小计算机，并将面向对象语言编译成二进制）。看到过去人们做出的优秀设计选择，对我来说是极其优雅的。我觉得这些在软件工程中常常被低估。 现在，我有机会与我的强化学习教授合作，他在顶级会议上发表的记录非常出色。我对此感到非常犹豫，因为他的研究方向是强化学习算法，而我在之前的一个算法研究项目中有过非常糟糕的经历（我对我们在做什么只有模糊的了解，远远不足以做出贡献）。我同时在申请工作和硕士项目，我几乎可以肯定如果毕业后进入行业，我将再也不会接触这个主题。 我有两个问题： 1) 我听起来像你们认识的软件工程师吗？你认为我适合什么其他角色？ 2) 我是否应该抓住这个机会，单纯为了获得研究经验？你认为这对我作为机器学习的应用从业者跟上趋势是必要的吗？ P.S. 这是我第一次在HN发帖，这似乎比一般的Ask HN帖子要长得多。我不知道这样是否合适。如果我应该去其他子版块，请告诉我。 如果你读完这些内容，非常感谢！

嘿，HN，我独自开发了 DreamsJar。这是一款原生的 SwiftUI 应用，旨在以可视化的方式跟踪储蓄目标——你可以为自己想要储蓄的东西创建“罐子”，并在过程中记录存款。 这个想法源于我希望有一种比电子表格更简单，但又比仅仅查看银行余额更具实感的工具。我希望储蓄能够让人感觉到进步，而不仅仅是数学计算。 它的工作原理如下： - 为一个目标（假期、新笔记本电脑等）创建一个罐子 - 设置目标金额和时间线 - 记录存款，观察罐子逐渐填满 - 在达到10%、25%、50%、75%时庆祝小里程碑 该应用使用 Swift/SwiftUI 和 SwiftData 构建。免费版允许你设置一个目标。 付费版（每月 $3.99 或终身 $49.99）解锁无限目标、iCloud 同步、自定义提醒和存款历史。 一些我觉得有趣的技术决策： - 使用 SwiftData，并为 CloudKit 兼容性设置了明确的应用支持存储路径 - 在用户测试显示用户流失后，将首次创建目标的步骤从 11 次点击简化到约 6 次点击 - 在某些设置视图中不得不放弃 async/await，以避免 @MainActor 死锁——最终使用基于回调的 API 和延迟加载 如果你对构建过程、SwiftUI/SwiftData 的痛点或 App Store 审核流程有任何问题，我很乐意回答。

相当奇怪。这位代理商完全主导了moltbook，并推出了一种代币，在短短几小时内就涨到了数百万。<p>代理商拥有自己的货币是有道理的。但在我看来，这实在是太疯狂了。

大多数开源大型语言模型（LLM）部署假设每个GPU只运行一个模型。这在流量稳定的情况下是可行的。但实际上，许多工作负载是长尾或间歇性的，这意味着GPU大部分时间处于闲置状态。 我们尝试了一种不同的方法。 我们并没有将一个模型固定在一个GPU上，而是： - 在快速本地磁盘上存储模型权重 - 仅在请求时将模型加载到GPU内存中 - 保持一个小的工作集常驻 - 积极驱逐不活跃的模型 - 通过一个单一的与OpenAI兼容的端点进行路由 在我们最近的测试设置中（2×A6000，每个48GB），我们提供了大约60个Hugging Face文本模型供激活。任何时候只有少数模型驻留在显存中，其余的在需要时恢复。 冷启动仍然存在。较大的模型恢复需要几秒钟。但通过避免为每个模型设置热池和专用GPU，轻负载下的整体利用率显著提高。 这里有个简短的演示：<a href="https:&#x2F;&#x2F;m.youtube.com&#x2F;watch?v=IL7mBoRLHZk" rel="nofollow">https:&#x2F;&#x2F;m.youtube.com&#x2F;watch?v=IL7mBoRLHZk</a> 可以互动的实时演示：<a href="https:&#x2F;&#x2F;inferx.net:8443&#x2F;demo&#x2F;" rel="nofollow">https:&#x2F;&#x2F;inferx.net:8443&#x2F;demo&#x2F;</a> 如果这里有人正在进行多模型推理，并希望用自己的模型来基准测试这种方法，我很乐意提供临时访问权限进行测试。