15作者: alexdanilowicz5 个月前原帖
这里是亚历克斯和泰迪。我们正在推出 Magic Patterns(<a href="https://www.magicpatterns.com">https://www.magicpatterns.com</a>),这是一款 AI 原型工具,旨在帮助产品经理和设计师创建功能性、互动性强的设计和网站。您可以在 <a href="https://www.youtube.com/watch?v=SK8C_tQBwIU" rel="nofollow">https://www.youtube.com/watch?v=SK8C_tQBwIU</a> 查看演示视频,同时在 <a href="https://www.magicpatterns.com/docs/documentation/tutorials/video-tutorials">https://www.magicpatterns.com/docs/documentation/tutorials/video-tutorials</a> 中找到具体示例的视频演示。 虽然其他工具主要帮助“AI 辅助编码”,但我们一直专注于“AI 辅助设计”。使用 Magic Patterns,您可以直观地传达您的想法,获得客户的实时反馈,并测试新功能。 泰迪和我是一对好朋友,曾是前端工程师,现在是创始人。我们在经历了几次转型后,最终来到了 Magic Patterns——始终专注于设计工具领域,但之前的不同产品都未能获得用户使用。我们是在一次内部黑客马拉松后开始着手开发 Magic Patterns 的。泰迪创建了一个 UI 库目录,而我则在尝试使用 GPT 3.5。我们觉得将这两者结合起来会很有趣:一个 AI 组件生成器。您只需描述您想要的内容,就能得到一个 React 组件! 这个想法开始获得关注,我们也吸引了用户,但使用这个工具的并不是开发者,而是产品经理、设计师和领导者,他们终于能够有效地沟通自己的想法。他们用它快速测试新想法,获取客户反馈,并改善与内部团队的沟通。此外,业余爱好者(以及不具备设计能力的程序员)也使用我们的工具来创建他们本来无法设计的界面和 UI。 我们使用 Sonnet 3.5 和 3.7,并利用经过微调的模型快速应用编辑。最具挑战性的部分是确定最相关的上下文以提供给大型语言模型(LLM)。我们尝试通过“点击更新”功能以及让用户定义品牌预设或默认提示来解决这个问题。 与该领域的其他工具不同,我们专注于(1)产品团队——我们是实时和协作的;(2)仅限前端——我们不启动数据库或后端,因为我们并不是在解决“从想法到全栈应用”的问题。 一个常见的工作流程是产品经理构建一个互动原型,然后将其交给设计师进行进一步润色,或者直接交给工程师。许多团队甚至现在完全跳过 Figma,告诉我们这感觉像是一个不必要的中介。团队们现在生成可点击的原型,直接与利益相关者协作,并将其作为模型。 使用 Magic Patterns,您可以:- 在我们的无限画布上与团队协作;- 通过直接创建可重用组件来匹配现有设计;- 头脑风暴功能和流程。(后者是我们内部使用的目的。) 我们最初是为了构建小型自定义组件,但现在人们可以一次性构建整个网站并与我们一起托管,或者构建他们在内部或客户演示中共享的仪表板。有人通过 Magic Patterns 的设计成功签下了每月 1 万美元的合同! 小企业主——从渔民到驾驶教练再到酒店经理——都在使用我们的工具来构建他们的网站,并与我们一起托管。通过 Magic Patterns 构建的示例网站包括 <a href="https://getdealflow.ai/" rel="nofollow">https://getdealflow.ai/</a> 和 <a href="https://joinringo.com/" rel="nofollow">https://joinringo.com/</a>。令人惊讶的是,以前无法做到这些的人现在能够做到,这让我们感到非常欣慰,因为我们以这种方式赋能了人们。 您可以在这里开始使用我们的文档:<a href="https://www.magicpatterns.com/docs/documentation/get-started/introduction">https://www.magicpatterns.com/docs/documentation/get-started/introduction</a>,并可以尝试实际产品。只需访问 <a href="https://www.magicpatterns.com">https://www.magicpatterns.com</a>,并提示您想要的任何 UI。 今天无需登录,只需点击“来自 Hackernews?”您将获得 5 条免费消息进行尝试。一旦达到限制,系统将提示您登录。计划从每月 19 美元起,您将获得额外的每月 100 条消息(<a href="https://www.magicpatterns.com/pricing">https://www.magicpatterns.com/pricing</a>)。 我们很高兴今天能与 HN 分享,并欢迎所有反馈!
2作者: pveldandi5 个月前原帖
我们开发了InferX,这是一种模型运行时,可以快照完整的GPU执行状态、权重、内存布局和KV缓存,并在大约2秒内恢复任何模型。无需重新初始化,无需重新加载权重,也无需容器。 借助这一技术,我们在仅使用2个A1000 GPU的情况下运行了50多个大型语言模型,消除了冷启动问题,并将内存像线程一样进行调度。传统上,如果为每个模型分配单独的GPU,这将需要70个以上的GPU。 我们并没有进行推测性批处理或模型合并,而是在运行时层面进行原生调度。 这一技术旨在支持: • 代理堆栈(每个代理使用自己的模型) • 特定租户的微调 • 长尾工作负载,即模型不持续接收流量的情况 我们非常希望听到其他人在这个多模型推理领域的解决方案或观察到的情况。乐意深入讨论快照、内存管理或调度策略的技术细节。 请随时问我任何问题。