返回首页
最新
目前大多数大型语言模型（LLM）工作流程依赖于云API，这意味着需要将数据发送到系统外部。我们正在研发一种替代方案：一个完全本地的技术栈，让您可以在不依赖外部供应商的情况下运行和调整模型。这个想法不仅是为了在本地运行模型，还希望使其在特定领域（如法律、医疗、内部知识）中变得实用，同时保持足够小，以便能够在普通硬件上运行。
当前状态：
1) 本地推理引擎（GGUF，与现有工具兼容的API）
2) 带有REST端点和模型元数据的原型模型中心
3) 正在进行的管道，以将通用模型调整为特定领域的模型
我们正在尝试回答的开放性问题是，这个过程是否可以实现可重复性，而不仅仅是一次性的微调。如果成功，它可能会减少许多实际应用场景中对基于云的人工智能的需求。
代码库：<a href="https://github.com/eullm/eullm" rel="nofollow">https://github.com/eullm/eullm</a>
期待听到其他从事本地优先人工智能工作的人的想法。
我最近在审查代理沙箱解决方案时，意识到一个明显的漏洞，即允许代理写入当前工作目录（CWD）的工具存在持续利用的风险。
我最初认为这没问题，因为我们可以在 git diff 中审查所有内容。但后来我意识到，代理可以写入各种文件，而我作为开发者可能会在沙箱外执行这些文件。例如，每个 .pyc 文件、.venv 中的文件以及 .git 钩子文件。
ChatGPT 确认了潜在的利用向量，并指出在代理沙箱工具的上下文中对此讨论不多。
我的结论是，唯一真正安全的沙箱技术是通过某种 git 补丁或类似方式将文件从沙箱传输到开发者的机器。也就是说，文件只有在版本控制中时才能传输，因此可以推测在传输到沙箱外之前已经经过开发者的审查。
你有什么想法或建议吗？
哦，天哪！他们似乎主要在东部标准时间工作日开始时段出现问题。有什么内幕消息吗？
开源静态分析工具，用于发现安全漏洞
<a href="https://www.science.org/doi/10.1126/science.aec0970" rel="nofollow">https://www.science.org/doi/10.1126/science.aec0970</a>
我已经订阅了Max计划，但我发现自己经常遇到这种情况。我该如何投诉并获得赔偿？还是说我应该把这当作自然灾害来接受？
我指的是一些实用的内容：你解决的bug、架构决策、你通过艰难的方式学到的东西，以及你可能在六个月后再次需要的解决方案。
在过去的一周里，我与大约20位开发者进行了交谈，发现一个共同的模式：每个人都会在某个地方记录东西，但几乎没有人能在需要时找到它。问题不在于记录，而在于检索。
Notion、Obsidian、普通文件、GitHub维基、Confluence——这些工具都有同样的问题：搜索是基于关键词的，只有在你准确记得自己写了什么时才能有效。
我很好奇是否有人找到了解决这个问题的方法，或者你们是否已经接受了将同样的问题在谷歌上搜索两次的现实。