返回首页
最新
嗨，HN，
我开发了OpenGraviton，这是一个开源的AI推理引擎，旨在推动在消费级硬件上运行极大型语言模型（LLM）的极限。通过结合1.58位三元量化、动态稀疏性与Top-K剪枝、MoE路由以及基于内存映射的层流式处理，OpenGraviton能够运行远超系统RAM的模型——即使是在Mac Mini上也能实现。
早期基准测试结果：
TinyLlama-1.1B的内存需求从约2GB（FP16）降至约0.24GB，采用了三元量化。
在140B规模下，通常需要约280GB的模型可以压缩到约35GB以内。
针对Apple Silicon进行了优化，使用Metal和C++张量解包，并采用推测解码以加快生成速度。
查看基准测试、架构和详细信息请访问：<a href="https://opengraviton.github.io" rel="nofollow">https://opengraviton.github.io</a>
GitHub链接：<a href="https://github.com/opengraviton" rel="nofollow">https://github.com/opengraviton</a>
这个项目不仅仅是将庞大的模型压缩到小型硬件上，更是为了让更多人能够无云成本地访问巨型LLM。欢迎反馈、分支和创意！
主导框架是“Anthropic英雄，五角大楼恶棍”。我认为情况更为复杂，有三个具体问题被低估了。
1. 法律定义中有“对手”一词。
根据美国法典第10卷第3252条，"供应链风险"被定义为“对手可能破坏、恶意引入不必要的功能或以其他方式颠覆”国家安全系统。这一用词承载着重要意义——该法规是为与中国共产党（CCP）相关的供应商和外国破坏者设计的，而不是针对自愿放弃数亿美元收入以切断与CCP相关客户的美国公司之间的合同争议。这一称谓不仅在政治上前所未有；从法规自身的框架来看，这也显得格外奇怪。
2. Anthropic的法律挑战比报道的要狭窄。
第3252条(c)(1)包含一项不予司法审查的条款：“任何行动……不得在政府问责办公室或任何联邦法院的投标抗议中受到审查。”Anthropic的法律团队对此是清楚的——他们的挑战必须基于宪法或行政程序法的理由，而不是标准的投标抗议。这是一条更为艰难的道路。“我们会在法庭见”的说法在某种程度上误导了他们实际上可以采取的行动。
3. 民主合法性问题是双向的。
大多数报道将Anthropic的两次拒绝（不支持完全自主武器，不进行大规模国内监控）视为简单正确。这可能确实如此。但“哪些人工智能系统足够可靠以做出打击决策”原则上是由民选官员和军事指挥官来回答的问题，而不是私人CEO。达里奥·阿莫代伊（Dario Amodei）并不是民选的。他的立场是可以辩护的，但并不自动具有权威性。
这与苹果/FBI的iPhone案件也有所不同。苹果被要求解锁现有功能。而国防部则要求Anthropic允许在任何现有合同中没有的新用途——这是扩展，而不是解锁。
我真正感到担忧的是国防生产法的威胁。利用战时征兵权力强制移除人工智能安全防护措施是一种不同类型的权力操作，没有明确的先例。
一个确认的事实使整个事情显得荒谬：据报道，美国中央司令部在宣布供应链风险指定后的几个小时内使用了Claude进行伊朗空袭。被指定的“供应链风险”正在实时进行国家安全行动。
更棘手的问题是，应该用什么框架来管理因伦理原因拒绝政府合同的私人人工智能公司，这是一个没有人认真探讨的问题。这并不是因为答案显而易见，而是因为它需要思考一种不容易归入现有法律或政治类别的企业良知。
每个MCP服务器在每次交互中都会将其完整的工具架构注入上下文中——30个工具每次消耗约3,600个令牌，无论模型是否使用它们。在25次交互中使用120个工具，这仅仅是架构就需要362,000个令牌。
mcp2cli可以在运行时将任何MCP服务器或OpenAPI规范转换为命令行接口（CLI）。LLM可以按需发现工具：
```
mcp2cli --mcp https://mcp.example.com/sse --list # ~16个令牌/工具
mcp2cli --mcp https://mcp.example.com/sse create-task --help # ~120个令牌，仅一次
mcp2cli --mcp https://mcp.example.com/sse create-task --title "修复bug"
```
不需要代码生成，也不需要在服务器更改时重建。它适用于任何LLM——这只是模型调用的一个CLI。同时也可以处理OpenAPI规范（JSON/YAML，本地或远程），使用相同的接口。
令牌节省是真实的，使用cl100k_base进行测量：对于30个工具在15次交互中节省96%，对于120个工具在25次交互中节省99%。
它还作为可安装的技能提供给AI编码代理（Claude Code、Cursor、Codex）：`npx skills add knowsuchagency/mcp2cli --skill mcp2cli`
灵感来源于Kagan Yilmaz对CLI与MCP的分析及CLIHub。
[https://github.com/knowsuchagency/mcp2cli](https://github.com/knowsuchagency/mcp2cli)
tmux new-session -d -s all \; set -t all mouse on \; set-option -t all destroy-unattached off > /dev/null 2>&1; for s in $(tmux list-sessions -F '#{session_name}' | grep -v '^all$'); do tmux link-window -s "$s:" -t all:; done; tmux attach -t all
Rainy Updates最初是一个用于Node单体仓库和持续集成的确定性依赖审查工具。<p>在v0.7.0版本中，它扩展到了跨技术栈的供应链审查和本地工作流、持续集成门控以及与MCP兼容的代理的认证政策检查。<p>此次发布增加了：
- 对Docker、GitHub Actions、Terraform和Helm的跨技术栈扫描
- 规范化的发现结果，包括风险等级、政策行动和推荐行动
- 具有确定性裁决的认证验证：允许、审查或阻止
- 非变更性MCP工具，用于供应链和认证工作流<p>我们的目标是使软件变更审查在依赖关系、供应链暴露和发布信任态势方面更加确定性。<p>我们非常希望能收到以下方面的反馈：
- 这是否与以PR为中心的依赖自动化有显著不同
- 在实际的持续集成使用中缺少什么
- 本地/MCP审查模型是否真的有用
https://github.com/ruvnet/RuView
<p>在Github上获得了31,000个星标，本月热门趋势项目。发布这样一个项目似乎具有开创性，但在网上几乎没有讨论。</p>
<p>除了作者之外，没有人验证它是否有效，尽管它只需要8美元的硬件。没有相关的讨论、YouTube视频或Reddit帖子。Github上的问题都被作者关闭了。</p>
<p>它是如何登上榜首的？他们到底想实现什么？是为了提升ESP32-S3开发板的销量吗？如果有人尝试在本地运行代码，是否会存在攻击向量？</p>
<p>有没有人有闲置的ESP32开发板可以试试这个？</p>
我创建了SocialProof，因为我注意到大多数自由职业者和小型机构都有很多满意的客户，但他们的网站上几乎没有书面的推荐信——因为请求推荐信会让人感到尴尬，而且反馈率很低。
SocialProof为您提供一个可分享的链接。您将其发送给客户，客户填写一个简短的表单（姓名、内容、可选照片），您在仪表板上进行审核后，它就会出现在您嵌入小部件的任何页面上。
客户提交推荐信无需登录。收集表单是开放的——您可以在这里尝试提交一个：<a href="https://socialproof.dev/c/frm_iOEPvPH9TzPypGMFNhYPV" rel="nofollow">https://socialproof.dev/c/frm_iOEPvPH9TzPypGMFNhYPV</a>
技术栈：Cloudflare Workers + D1 + Pages，React前端。免费开始，多个小部件的付费计划。
欢迎您询问有关技术决策或问题领域的任何问题。