返回首页

24小时热榜

26作者: xlayn大约 15 小时前原帖
我在消费级AMD GPU(RX 7900 XT + RX 6950 XT)上复现了David Ng的RYS方法([链接](https://dnhkng.github.io/posts/rys/)),并发现了一些意想不到的结果。 变压器似乎具有离散的“推理电路”——由3到4层连续组成的块,作为不可分割的认知单元。复制正确的块后,模型的推理流程会运行两次。权重没有变化,没有训练,模型只是思考得更久。 在标准基准测试(lm-evaluation-harness,n=50)上的结果如下: Devstral-24B,层12-14复制一次: - BBH逻辑推理:0.22 → 0.76 - GSM8K(严格):0.48 → 0.64 - MBPP(代码生成):0.72 → 0.78 - 没有任何下降 Qwen2.5-Coder-32B,层7-9复制一次: - 推理探测:76% → 94% 奇怪的是,不同的复制模式会从相同的权重中产生不同的认知“模式”。双重通过提升了数学能力,三重通过提升了情感推理。交错复制(13,13,14,14,15,15,16)则创造了一个纯数学专家。相同的模型,相同的显存,不同的路由。 电路边界非常清晰——移动一层,效果就会消失或反转。较小的模型(24B)比较大的模型(Ng在72B中发现7层)具有更紧凑的电路(3层)。 在这个代码库中,有工具可以在任何GGUF模型中找到电路并应用任意层路由。整个过程——扫描、发现、验证——只花了一个晚上。 欢迎提问。
25作者: bblcla大约 19 小时前原帖
嘿,HN,如果你有幸乘坐过配备Starlink的航班,你就会明白这种技术的热度。它确实有效!<p>然而,Starlink在航班上的可用性并不稳定,难以预测。因此,我们建立了一个数据库,涵盖所有已推出Starlink(不仅仅是试点)的航空公司,并开发了一个航班搜索工具来进行预测。只需输入航班号和日期,我们就能根据飞机类型和尾号估算航班上配备Starlink的可能性。<p>如果你没有即将到来的旅行,也可以查找特定航线,看看哪些航班提供Starlink服务。你可以在这里找到相关信息:<a href="https://stardrift.ai/starlink">https://stardrift.ai/starlink</a>。<p>-<p>我还想补充一些关于这个工具如何工作的说明。我们在回答查询时会依次检查三个方面:<p>- 这家航空公司是否提供Starlink?<p>- 这架飞机是否配备Starlink?<p>- <i>这架特定的飞机</i>是否配备Starlink?<p>目前,只有少数几家航空公司提供Starlink:联合航空、夏威夷航空、阿拉斯加航空、法国航空、卡塔尔航空、JSX航空以及其他少数几家。因此,如果一架飞机由其他航空公司运营,我们可以立即给出否定答案。<p>接下来,我们会检查正在飞行的具体机型。航空公司通常会提前发布设备分配信息,并且它们也在逐步将Starlink推广到每架飞机上。因此,我们知道,例如,所有JSX的E145飞机都配备了Starlink,而法国航空的A320飞机则没有配备Starlink。(你可以在<a href="https://stardrift.ai/starlink/fleet-summary">https://stardrift.ai/starlink/fleet-summary</a>查看我们数据的总结,尽管实时逻辑中有一些规则未在此编码。)<p>如果机型完全匹配,我们可以自信地告诉你你的航班将配备Starlink。然而,在大多数情况下,航空公司仅对该机型进行了<i>部分</i>升级。在这种情况下,我们需要更深入地查找,确定<i>哪一架</i>飞机将飞往你的航线。<p>我们可以通过查找“尾号”(可以把它想象成飞机的车牌)来做到这一点。<i>不幸的是</i>,尾号通常是在航班起飞前几天才会分配。因此,在那之前,我们能做的最好是计算你的飞机被分配到配备Starlink的飞机的概率。<p>为此,我们必须建立一个飞机尾号与Starlink状态的映射。在这里,我要感谢那些在线航空爱好者,他们维护着详细的电子表格和论坛帖子来追踪这些数据!据我了解,<i>他们</i>通常从对Starlink推广充满热情的航空公司员工那里获取这些数据,因此这是一个可靠且经常更新的来源。我们的大部分工作是寻找每个来源,规范它们的格式,建立一个可靠且负责任的系统来提取这些数据,并将它们与我们的其他数据源结合起来。<p>基本上,这就是一个数据规范化的问题!我曾在金融数据系统方面工作,惊讶于这个问题的相似性。<p>-<p>Starlink本身也是一项相当酷的技术。我还写了一篇博客文章(<a href="https://stardrift.ai/blog/why-is-starlink-so-good">https://stardrift.ai/blog/why-is-starlink-so-good</a>),讲述了为什么它比其他所有飞机Wi-Fi选项要好得多。从高层次来看,这一切的可能性源于如今火箭发射成本的降低,这真是太酷了。<p>其性能非常出色,因此在可能的情况下,围绕它来规划你的航班是非常值得的。目前,在美国,你最好的选择是联合航空的区域航班和JSX/夏威夷航空。国际航班方面,卡塔尔航空是最佳选择(尽管显然现在不是),法国航空则排在第二位。不过,随着更多航空公司逐步推出,我们的数据库将会不断更新!
20作者: basilikum大约 11 小时前原帖
很多人将大型语言模型(LLMs)视为他们客观真理的来源。他们有一个问题,实际上通过搜索可以找到一个可靠的来源来很好地回答,但他们却选择询问某个LLM聊天机器人,并盲目相信其所说的一切。<p>你是如何应对这种情况的?你会尝试告诉他们关于幻觉的事情,以及LLMs并没有真正或错误的概念吗?还是你选择不去干涉?当他们在与你的对话中这样做,或者在遇到LLMs被用作影响你的某些事情的来源时,你会怎么做?
18作者: IncandescentGas大约 19 小时前原帖
今天我在桌面客户端上被Spotify强制听了一堆广告。我是付费订阅用户。<p>这似乎是普遍现象,Spotify的Reddit社区正在积极删除有关此问题的讨论。
10作者: thijsverreck大约 19 小时前原帖
嘿,HN, 我创建了一个小型的开源项目,想与社区分享。这是一个声明式、可脚本化的基于终端的集成开发环境(IDE),专注于自主工程。 这听起来有些术语化,但本质上它是一个多代理的IDE,你可以在终端中启动它。 这有什么相关性呢?得益于tmux和SSH,这意味着你可以非常简单高效地创建自己的常驻编码环境。 通过SSH启动你的IDE,给claude一个提示,然后关闭你的机器。在tmux-ide中,claude将继续工作。 这个工具故意设计得非常轻量,因为我认为力量应该来自于你正在使用的工具。 我希望能与社区分享这个项目,并获得反馈和建议,以便塑造这个项目!我认为“远程工作”是一个正确的方向,因为我们现在可以进行极长时间的编码任务。但我也认为我们应该能够根据自己的需求来控制和协调这一体验。 该项目是100%开源的,我希望能够与其他喜欢这种工作方式的人共同开发! GitHub: [https://github.com/wavyrai/tmux-ide](https://github.com/wavyrai/tmux-ide) 文档: [https://tmux.thijsverreck.com/docs](https://tmux.thijsverreck.com/docs)