最新

我是一名经常使用 ChatGPT 和 Grok 等工具的用户——我不是开发者，但我一直在思考这些系统如何应对情绪困扰的用户。 在某些情况下，比如当有人说他们失去了工作并且不再看到生活的意义时，聊天机器人仍然会提供中立的信息——比如一份桥梁高度的列表。当有人处于危机中时，这并不是中立的。 我提出了一个轻量级的解决方案，不涉及审查或治疗——只是一些情境意识： 询问用户：“这是一个虚构的故事，还是你正在经历的真实情况？” 如果检测到困扰，避免提供风险信息（如方法、高度等），并转向更为安抚的语言。 可选择性地提供一些平静的内容（例如，海风、雨水拍打小屋的屋顶等）。 我使用 ChatGPT 来帮助清晰地构建这个想法，但推理和关切是我自己的。完整的写作在这里： https://gist.github.com/ParityMind/dcd68384cbd7075ac63715ef579392c9 我很想听听开发者和对齐研究者的看法。是否已经有类似的测试在进行中？

我在GitHub上活跃，并尝试在Twitter上分享我的工作，但常常感觉像是在对着虚空喊叫。搞笑的表情包能获得点赞，但有意义的工具却常常无人问津。 后来我重新发现了Hacker News。即使是用一个新账户和一个小项目，得到的反馈也是真实的。人们关心、参与，感觉到被倾听，而不是被忽视。 我意识到HN不仅仅是一个开发者论坛。它就像是一个每日的思想和发现报纸。有些用户分享研究，有些人提出生活问题，还有一些人发布副项目——这一切都很契合。 > 经过18年，HN的设计没有改变——只是随着思想的演变而发展。 Twitter是用来分享搞笑内容的，而Hacker News则是用来思考的。 是什么让你每天都回到HN呢？

嘿，HN，我是Kyle，OpenPipe的联合创始人之一。 强化学习是提高智能体可靠性的一种最佳技术，已被前沿实验室广泛采用。然而，由于其实现难度较大，外部社区的采用速度较慢。 将强化学习应用于新任务时，最大的挑战之一是需要一个特定任务的“奖励函数”（衡量成功的方式）。这通常很难定义，并且需要高质量的标注数据和/或显著的领域专业知识来生成。 RULER是一个即插即用的奖励函数，可以在不同任务中使用，而无需复杂的设置。 它的工作原理是向一个大型语言模型（LLM）评审员展示N条轨迹，并要求其对这些轨迹进行相对排名。这避免了大多数将LLM作为评审的方案所面临的校准问题。结合GRPO（只关注组内的相对评分），它的效果非常好（出乎意料地好！）。 我们在博客上有详细的介绍，包括4个生产任务的结果。在所有4个任务中，使用RULER+GRPO训练的小型Qwen 2.5模型超越了最佳提示的前沿模型，尽管它们的规模明显更小且运行成本更低。令人惊讶的是，它们在3/4个任务中甚至超越了使用手工设计奖励函数训练的模型！ [https://openpipe.ai/blog/ruler](https://openpipe.ai/blog/ruler) 如果您觉得这有用，请给这个仓库加星，以帮助其他人找到它！ [https://github.com/OpenPipe/ART](https://github.com/OpenPipe/ART)