1作者: ParityMind8 个月前原帖
我是一名经常使用 ChatGPT 和 Grok 等工具的用户——我不是开发者,但我一直在思考这些系统如何应对情绪困扰的用户。 在某些情况下,比如当有人说他们失去了工作并且不再看到生活的意义时,聊天机器人仍然会提供中立的信息——比如一份桥梁高度的列表。当有人处于危机中时,这并不是中立的。 我提出了一个轻量级的解决方案,不涉及审查或治疗——只是一些情境意识: 询问用户:“这是一个虚构的故事,还是你正在经历的真实情况?” 如果检测到困扰,避免提供风险信息(如方法、高度等),并转向更为安抚的语言。 可选择性地提供一些平静的内容(例如,海风、雨水拍打小屋的屋顶等)。 我使用 ChatGPT 来帮助清晰地构建这个想法,但推理和关切是我自己的。完整的写作在这里: https://gist.github.com/ParityMind/dcd68384cbd7075ac63715ef579392c9 我很想听听开发者和对齐研究者的看法。是否已经有类似的测试在进行中?
2作者: FerkiHN8 个月前原帖
我在GitHub上活跃,并尝试在Twitter上分享我的工作,但常常感觉像是在对着虚空喊叫。搞笑的表情包能获得点赞,但有意义的工具却常常无人问津。 后来我重新发现了Hacker News。即使是用一个新账户和一个小项目,得到的反馈也是真实的。人们关心、参与,感觉到被倾听,而不是被忽视。 我意识到HN不仅仅是一个开发者论坛。它就像是一个每日的思想和发现报纸。有些用户分享研究,有些人提出生活问题,还有一些人发布副项目——这一切都很契合。 > 经过18年,HN的设计没有改变——只是随着思想的演变而发展。 Twitter是用来分享搞笑内容的,而Hacker News则是用来思考的。 是什么让你每天都回到HN呢?
2作者: kcorbitt8 个月前原帖
嘿,HN,我是Kyle,OpenPipe的联合创始人之一。 强化学习是提高智能体可靠性的一种最佳技术,已被前沿实验室广泛采用。然而,由于其实现难度较大,外部社区的采用速度较慢。 将强化学习应用于新任务时,最大的挑战之一是需要一个特定任务的“奖励函数”(衡量成功的方式)。这通常很难定义,并且需要高质量的标注数据和/或显著的领域专业知识来生成。 RULER是一个即插即用的奖励函数,可以在不同任务中使用,而无需复杂的设置。 它的工作原理是向一个大型语言模型(LLM)评审员展示N条轨迹,并要求其对这些轨迹进行相对排名。这避免了大多数将LLM作为评审的方案所面临的校准问题。结合GRPO(只关注组内的相对评分),它的效果非常好(出乎意料地好!)。 我们在博客上有详细的介绍,包括4个生产任务的结果。在所有4个任务中,使用RULER+GRPO训练的小型Qwen 2.5模型超越了最佳提示的前沿模型,尽管它们的规模明显更小且运行成本更低。令人惊讶的是,它们在3/4个任务中甚至超越了使用手工设计奖励函数训练的模型! [https://openpipe.ai/blog/ruler](https://openpipe.ai/blog/ruler) 如果您觉得这有用,请给这个仓库加星,以帮助其他人找到它! [https://github.com/OpenPipe/ART](https://github.com/OpenPipe/ART)
1作者: Jaygala2238 个月前原帖
嗨,HN,我是Jay。我正在开发Indilingo,这是一款用于学习印度语言的人工智能应用程序,支持印地语、梵语、泰米尔语、卡纳达语等多种语言。 目前,它支持14种官方印度语言,并在Play商店上架,已有800多次下载。 我们是一小群朋友在印度班加罗尔共同开发这个自筹资金的项目,非常希望能得到你们的反馈! 功能介绍: 1. 实时AI驱动的个性化学习,适用于所有课程。 2. 自定义课程 - 用户可以根据自己的目标创建课程。 3. 会话练习(本周上线!) - 用户可以与AI实时练习口语,并获得即时的发音反馈。 4. 真正的无障碍学习 - 用户可以从任何支持的语言学习任何支持的语言。目前,我们提供180多种语言组合,未来将达到一千种。 这是我们网站的链接: [https://www.indilingo.in](https://www.indilingo.in) 这是Play商店的下载链接: [https://play.google.com/store/apps/details?id=com.indilingo](https://play.google.com/store/apps/details?id=com.indilingo)