返回首页
最新
我是一名经常使用 ChatGPT 和 Grok 等工具的用户——我不是开发者,但我一直在思考这些系统如何应对情绪困扰的用户。
在某些情况下,比如当有人说他们失去了工作并且不再看到生活的意义时,聊天机器人仍然会提供中立的信息——比如一份桥梁高度的列表。当有人处于危机中时,这并不是中立的。
我提出了一个轻量级的解决方案,不涉及审查或治疗——只是一些情境意识:
询问用户:“这是一个虚构的故事,还是你正在经历的真实情况?”
如果检测到困扰,避免提供风险信息(如方法、高度等),并转向更为安抚的语言。
可选择性地提供一些平静的内容(例如,海风、雨水拍打小屋的屋顶等)。
我使用 ChatGPT 来帮助清晰地构建这个想法,但推理和关切是我自己的。完整的写作在这里:
https://gist.github.com/ParityMind/dcd68384cbd7075ac63715ef579392c9
我很想听听开发者和对齐研究者的看法。是否已经有类似的测试在进行中?
我在GitHub上活跃,并尝试在Twitter上分享我的工作,但常常感觉像是在对着虚空喊叫。搞笑的表情包能获得点赞,但有意义的工具却常常无人问津。
后来我重新发现了Hacker News。即使是用一个新账户和一个小项目,得到的反馈也是真实的。人们关心、参与,感觉到被倾听,而不是被忽视。
我意识到HN不仅仅是一个开发者论坛。它就像是一个每日的思想和发现报纸。有些用户分享研究,有些人提出生活问题,还有一些人发布副项目——这一切都很契合。
> 经过18年,HN的设计没有改变——只是随着思想的演变而发展。
Twitter是用来分享搞笑内容的,而Hacker News则是用来思考的。
是什么让你每天都回到HN呢?
嘿,HN,我是Kyle,OpenPipe的联合创始人之一。
强化学习是提高智能体可靠性的一种最佳技术,已被前沿实验室广泛采用。然而,由于其实现难度较大,外部社区的采用速度较慢。
将强化学习应用于新任务时,最大的挑战之一是需要一个特定任务的“奖励函数”(衡量成功的方式)。这通常很难定义,并且需要高质量的标注数据和/或显著的领域专业知识来生成。
RULER是一个即插即用的奖励函数,可以在不同任务中使用,而无需复杂的设置。
它的工作原理是向一个大型语言模型(LLM)评审员展示N条轨迹,并要求其对这些轨迹进行相对排名。这避免了大多数将LLM作为评审的方案所面临的校准问题。结合GRPO(只关注组内的相对评分),它的效果非常好(出乎意料地好!)。
我们在博客上有详细的介绍,包括4个生产任务的结果。在所有4个任务中,使用RULER+GRPO训练的小型Qwen 2.5模型超越了最佳提示的前沿模型,尽管它们的规模明显更小且运行成本更低。令人惊讶的是,它们在3/4个任务中甚至超越了使用手工设计奖励函数训练的模型! [https://openpipe.ai/blog/ruler](https://openpipe.ai/blog/ruler)
如果您觉得这有用,请给这个仓库加星,以帮助其他人找到它! [https://github.com/OpenPipe/ART](https://github.com/OpenPipe/ART)
嗨,HN,我是Jay。我正在开发Indilingo,这是一款用于学习印度语言的人工智能应用程序,支持印地语、梵语、泰米尔语、卡纳达语等多种语言。
目前,它支持14种官方印度语言,并在Play商店上架,已有800多次下载。
我们是一小群朋友在印度班加罗尔共同开发这个自筹资金的项目,非常希望能得到你们的反馈!
功能介绍:
1. 实时AI驱动的个性化学习,适用于所有课程。
2. 自定义课程 - 用户可以根据自己的目标创建课程。
3. 会话练习(本周上线!) - 用户可以与AI实时练习口语,并获得即时的发音反馈。
4. 真正的无障碍学习 - 用户可以从任何支持的语言学习任何支持的语言。目前,我们提供180多种语言组合,未来将达到一千种。
这是我们网站的链接: [https://www.indilingo.in](https://www.indilingo.in)
这是Play商店的下载链接: [https://play.google.com/store/apps/details?id=com.indilingo](https://play.google.com/store/apps/details?id=com.indilingo)