返回首页
最新
我是我和我的朋友们撰写的一篇论文的作者。我们出于好奇,想知道1970年代起源的MUD文本游戏是否可以用来评估大型语言模型(LLMs)。在过去几个月的晚上和周末,我们在个人电脑上进行实验并撰写论文,使用的API信用额度大约为99美元。
我们的实验确实有一个有趣的排行榜,但更令人惊讶的是每个LLM的测量结果。我们在四个行为维度上对每个模型进行了评分,其中两个维度严重依赖于LLM分类器。当我们去掉这两个维度时,其中一个前沿模型的排名下降了六位。随后,我们将分类器与第二位评审进行比较,结果显示两者之间的模型一致性范围从85%到22%。总体的kappa值(探测检测为0.04)表明该工具存在噪声,但并未说明哪些模型受到噪声的影响。受影响最严重的模型与分类器属于同一家族。这并不能证明存在偏见,只是我们记录到的一个观察结果。
我们意识到LLM评审可能不可靠,虽然这并不是我们最初的测试意图,但最终成为了最有趣的发现。两位评审之间的差异是我们认为可以推广到其他基于评审的基准测试的发现。
我们强调这只是一个概念验证,而不是经过验证的基准。我们在论文中准备了详细的局限性部分,包括每个模型仅进行了50次运行、顶级模型之间存在重叠的置信区间、没有人类评审员、环境非常小等。
我们所做的一切都是公开的,论文和数据采用CC BY 4.0许可,而代码则是MIT许可。论文、记录、代码和完整的API账单导出可以在以下链接找到:<a href="https://doi.org/10.5281/zenodo.21386663" rel="nofollow">https://doi.org/10.5281/zenodo.21386663</a>
如果您发现问题,请告诉我们,这正是我们分享这些内容的原因。我们目前正在设计第二阶段,希望它尽可能稳健。我们正在考虑人类基准、多位评审、更多目标、更大的环境等。
<a href="https://www.youtube.com/watch?v=AWig98GVIno" rel="nofollow">https://www.youtube.com/watch?v=AWig98GVIno</a><p><a href="https://www.tomshardware.com/3d-printing/mit-researchers-revive-40-year-old-triangular-zipper-concept-now-made-possible-by-3d-printing-creates-shape-shifting-robots-and-deployable-structures-3d-printed-y-zipper-turns-floppy-tentacles-into-rigid-beams-in-seconds" rel="nofollow">https://www.tomshardware.com/3d-printing/mit-researchers-revive-40-year-old-triangular-zipper-concept-now-made-possible-by-3d-printing-creates-shape-shifting-robots-and-deployable-structures-3d-printed-y-zipper-turns-floppy-tentacles-into-rigid-beams-in-seconds</a><p><a href="https://www.yankodesign.com/2026/05/31/a-zipper-patent-sat-in-a-garage-for-40-years-now-its-real/" rel="nofollow">https://www.yankodesign.com/2026/05/31/a-zipper-patent-sat-in-a-garage-for-40-years-now-its-real/</a>
Yorishiro是一个开源项目,它为Claude Code / Codex赋予了一个类似身体的动漫角色。“Yorishiro”在日语中意为被灵魂栖息的物体。
我最初的想法是,通过终端与AI代理进行交流很累。因为AI代理没有面孔、没有表情、没有身体,我看不到它们的思考过程。因此,我为AI代理提供了一个3D身体和栖息环境。我称之为“存在载体”。
我设计了许多想法,例如反应功能。“光环”是一种瞬间移动的白光。它在大型语言模型(LLM)回复之前,展示需要关注的事物。当AI代理等待你的确认时,房间的灯光会闪烁以示通知。“Yori”是Yorishiro角色,如果AI代理遇到错误,它会表现出悲伤。如果git push成功,Yori会露出开心的表情,并且烟花会被点燃。
此外,Yorishiro有一个自我引用的MCP。Yorishiro中的AI代理可以控制灯光、身体、场景、用户界面、特效等。Yorishiro支持热重载,能够自我构建。我喜欢Emacs,因此我将其制作成一个可自我修改的终端。
如果你想尝试,可以使用以下命令:
```
brew install --cask sktkkoo/yorishiro/yorishiro
```
我来自日本,英语不太好。感谢你的阅读。
在过去几个月里,我们团队使用网络前端技术和编码工具(如Claude Code)构建了越来越多的幻灯片,但一个普遍的抱怨是,即使是小的编辑,我们也需要手动或通过工具编辑代码。为了避免这种循环,我最终创建了Bento,这是一个包含幻灯片工具所需一切的单一HTML文件,包括动画和共享编辑功能。它无需安装或云登录,所有功能都可以离线使用。默认的幻灯片文件大小约为560 KB,一旦下载后无需再获取任何内容。
在浏览器中打开它后,您可以进行编辑、演示、打印和保存。通过电子邮件或Airdrop分享,所有人只需一个浏览器即可编辑、演示,并在幻灯片上进行实时协作。将其导入Claude或ChatGPT,可以将现有的pptx文件转换为Bento幻灯片。此过程中不涉及云,仅使用加密的盲中继以允许共享编辑,而中继无法看到任何数据。
请访问<a href="https://bento.page/slides/" rel="nofollow">https://bento.page/slides/</a>,直接进入编辑器。
您还可以访问<a href="https://bento.page/guestbook/" rel="nofollow">https://bento.page/guestbook/</a>,体验实时留言簿,感受共享编辑和协作的乐趣。
网站上还有一个画廊,展示了一些示例幻灯片 - <a href="https://bento.page/" rel="nofollow">https://bento.page/</a>。
所有代码均采用MIT许可证,您可以在这里找到 - <a href="https://github.com/nyblnet/bento" rel="nofollow">https://github.com/nyblnet/bento</a>。我使用了reveal.js以及其他几个库(包括一些自制的库)和Claude Code。
我通过艰难的方式发现,如果你使用亚马逊账号登录,IMDB现在会自动为你创建账户,并且似乎我的姓名和电子邮件等信息在未经我同意的情况下被共享了。还有其他几个人也报告了这个问题。