返回首页
最新
我很好奇一些事件驱动技术,比如Kafka(或其他替代方案)是如何融入大型大语言模型(LLM)提供商的后端和/或基础设施的。
我心中有一些问题,主要包括:
1. 大型LLM提供商是如何处理训练数据、评估结果和人类反馈的流动的?这些是通过事件流(如Kafka)进行实时处理,还是更依赖于批处理和传统的ETL流程?
2. 对于复杂的机器学习管道(例如数据摄取 -> 预处理 -> 训练 -> 评估 -> 部署),他们是使用事件驱动的编排,每个阶段发布一些完成事件,还是使用像Airflow这样的传统工作流编排工具,通过轮询管理依赖关系?
3. 他们是如何处理实时性能监控和安全信号的?这些是能够触发即时响应(如模型回滚)的事件驱动系统,还是主要是批量分析,反应有些延迟?
我基本上是在试图理解事件驱动范式在现代人工智能基础设施中的适用程度,如果有人在这方面工作过或正在工作,任何高层次的见解都将非常欢迎。
嗨,HN,
我是一名刚毕业的计算机科学专业学生。在过去的几个月里,我编写了BinaryRPC,这是一个基于现代C++20的开源RPC框架,专注于低延迟的二进制WebSocket消息传递。
为什么我会构建它:
* 希望拥有一流的会话支持、可插拔的QoS级别以及一个简单的中间件链(全局、特定、多处理程序),而无需额外的JSON/XML解析。
* 提供良好的开发者体验。
快速功能列表:
* 二进制WebSocket帧——最小开销
* 内置会话层(登录/重新连接/心跳)
* QoS1/QoS2,带自动确认和重试
* 插件系统——房间、msgpack等可以一行代码添加
* 线程安全核心:RAII + folly
这个项目还处于早期阶段(个人项目),因此任何关于设计、并发模型或缺失的必备功能的反馈都将非常有帮助。
感谢您的阅读!
另外,请查看“使用BinaryRPC在5分钟内构建聊天服务器”:[https://medium.com/@efecanerdem0907/building-a-chat-server-in-5-minutes-with-binaryrpc-qos2-session-management-and-room-plugin-ccb66d722466](https://medium.com/@efecanerdem0907/building-a-chat-server-in-5-minutes-with-binaryrpc-qos2-session-management-and-room-plugin-ccb66d722466)
嗨,HN!<p>我是Elara的开发者,这是一款自动扫描您代码中的安全问题的工具,包括配置错误、秘密信息和风险包,让您可以专注于开发,而不必担心这些问题。它的设计简单且快速。<p>我看到很多人在网上发布产品,却对可能存在的安全风险一无所知。如果您是开发者或对技术感兴趣,您就知道保持系统安全有多么困难。然而,令人震惊的是,似乎没有人真正关心这个问题。<p>我希望帮助大家尽早发现这些问题,以免遭受损失。<p>Elara可以同时运行多个安全扫描器,将结果汇总到一个界面中,并为您提供一个可操作的待办事项列表,以解决这些问题。<p>尝试起来非常简单,只需用GitHub登录,亲自体验一下。<p>非常期待您的反馈!
使用Claude Code构建。没有Claude的话可能需要几天时间,但现在几个小时就完成了。
我一直在开发一个叫做 Obelis AI 的项目。基本上,我厌倦了看到初创公司(包括我之前的公司)完全忽视基础设施,直到后来变得麻烦不堪。
如果你可以在自己的 AWS 账户上获得那种“只需工作”的体验呢?这正是我们想要构建的。AI 处理 DevOps 的各种烦恼,而你仍然掌控自己的资产。
目前还处于早期阶段(测试版),但我很想听听你的想法。特别是如果你觉得这是个糟糕的主意——这些反馈通常是最有帮助的。