展示HN:一个简约的本地LLM集群代理(约1100行)1 分•作者: snowy_robolamp•5 天前•原帖大家好!<p>我在家搭建了一个小型GPU集群时制作了这个小代理,想与朋友们分享,同时保持速度限制和令牌计数。<p>我也花了很多精力让它尽可能快速运行,我认为这个结果值得分享!<p>期待听到你们的反馈 :)<p>附注:也可以通过 pip install smol-llm-proxy 安装。