展示 HN:在 CPU 服务器上运行 PyTorch,将内核卸载到远程 GPU 上

1作者: medicis123大约 16 小时前原帖
我们已向所有用户开放WoolyAI GPU虚拟化试用。<p><a href="https:&#x2F;&#x2F;woolyai.com&#x2F;signup&#x2F;" rel="nofollow">https:&#x2F;&#x2F;woolyai.com&#x2F;signup&#x2F;</a><p>- 更高的GPU利用率与更低的成本 通过WoolyAI的服务器端调度器、显存去重和SLO感知控制,每个GPU可以处理更多任务。 - GPU可移植性 在NVIDIA和AMD后端上运行相同的机器学习容器,无需代码更改。 - 硬件灵活性 在仅有CPU的机器上开发/运行;在您的远程GPU池上执行内核。
查看原文
We have opened the WoolyAI GPU hypervisor trial to all.<p><a href="https:&#x2F;&#x2F;woolyai.com&#x2F;signup&#x2F;" rel="nofollow">https:&#x2F;&#x2F;woolyai.com&#x2F;signup&#x2F;</a><p>- Higher GPU utilization &amp; lower cost Pack many jobs per GPU with WoolyAI’s server-side scheduler, VRAM deduplication, and SLO-aware controls. - GPU portability Run the same ML container on NVIDIA and AMD backends—no code changes. - Hardware flexibility Develop&#x2F;run on CPU-only machines; execute kernels on your remote GPU pool.