最新

我一直在本地/边缘机器学习中遇到同样的问题：我会查看模型卡或开始下载一个模型，但过了一会儿才意识到它几乎不适合我的设备，或者运行速度太慢，无法实际使用。 因此，我构建了willitrun，这是一个小型命令行工具，旨在提前回答这个问题。 它会检查某个模型是否可能适合并在特定设备上运行。当存在基准数据时，它会优先使用这些数据；否则，它会退回到一个轻量级的估算。目前，它覆盖了88个设备（桌面GPU、服务器硬件、Apple Silicon和NVIDIA Jetson）中的482个基准，并内置了HuggingFace模型名称解析。 现在的目标不是追求完美，而是提供足够实用的信息，以避免在手动下载或测试模型之前做出明显错误的选择。对于像Jetson Orin这样的边缘设备，它也很有用，因为你可以在不实际接触硬件的情况下检查性能。 大多数公共基准测试集中在大型语言模型（LLMs）上，但出于个人兴趣，我尝试包含其他类别。 我非常希望能收到反馈，特别是在估算不准确或基准覆盖缺失的情况下。

MAIP是一个开放标准，用于加密身份、授权和信任评分，适用于人工智能代理和自主软件系统。 https://github.com/truthlocks/maip