返回首页
一周热榜
嗨，HN，
有人会称在JVM上运行的人工智能是异想天开的。因此，Quixotic AI应运而生。
jinfer是一个针对JVM的推理引擎：支持聊天、视觉、音频、嵌入、重新排序和文本转语音。无需Python运行时，无需ONNX，无需Docker容器，无需侧车进程，无需进程间通信。最终，人工智能可以打包在一个罐子里。
其底层架构是为JVM构建的，而不是附加上去的：
```
toknroll：纯Java分词器，零依赖
gguf / safetensors：读取和写入llama.cpp和HuggingFace模型格式
jam：量化矩阵乘法内核，在CPU上与llama.cpp竞争
jota：针对Java、C、CUDA、HIP、Metal、OpenCL和Mojo的张量API
```
它附带了与Spring AI和LangChain4j的集成，并且与GraalVM Native Image兼容，能够生成低开销、自包含的二进制文件，启动时间仅需毫秒。
这是一个早期版本（仅支持CPU）：我特别希望能收到关于API接口的反馈。
网站： [https://qxotic.ai](https://qxotic.ai)
代码库： [https://github.com/qxoticai/qxotic](https://github.com/qxoticai/qxotic)