GitHub AI Trending·· 19 天前评分68
xorbitsai/inference: Swap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.
摘要
通过修改一行代码即可将GPT替换为任何LLM。Xinference允许您在云、本地或笔记本电脑上运行开源、语音和多模态模型，所有通过统一、生产级的推理API实现。星标：9653，语言：Python。
推荐理由
请对照GitHub AI Trending原文，核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：GitHub AI Trending · github.com