全部文章

支持关键词、标签、分类筛选。

搜索标题、摘要或标签标签分类

DeepEP是DeepSeek开源的专为混合专家（MoE）和专家并行（EP）量身定制的高效通信库。它提供高吞吐量和低延迟的GPU all-to-all内核，支持NVLink和纯RDMA转发，极大降低了大模型分布式训练与推理的通信瓶颈，是当前AI基础设施领域的关键开源组件。

Thunderbolt是由Thunderbird团队开发的一款开源、跨平台AI客户端，主打“模型自由与数据主权”。它支持全平台，兼容前沿云端模型与本地私有化部署模型。项目旨在消除供应商锁定，目前正进行安全审计，为企业级生产环境做准备，是企业和极客掌控AI基础设施的理想选择。

LiteLLM是一个开源的Python SDK和AI网关代理服务器，支持以OpenAI格式调用超过100种大语言模型API。它内置了成本追踪、安全护栏、负载均衡和日志记录等企业级功能，极大简化了多模型环境下的开发与运维工作，是当前AI应用开发中不可或缺的基础设施。