vLLM
推理引擎高性能 LLM 推理与服务引擎,PagedAttention 与连续批处理大幅提升吞吐,已成为生产环境部署开源模型的事实标准之一。
精选开源 AI 项目与前沿工具,覆盖推理、Agent、多模态与应用开发
共 12 个项目
高性能 LLM 推理与服务引擎,PagedAttention 与连续批处理大幅提升吞吐,已成为生产环境部署开源模型的事实标准之一。
本地一键运行大语言模型,支持 Llama、Qwen、DeepSeek、Gemma 等主流模型,覆盖 macOS / Linux / Windows。
AI 软件开发智能体平台,可自动完成编码、测试、调试与部署流程,适合作为研发团队的 Agent 底座。
高性能 LLM 推理与服务引擎,PagedAttention 与连续批处理大幅提升吞吐,已成为生产环境部署开源模型的事实标准之一。
本地一键运行大语言模型,支持 Llama、Qwen、DeepSeek、Gemma 等主流模型,覆盖 macOS / Linux / Windows。
AI 软件开发智能体平台,可自动完成编码、测试、调试与部署流程,适合作为研发团队的 Agent 底座。
开源 LLM 应用开发平台,可视化编排 AI 工作流,内置 RAG、Agent 与多模型接入,降低企业落地门槛。
LangChain 团队推出的有状态 Agent 编排框架,支持循环、分支与持久化,适合构建可靠的多步骤智能体。
统一高效的大模型微调框架,支持 100+ LLM / VLM,覆盖 LoRA、QLoRA、全参微调与导出部署全流程。
功能完善的自托管 AI 对话界面,可对接 Ollama、OpenAI 兼容 API,支持知识库、多用户与插件扩展。