自托管本地Copilot替代方案 | AI生成和翻译
你在寻找开源工具来实现本地的“类Copilot”体验——能够自己运行(使用自己的token或模型),或许还能集成到VS Code或其他IDE中。不需要表格,只需清晰简洁的说明。以下是知名度较高的选择:
Tabby
一个用Rust编写的自托管AI编程助手。它开源、无需外部服务,并提供OpenAPI风格的接口——使得与本地IDE和基础设施的集成变得简单直接。它甚至支持消费级GPU和编辑器集成,包括Vim/Neovim。(GitHub, Software Recommendations Stack Exchange)
FauxPilot
一个开源项目,旨在作为GitHub Copilot的本地托管替代方案。它利用Salesforce的CodeGen模型,通过NVIDIA的Triton Inference Server(和FasterTransformer)运行。可通过Docker部署,兼容类Copilot客户端,在拥有性能足够的GPU时表现最佳。(GitHub)
Privy
另一个MIT许可的、在本地运行的开源工具。它提供类似GitHub Copilot的实时代码补全和聊天功能。它可以与Ollama、llama.cpp或llamafile等LLM运行时集成,并根据你的硬件支持流行的编程模型(如CodeLlama变体)。(GitHub)
GPT4All, Continue, LocalPilot (及类似工具)
与Tabby和FauxPilot一同被提及的几个自托管工具;它们提供注重本地隐私的编程辅助。虽然通常不那么完善,但在硬件限制或特定工作流程需要时,它们是可行的选择。(Virtualization Howto)
Ollama (配合 Docker)
本身并非完整的Copilot替代品,而是一个强大的用于本地运行LLM的开源工具。你可以通过Docker使用Ollama托管像Phi-2这样的模型,然后通过LLM扩展(例如Hugging Face的 llm-vscode)连接到VS Code。这使你基本上可以与本地模型聊天或获得代码辅助。(Tommaso Colella, Reddit)
社区热议
来自Reddit的讨论:
- “使用Ollama AI在Docker服务器上免费自托管你自己的‘Copilot’”——强调了Ollama的有效性及其与VS Code的集成。(Reddit)
- “Tabby(现在)是最受欢迎的‘开源且本地’工具”——指出其日益增长的应用。(Reddit)
总结建议
- 如果你想要一个成熟完善的开源Copilot替代品: 从 Tabby 开始。
- 如果你想要更接近Copilot基础设施的东西(并且拥有不错的GPU): 试试 FauxPilot。
- 如果你想要代码补全+聊天功能,并且在模型/运行时选择上更灵活: 尝试 Privy。
- 想要完全控制端点和模型? 将 Ollama 与你自己的LLM配对,然后使用标准的LLM接口进行连接。
你的后续步骤
- 评估硬件: FauxPilot和Privy可能需要不错的GPU;Tabby更轻量。
- 选择一个运行时/框架:
- Tabby:具有编辑器支持的全面选择。
- FauxPilot:类似Copilot,使用Docker和Triton。
- Privy:灵活、模型无关的设置。
- Ollama + LLM:纯粹的DIY——如果你习惯自己构建端点,这是个好选择。
- 连接到你的IDE: VS Code(或其他IDE)支持通过本地端点使用这些工具,就像Copilot一样。
如果你需要针对任何特定工具的入门帮助或设置步骤指导,请告诉我!