Back to Lobehub

本地模型与云端 AI 并行使用

docs/changelog/2024-02-14-ollama.zh-CN.mdx

2.1.561.5 KB
Original Source

本地模型与云端 AI 并行使用

云端模型固然强大,但有时你需要数据留在本地。可能是敏感项目,可能是想免去 API 费用做实验,也可能只是希望完全掌控整个技术栈。LobeHub v0.127.0 现已支持 Ollama,无论模型运行在云端还是本地机器,你都能获得一致的对话体验。

无需学习新界面,无需割裂工作流程。将 LobeHub 指向你的 Ollama 实例,即可开始对话。

一行命令连接本地模型

启动过程非常简单。如果你已运行 Ollama,只需一条 Docker 命令即可连接:

bash
docker run -d -p 3210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434/v1 lobehub/lobe-chat

仅此而已。LobeHub 会自动检测本地模型,并在你切换 GPT-4、Claude 等模型的同一处列出它们。根据每次对话的需求,自由混用云端和本地模型。

本地模型的适用场景

  • 隐私优先工作:敏感对话全程留在本地
  • 成本控制:实验性使用无需按 token 付费
  • 离线使用:无网络连接时仍可继续工作
  • 模型测试:生产部署前评估开源模型效果

体验优化与修复

  • 新增 Ollama 端点自动模型发现功能
  • 修复本地模型兼容性的流式响应处理问题
  • 优化 Ollama 服务不可达时的错误提示

致谢

衷心感谢实现 Ollama 集成的社区贡献者,以及 Ollama 团队打造的易用本地 AI 基础设施。