更新Llama服务配置 | AI生成和翻译
以下是我们所做工作的总结：
服务设置
- 发现两个现有的 llama 服务：
llama-server.service（正常运行）和llama.service（损坏——路径中的P为大写导致持续崩溃循环） - 更新了
llama-server.service以匹配实际运行进程的配置，替代了过时的设置
配置变更
| 变更前 | 变更后 | |
|---|---|---|
| 模型 | DeepSeek-R1-0528-Qwen3-8B-Q4_K_M | gemma-4-E4B-it-Q5_K_M |
| 端口 | 11435 | 8081 |
| GPU 层数 | 99 | 43 |
| 上下文长度 | 8192 | 65536 |
| Flash 注意力 | — | 关闭 |
注意事项
llama.service目前仍处于启用但损坏状态——每次启动都会持续失败。建议修复路径或禁用该服务：sudo systemctl disable llama.service- 服务仍处于启用状态，因此会在下次重启时自动启动——请在准备好时（或当服务器距离较远时！）记得手动启动它
- 停止服务后 GPU 使用量从约 5.7GB 下降至 166MiB，温度维持在 35°C 空闲状态
AI生成和翻译，但整理分享仍需精力。如果觉得有帮助，欢迎
捐助支持。
微信：@lzwjava
·
X: @lzwjava ·
打个招呼 👋