Usando Ollama
% ollama list
NOMBRE ID TAMAÑO MODIFICADO
deepseek-coder:6.7b ce298d984115 3.8 GB Hace 14 horas
mistral:7b f974a74358d6 4.1 GB Hace 15 horas
ollama remove model
Es una gran herramienta para usar. Hay algunos errores en Ollamac. Por ejemplo, cuando recibe una respuesta de la API local, varias cajas de texto en la aplicación se actualizan.
Sin embargo, en Linux, Ollama se ejecuta como un servicio del sistema. Aquí está el archivo de configuración del servicio:
/etc/systemd/system/ollama.service:
[Unit]
Description=Servicio Ollama
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/home/lzw/.local/bin:/home/lzw/bin:/usr/local/cuda-12.2/bin:/home/lzw/.local/share/gem/ruby/3.0.0/bin:/home/lzw/.local/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/snap/bin"
[Install]
WantedBy=default.target
Use los siguientes comandos para controlar el servicio Ollama:
sudo systemctl stop ollama.service
sudo systemctl disable ollama.service
sudo systemctl status ollama.service