llama.cppを試す
llama.cpp
llama.cppをモデルと共に実行しようとすると、このようなエラーが発生することがあります。
% ./main -m models/7B/Phi-3-mini-4k-instruct-q4.gguf
main: build = 964 (f3c3b4b)
main: seed = 1737736417
llama.cpp: loading model from models/7B/Phi-3-mini-4k-instruct-q4.gguf
error loading model: unknown (magic, version) combination: 46554747, 00000003; is this really a GGML file?
llama_load_model_from_file: failed to load model
llama_init_from_gpt_params: error: failed to load model 'models/7B/Phi-3-mini-4k-instruct-q4.gguf'
main: error: unable to load model
このエラーは、mainプログラムを実行していることが原因です。build/binにあるllama-cliまたはllama-serverプログラムを実行すると、問題が解決するはずです。
mainプログラムは2023年8月8日に作成されたものであり、現在のビルドではありません。
別の解決策として、Homebrewを使用してllama.cppをインストールすることもできます。
brew install llama.cpp
これにより、互換性のあるバージョンのライブラリがインストールされます。
Ollama
% ollama list
NAME ID SIZE MODIFIED
deepseek-coder:6.7b ce298d984115 3.8 GB 14 hours ago
mistral:7b f974a74358d6 4.1 GB 15 hours ago
ollama remove model
これは非常に便利なツールです。Ollamacにはいくつかのバグがあります。例えば、ローカルAPIからレスポンスを受け取ると、アプリのいくつかのテキストボックスが更新されます。
しかし、Linuxでは、Ollamaはシステムサービスとして実行されます。サービス設定ファイルは次のとおりです。
/etc/systemd/system/ollama.service:
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/home/lzw/.local/bin:/home/lzw/bin:/usr/local/cuda-12.2/bin:/home/lzw/.local/share/gem/ruby/3.0.0/bin:/home/lzw/.local/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/snap/bin"
[Install]
WantedBy=default.target
Ollamaサービスを制御するには、次のコマンドを使用します。
sudo systemctl stop ollama.service
sudo systemctl disable ollama.service
sudo systemctl status ollama.service
LLM Farm
これは優れたiOSアプリです。設定には約20個のモデルがあります。Hugging FaceからダウンロードしたGGUFモデルを自分でインポートすると、クラッシュすることがあります。
利点
これらのLLMモデルを自己ホスティングすることで、ネットワークアクセスなしにローカルで実行できます。例えば、ネットワークを輻輳させるような大きなファイルをダウンロードする場合、ローカルモデルを実行すると有益です。