Situatie
Echipa de dezvoltare are nevoie de acces la un LLM (Large Language Model) pentru a procesa log-uri sensibile, dar politica de securitate interzice trimiterea datelor către OpenAI/Google API public. Serverul este un Ubuntu 22.04.
Solutie
Pasi de urmat
Instalarea framework-ului Ollama folosind comanda oficială în terminal: curl -fsSL https://ollama.com/install.sh | sh
Pornirea serviciului și verificarea statusului: systemctl start ollama systemctl status ollama
Descărcarea modelului Llama3 (versiunea 8b instruct): ollama pull llama3
Testarea funcționalității direct din terminal pentru a confirma că modelul răspunde: ollama run llama3 "Scrie un script bash pentru backup mysql"
Configurarea Ollama să asculte pe toate interfețele (pentru acces din rețea) editând serviciul systemd (se adaugă variabila Environment="OLLAMA_HOST=0.0.0.0").
Leave A Comment?