Instalare și configurare Ollama pe Linux și Windows

Configurare noua (How To)

Situatie

Ollama este o platformă ușor de folosit pentru rularea modelelor de inteligență artificială local, direct pe computerul tău. Dacă vrei să testezi modele precum LLaMA 3, Mistral, Gemma sau altele, fără să depinzi de cloud, Ollama este o alegere excelentă.

Ollama este un runtime pentru modele AI de tip LLM (Large Language Models). Practic, îți permite să descarci și să rulezi modele de limbaj pe propriul calculator, printr-o interfață simplă în linie de comandă.

Avantaje:

  • nu depinzi de servere externe,

  • ai control total asupra datelor tale,

  • poți testa diverse modele open-source,

  • suportă integrarea cu aplicații terțe (VSCode, Obsidian, etc.).

Solutie

Instalare Ollama pe Linux

  1. Actualizează sistemul

    sudo apt update && sudo apt upgrade -y

  2. Descarcă și instalează Ollama

    curl -fsSL https://ollama.com/install.sh | sh

  3. Verifică instalarea

    ollama --version

  4. Testează un model
    De exemplu, pentru a rula LLaMA 3:

    ollama run llama3

Instalare Ollama pe Windows

Pe Windows instalarea este și mai simplă:

  1. Intră pe site-ul oficial: https://ollama.com/download

  2. Descarcă installer-ul pentru Windows și rulează-l.

  3. După instalare, deschide Command Prompt (CMD) sau PowerShell și verifică versiunea:

    ollama --version

  4. Rulează primul model:

    ollama run llama3

Configurare Ollama

După instalare, Ollama folosește un fișier de configurare pe care îl poți ajusta.

  • Pe Linux: ~/.ollama/config.toml

  • Pe Windows: C:\Users\<nume_utilizator>\.ollama\config.toml

Aici poți seta:

  • locația modelelor (folderul unde sunt stocate),

  • resursele hardware folosite (CPU/GPU),

  • portul serverului Ollama (dacă vrei să ruleze ca API).

Exemplu de config:

[ollama]
models = "/home/user/ollama/models"
port = 11434
gpu = true

Folosirea Ollama ca API

Ollama poate rula ca server API pe localhost.

Pornește serverul:

ollama serve

Apoi poți trimite request-uri de tip REST:

curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "Scrie o poezie despre toamnă."
}'

Tip solutie

Permanent

Voteaza

Up Down
(5 din 7 persoane apreciaza acest articol)
Share
Tweet
Share

Despre Autor

Leave A Comment?