Securizează Ollama local cu LiteLLM (API key + rate limit)

Home /Soluții /Securizează Ollama local cu LiteLLM (API key + rate limit)

Configurare noua (How To)

Ollama rulează AI modele local, dar fără protecție, oricine accesează portul 11434 riscă abuz (overuse GPU) sau leak-uri de date sensibile.

Soluție

Instalează LiteLLM: pip install litellm.
Creează config.yaml: model: ollama/llama3, api_key: “sk-123”, rate_limit: 10/min.
Rulează proxy: litellm --model ollama/llama3 --config config.yaml --port 4000.
Test: curl cu key valid returnează răspuns AI filtrat; invalid = 401. Protecție zero-trust pentru dev teams.

Permanent

Up Down

(0 din 0 persoane apreciaza acest articol)