Open WebUI – cum îți faci propriul “ChatGPT” privat, accesibil de oriunde – Askit | Solutii si rezolvari pentru diverse situatii IT

Situatie

Există o nevoie tot mai mare de utilizare a modelelor de limbaj (LLM) pentru asistență în programare, analiză de documente și generare de conținut, însă soluțiile comerciale (ex: ChatGPT, Claude) implică trimiterea datelor sensibile în cloud și costuri recurente de abonament.

Soluția propusă este implementarea Open WebUI, care transformă motorul Ollama într-o suită completă de productivitate, similară cu ChatGPT Plus/Enterprise. Aceasta aduce funcționalități critice care lipsesc din Ollama standard: RAG (Retrieval Augmented Generation) pentru analiza documentelor PDF/DOCX, acces la Căutare Web în timp real, generare de imagini, suport multi-user și o interfață grafică modernă, accesibilă din browser de la distanta prin (desktop/mobil/laptop) .

Functionalitati:

Chat cu propriile Documente (RAG):
- Ollama CLI: Nu poate citi fișiere direct.
- Open WebUI: Are un sistem integrat de vectorizare. Poți încărca PDF-uri, fișiere Excel sau Word direct în chat (folosind butonul + sau tastând #). Modelul va răspunde strict pe baza informațiilor din documentele tale.
Web Search Integration:
- Ollama CLI: Modelele sunt limitate la data antrenării (knowledge cutoff).
- Open WebUI: Se poate conecta la Google/DuckDuckGo. Dacă întrebi “Care este prețul acțiunilor Nvidia azi?”, AI-ul va căuta pe net și va sintetiza răspunsul actual.
Memorie și Istoric:
- Salvează toate conversațiile pe titluri, le poți arhiva, șterge sau continua oricând (Ollama CLI pierde sesiunea la închidere).
Comparare Modele (Arena Mode):
- Poți rula două modele simultan (ex: Llama 3 vs Mistral) în aceeași fereastră pentru a vedea care generează un cod sau un text mai bun.
Multi-User & Securitate:
- Permite crearea de conturi pentru mai mulți utilizatori (colegi), cu roluri de Admin sau User, fiecare având propriul istoric privat de conversații.

Documentatie oficiala : https://docs.openwebui.com/

Interfata:

Solutie

Pasi de urmat

Pentru a rula Open WebUI, avem nevoie de un backend care să gestioneze modelele (Ollama) și de Docker pentru interfață.

Instalare Ollama:
- Descărcați și instalați Ollama de pe site-ul oficial (ollama.com).
- Verificați funcționarea în terminal: ollama run llama3 (pentru a descărca un model de test).
Instalare Docker Desktop:
- Asigurați-vă că Docker este instalat și rulează pe mașina gazdă.

Instalarea Open WebUI prin Docker

Vom folosi o comandă Docker care instalează interfața și o conectează automat la instanța locală de Ollama. Rulați următoarea comandă în CMD sau Terminal (cu drepturi de administrator):

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Explicatie: Portul 3000 va fi folosit pentru accesare. Datele utilizatorilor sunt salvate în volumul open-webui.
Accesare: Deschideți browserul la http://localhost:3000. Primul cont creat va fi automat Administrator.

Pentru a accesa AI-ul de pe telefon sau din afara rețelei fără a expune porturi vulnerabile (Port Forwarding), folosim Cloudflare Tunnel.

Instalați serviciul cloudflared pe mașina gazdă.
Rulați comanda de tunelare către portul local: cloudflared tunnel --url http://localhost:3000
Serviciul va genera un link unic temporar (sau permanent dacă este configurat cu domeniu propriu) prin care puteți accesa interfața securizat (HTTPS).

Alternativ: Se poate folosi VPN (ex: Tailscale) instalat pe ambele dispozitive.

Tip solutie

Permanent

Follow Us