Ce algoritmi sunt in spatele unui LLM? Cum functioneaza?

Configurare noua (How To)

Situatie

Toata lumea vorbeste cu ChatGPT sau Gemini, iar uneori pare ca e atat de naturala interactiunea cu aceste modele, incat poti uita ca nu vorbesti cu un om. Un LLM (Large Language Model) nu “gandeste”. Este doar matematica statistica impinsa la o scara absurda, incercand sa ghiceasca urmatorul cuvant dintr-o propozitie.

Dar cu ce difera de “autocompletare”?

Solutie

Aparent asa suna, dar sub capota diferenta este colosala. Autocompletarea clasica de pe telefon sau de pe Google este un algoritm “miop”. Foloseste lanturi Markov sau arbori simpli de decizie. Se uita doar la ultimul cuvant sau la ultimele cateva caractere tastate. Daca scrii “Buna”, iti sugereaza “dimineata” doar pentru ca a vazut combinatia asta statistica de milioane de ori. Nu intelege deloc de ce o spui.

Un LLM, in schimb, proceseaza contextul global, gratie unei arhitecturi revolutionare numite Transformer. Inainte de acest model lansat in 2017, AI-ul citea textele cuvant cu cuvant, liniar. Daca ii dadeai un paragraf mai lung, uita repede de la ce a plecat discutia pana ajungea la final. Transformer-ul a rezolvat problema “amneziei” printr-un mecanism genial numit “Self-Attention”.

Cand ii scrii un prompt lung, algoritmul nu citeste orbeste de la stanga la dreapta. El atribuie instantaneu scoruri matematice de relatie intre absolut toate cuvintele din propozitia ta. Daca spui “am pus banii in banca” si “am stat pe banca”, mecanismul de Attention se uita la cuvintele din jur (banii vs stat) si separa matematic contextul financiar de cel de relaxare in parc. Autocompletarea normala s-ar fi pierdut aici si ti-ar fi sugerat aceleasi continuari in ambele cazuri.

Reteaua neuronala dintr-un LLM contine miliarde de parametri. Nu sunt linii de cod scrise de mana, ci niste “greutati” (weight-uri) invatate pe parcursul lunilor in care algoritmul a fost pus sa citeasca absolut tot internetul. Cand ii ceri sa iti scrie o functie in Python, el nu cauta in vreo arhiva. El aplica acele scoruri de atentie pe promptul tau, ruleaza ecuatii de probabilitate gigantice si da afara litera cu litera raspunsul cu cel mai mare procent de corectitudine. Totul se intampla intr-o fractiune de secunda.

Tip solutie

Permanent

Voteaza

(5 din 11 persoane apreciaza acest articol)

Despre Autor

Leave A Comment?