Inteligenta artificiala (AI)

Testarea automată a unui agent AI împotriva Prompt Injection folosind Microsoft PyRIT

Un chatbot sau agent AI poate funcționa corect pentru întrebările normale, dar poate avea un comportament diferit atunci când primește Prompt Injection, instrucțiuni codificate sau alte prompturi construite special pentru evitarea restricțiilor.

Testarea manuală cu câteva prompturi nu oferă rezultate ușor de repetat după modificarea modelului sau a aplicației. Microsoft PyRIT permite rularea automată a unor scenarii de AI Red Teaming, inclusiv teste de Prompt Injection și indirect Prompt Injection, și păstrează rezultatele fiecărei execuții pentru analiză.

[mai mult...]

Izolarea unui agent AI cu NVIDIA OpenShell pentru controlul accesului la fișiere și rețea

Agenții AI moderni nu mai sunt limitați la generarea de text. Un agent poate executa comenzi, modifica fișiere, instala pachete și accesa servicii externe.

Dacă agentul primește o instrucțiune greșită sau este afectat de Prompt Injection, aceleași capabilități pot fi folosite pentru accesarea unor resurse care nu sunt necesare. NVIDIA OpenShell permite rularea agentului într-un sandbox în care accesul la filesystem și rețea este controlat prin politici. OpenShell aplică un model restrictiv, iar căile care nu sunt declarate în politica filesystem nu sunt accesibile.

[mai mult...]