Inteligenta artificiala (AI)

Testarea automată a unui agent AI împotriva Prompt Injection folosind Microsoft PyRIT

Un chatbot sau agent AI poate funcționa corect pentru întrebările normale, dar poate avea un comportament diferit atunci când primește Prompt Injection, instrucțiuni codificate sau alte prompturi construite special pentru evitarea restricțiilor.

Testarea manuală cu câteva prompturi nu oferă rezultate ușor de repetat după modificarea modelului sau a aplicației. Microsoft PyRIT permite rularea automată a unor scenarii de AI Red Teaming, inclusiv teste de Prompt Injection și indirect Prompt Injection, și păstrează rezultatele fiecărei execuții pentru analiză.

[mai mult...]