Red Teaming

Il red teaming è test avversariale: delle persone cercano di far produrre al modello output dannosi, falsi o fuori policy, e i risultati rientrano nell’addestramento e nei guardrail. Si distingue dalla valutazione normale perché è creativo e aperto, invece che misurato su un insieme fisso di prove. Per i modelli di frontiera è sempre più un’aspettativa normativa.

In pratica: Venti persone che passano una settimana a provare a far promettere a un bot di supporto rimborsi che non può onorare.