Prompting intermediate

Structured Output

Also called: JSON mode, constrained decoding

Forcing the model to return data in a fixed schema so downstream code can parse it.

Structured Output schränkt die Generierung auf valides JSON oder ein vorgegebenes Schema ein, statt zu hoffen, dass ein Prompt parsebaren Text erzeugt. Das ist der Unterschied zwischen einem Demo und einer Pipeline, weil es die ganze Fehlerklasse ‘das Modell hat vor dem JSON noch einen netten Satz ergänzt’ beseitigt.

In der Praxis: Die Garantie, dass jede Antwort invoice_number, amount und currency enthält — oder laut fehlschlägt.

Related terms

Where this comes up