· Hugo Berton
Prompt Injection: was sie ist und wie Sie das Risiko begrenzen
Eine Prompt Injection ist ein Angriff, bei dem jemand Anweisungen in den Text schmuggelt, den ein Sprachmodell liest, damit es seine Vorgaben ignoriert. Sie ist für Sprachmodelle, was SQL-Injection für Datenbanken ist, und OWASP führt sie in seinen Top 10 für LLM-Anwendungen (Ausgabe 2025) an erster Stelle (LLM01).
Direkt und indirekt
Direkt: Der Nutzer tippt die Anweisungen selbst in den Chat.
Indirekt, und gefährlicher: Die Anweisungen stecken in Inhalten, die der Assistent selbst liest, etwa in einer E-Mail, einer Webseite oder einem Dokument. Wer den Assistenten betreibt, sieht sie womöglich nie.
Gegenmaßnahmen, die helfen
Dem Assistenten nur den nötigsten Zugriff geben und Lesen vom Handeln trennen.
Eine menschliche Freigabe für alles verlangen, was sendet, bezahlt, löscht oder einen Preis ändert.
Anweisungen und fremde Inhalte im Prompt klar trennen und Ausgaben prüfen, bevor sie etwas auslösen.
Nach jedem Wechsel von Modell oder Prompt erneut testen: Keine einzelne Maßnahme beseitigt das Risiko vollständig.