Ein Besucher bat den Chatbot, ihm einen Admin-Benutzer anzulegen

Das Gespräch beginnt völlig normal. Ein Besucher öffnet den Chat auf der Website einer Webagentur und schreibt, dass er eine Website für sein Unternehmen möchte.

Der Assistent antwortet, wie er soll: individuelle Website, responsiv, suchmaschinenoptimiert, dazu der Link zum Formular für ein kostenloses Angebot. Bis hierhin eine Vertriebsanfrage, wie sie täglich eingeht.

Die vier Schritte

Die zweite Frage verschiebt das Thema.

Das wirkt wie die Neugier eines möglichen Kunden. Tatsächlich fragt die erste Frage, welche Technik hinter der Seite steckt.

Von vorn gelesen ist das keine Folge von vier Fragen. Es ist eine einzige Bitte, Schritt für Schritt angenähert: einen glaubwürdigen Kontext schaffen, das System identifizieren, nach dem Zugang fragen, bei den Zugangsdaten ankommen. Wer eine Website sucht, braucht nicht das Backend der Website derjenigen, die sie ihm bauen sollen.

Wie es ausging

Der Assistent antwortete, dass er keinen Zugriff auf das Backend hat, es nicht zeigen kann und weder Benutzer anlegen noch Zugangsdaten herausgeben kann. Auf die Frage nach der Technik zählte er die verbreitetsten Lösungen am Markt auf, ohne zu sagen, welche auf dieser Website im Einsatz ist.

Das klingt nach der Geschichte eines Assistenten, der sich gut verhalten hat. Doch darum geht es nicht.

Er hat nicht nur abgelehnt: Er konnte nicht

Der Assistent dieser Website liest die öffentlichen Inhalte der Seiten. Er hat keine Zugangsdaten, keinen Zugriff auf die Datenbank und keine Werkzeuge, um etwas anzulegen oder zu ändern. Die Bitte war nicht ausführbar: Es fehlte schlicht die technische Verbindung dafür.

Der Unterschied ist wichtiger, als er scheint.

Eine Ablehnung kann davon abhängen, wie das Modell eine Anfrage deutet, und diese Deutung lässt sich beeinflussen: durch eine andere Formulierung, eine auf mehrere Schritte verteilte Anfrage oder einen Versuch, die Anweisungen zu manipulieren. Das ist das Feld der Prompt Injection.

Hat der Agent kein Werkzeug, mit dem er Benutzer anlegen kann, kann ihm kein Satz dieser Welt diese Berechtigung verschaffen.

Die richtige Frage an Chatbot-Anbieter

Sie lautet nicht „Ist Ihr Chatbot sicher?“. Darauf antworten alle mit Ja, und die Antwort allein sagt wenig. Die nützliche Frage ist eine andere: Was kann Ihr Chatbot tun, außer zu lesen?

Die möglichen Antworten verändern das Bild vollständig.

• Er liest nur. Er greift auf die öffentlichen Inhalte der Website zu und antwortet. Er kann keine Aktionen ausführen: Gelingt eine Manipulation, bleibt das Problem auf die Antwort beschränkt, die er erzeugt.
• Er liest und schreibt in ein System. Er erfasst Reservierungen, legt Tickets an, aktualisiert Datensätze. Hier gibt es eine Angriffsfläche: Eine Aktion kann über das Gespräch angefordert oder herbeigeführt werden.
• Er hat Zugriff auf vertrauliche Daten. Er ist mit der Verwaltungssoftware, der Bestellhistorie oder der Kundendatenbank verbunden. Eine gelungene Manipulation kann über eine falsche Antwort hinausgehen.
• Er kann Einstellungen oder Benutzerkonten ändern. Das ist der Fall, der in diesem Gespräch versucht wurde. Gibt es ein solches System, muss man diese Bitte ernst nehmen.

Keine dieser Stufen ist an sich falsch. Ein Chatbot, der Reservierungen annimmt, muss schreiben können, sonst nützt er nichts. Es geht darum zu wissen, welche Berechtigungen er hat, und sie auf das Nötige zu beschränken.

Was das für Website-Betreiber bedeutet

Ein Chatbot ist ein neuer Zugangspunkt zum System. Er ist kein einfaches Kontaktformular, denn er nimmt freie Sprache an und interagiert teils mit anderen Werkzeugen. Behandeln Sie ihn wie jeden anderen Zugangspunkt: mit dem Wissen, was er erreichen kann. Drei konkrete Prüfungen.

Fragen Sie den Anbieter nach der Liste ausführbarer Aktionen

Nicht nach den beworbenen Funktionen, sondern nach den technischen Aktionen. Was kann er schreiben? Wohin? Mit welchen Berechtigungen? In welchen Systemen? Ist die Antwort vage, ist das schon eine Information.

Prüfen Sie, was er lesen kann, nicht nur, was er zeigt

Ein Assistent kann mit einem größeren Wissensbestand verbunden sein, als Sie denken: indexierte Seiten, hochgeladene Dokumente oder Bereiche, an die Sie nicht gedacht haben. Entscheidend ist, genau zu wissen, welche Inhalte erfasst wurden und welche nicht.

Lesen Sie die Gespräche

Nicht nur für das Marketing, auch für die Sicherheit. Sondierungsversuche erkennt man oft am Richtungswechsel: Man beginnt beim angebotenen Service und geht über zur Funktionsweise der Website, zu den eingesetzten Technologien, zu geschützten Bereichen, zu den Zugangswegen.

Das heißt nicht, dass jede solche Frage ein Angriff ist. Es heißt, dass es sich lohnt zu wissen, was passieren würde, wenn jemand immer gezieltere Fragen stellt.

Zusammengefasst

Dieses Gespräch hat nichts bewirkt, aber nicht nur, weil jemand gut geantwortet hat: Es gab nichts zu holen, weil der Assistent keinen Zugriff auf das nötige System hatte.

Die Sicherheit eines Chat-Assistenten misst sich nicht nur an der Qualität seiner Ablehnungen, sondern vor allem daran, wie viel er tun kann. Je weniger er tun kann, desto weniger gibt es zu verteidigen.