Forscher fordern „Schutzengel-KI“

In vielen Bereichen nimmt der Einsatz von Künstlicher Intelligenz (KI) zu und eröffnet damit neue Möglichkeiten, beispielsweise wenn es um präzisere und schnellere Diagnosen geht. Allerdings bergen diese Anwendungen auch Risiken, insbesondere, wenn frei verfügbare Large Language Models, LLMS) im Bereich mentale Gesundheit genutzt werden.

In zwei Fachartikeln beschäftigen sich Forscher vom Else Kröner Fresenius Zentrum (EKFZ) für Digitale Gesundheit der TU Dresden und des Universitätsklinikums Carl Gustav Carus mit diesen Risiken. Sie fordern eine stärkere regulatorische Aufsicht und machen zugleich Vorschläge, wie Menschen geschützt werden könnten.

In ihrer Publikation „AI characters are dangerous without legal guardrails“ (Fachzeitschrift Nature Human Behaviour), beschreiben sie, warum klare Regeln für KI-Charaktere unbedingt erforderlich sind. Der Beitrag in npj Digital Medicine warnt vor Chatbots, die ohne medizinische Zulassung therapieähnliche Unterstützung anbieten. Als Lösung schlagen die Forscher unter anderem vor, solche Systeme als Medizinprodukte einzustufen und zu regulieren.

Anders als therapeutische Chatbots, die für medizinische Zwecke entwickelt, getestet und zugelassen wurden, sind LLMs wie ChatGPT oder Gemini nicht als therapeutische Anwendungen konzipiert oder zugelassen. Sie können aber schnell personalisiert werden und menschenähnlich reagieren. Damit gelangen KI-Charaktere ungeprüft auf den Markt. Dies kann für Menschen mit psychischen Belastungen, die unter Umständen eine starke emotionale Bindung zu diesen Charakteren aufbauen, negative Folgen haben. Die Risiken umreißt Mindy Nunez Duffourc, Mitautorin der Publikation in Nature Human Behaviours und Assistant Professor of Private Law an der Maastricht University: „KI-Charaktere fallen derzeit durch die Lücken der bestehenden Sicherheitsvorschriften. Oft werden sie nicht als Produkte eingestuft und entziehen sich daher Sicherheitsprüfungen. Und selbst dort, wo sie neu als Produkte reguliert sind, fehlen bislang klare Standards und eine wirksame Aufsicht.“

Daher sehen die Forscher dringenden Handlungsbedarf. Sie fordern für Systeme, die menschliches Verhalten imitieren, klar definierte Sicherheitsanforderungen und verlässliche rechtliche Rahmen.

Chatbots sind keine Therapeuten
Die wachsende Zahl von Chatbots, die Vorschläge zu Therapien machen oder lizenzierte medizinische Fachkräfte imitieren – ohne jegliche Zulassung – ist Thema der Publikation „If a therapy bot walks like a duck and talks like a duck then it is a medically regulated duck“ in npj Digital Medicine. Die Autoren fordern, LLMs mit solchen Funktionen als Medizinprodukte einzustufen, mit klaren Sicherheitsstandards, transparentem Systemverhalten und kontinuierlicher Überwachung.

„KI-Charaktere sind bereits Teil des Alltags vieler Menschen. Oft vermitteln diese Chatbots den Eindruck, ärztliche oder therapeutische Ratschläge zu geben. Wir müssen sicherstellen, dass KI-basierte Software sicher ist. Sie soll unterstützen und helfen, nicht schaden. Dafür braucht es klare technische, rechtliche und ethische Regeln“, sagt Stephen Gilbert, Professor für Medical Device Regulatory Science am EKFZ für Digitale Gesundheit an der TU Dresden.

Eine essenzielle Regulierung fordert auch Falk Gerrik Verhees, Psychiater am Dresdner Universitätsklinikum Carl Gustav Carus. „Als Ärztinnen und Ärzte wissen wir, wie stark menschliche Sprache das Erleben und die psychische Gesundheit beeinflusst. KI-Charaktere nutzen dieselbe Sprache, um Vertrauen und Nähe zu simulieren – deshalb ist Regulierung essenziell. Wir müssen sicherstellen, dass diese Technologien sicher sind und das psychische Wohlbefinden der Nutzerinnen und Nutzer schützen, anstatt es zu gefährden“, fügt er hinzu.

Verbindliche Sicherheits- und Überwachungsstandards
Um gefährdete Menschen zu schützen, fordern die Wissenschaftler, über die Vorgaben des europäischen AI Acts hinauszugehen. Dieser sieht lediglich vor, offenzulegen, dass es sich um Kommunikation mit einer KI handelt. Hier sollten verbindliche Sicherheits- und Überwachungsstandards angewendet werden, ergänzt durch freiwillige Leitlinien, die Entwickler dabei unterstützen, sichere Systeme zu gestalten.

So könnten künftige KI-Anwendungen mit einer Chat-Speicherfunktion ausgestattet und mit einer „Guardian Angel AI“ oder „Good Samaritan AI“ verknüpft werden, einer unabhängigen, unterstützenden KI-Instanz, die den Gesprächsverlauf überwacht und bei Bedarf eingreift. Sie könnte Nutzer aufs Hilfsangebote hinweisen oder vor riskanten Gesprächsmustern warnen.

Weitere Maßnahmen wären den Forschern zufolge eine robuste Prüfung des Alters, altersgerechte Sicherheitsmaßnahmen und verpflichtende Risikobewertungen vor Markteintritt. LLMs sollten klar kommunizieren, dass sie keine zugelassenen Medizinprodukte im Bereich mentaler Gesundheit sind. Chatbots sollten nur allgemeine, nicht-medizinische Informationen geben und nicht als Therapeuten auftreten. Außerdem sollten sie erkennen, wann professionelle Hilfe notwendig ist, und die Nutzer an geeignete Unterstützungsangebote weiterleiten. Einfache, frei zugängliche Tests könnten helfen, die Sicherheit von Chatbots fortlaufend zu überprüfen.

„Die von uns vorgestellten Leitplanken sind entscheidend, damit KI-Anwendungen auch wirklich sicher und im Sinne der Menschen eingesetzt werden“, sagt Max Ostermann, Forscher im Team für Medical Device Regulatory Science von Prof. Gilbert und Erstautor der Publikation in npj Digital Medicine.