PDF herunterladen
Nervenheilkunde 2025; 44(12): 830-832
DOI: 10.1055/a-2693-9467
Editorial

KI und Kinderschutz-Gesetzgebung in Kalifornien

Warum tun wir nichts?

Autoren

  • Manfred Spitzer

Weitere Informationen
Auch verfügbar auf
  Lizenzen und Reprints

Der US-amerikanische Bundesstaat Kalifornien ist die Heimat der großen Tech Giganten, weswegen dieser Staat auch der erste war, der ein Gesetz zur Regulierung digitaler Informationstechnik auf den Weg gebracht hatte. Es war dem entsprechenden Europäischen Gesetz sehr ähnlich, was die großen Firmen begrüßten, denn Europa ist der weltweit größte Markt, noch vor den USA und China. So wundert es auch nicht, dass Kalifornien – mittlerweile die Heimat der größten und bedeutsamsten KI-Firmen – der erste Staat ist, der ein KI-Gesetz am 29. September 2025 auf den Weg gebracht hat. Dessen offizieller Titel lautet „Transparency in Frontier AI Act“ [1]. Das Gesetz tritt am 1. Januar 2026 in Kraft und führt Transparenzpflichten und Whistleblower-Schutz für Menschen ein, die in der KI-Entwicklung arbeiten. Es geht um „catastrophic risks“ bei der Nutzung von „Frontier AI“. Damit sind explizit Risiken von „mehr als 50 Todesfällen und mehr als eine Milliarde US Dollar“ gemeint. Unter „Frontier AI“ sind Firmen zu verstehen, die sich an der vordersten Front der Forschung befinden und groß genug sind, um Schaden anzurichten. Dies wird explizit ökonomisch und informatisch definiert als „mehr als 500 Millionen US-Dollar in jährlichen Einnahmen“ und „Modelle mit Computern, die beim Training eine Leistung von mehr als 1026 aufbringen“, wie Scott Singer und Alasdair Phillips-Robins vom Carnegie Endowment for International Peace (CEIP), einer bereits 1910 gegründeten überparteilichen, international tätigen Denkfabrik mit Hauptsitz in Washington, D. C., und Zweigstellen in Europa, China, Indien und im Nahen Osten, kommentieren [2]. Die meisten heute existierenden großen Sprachmodelle (Large Language Modells; LLMs) wie beispielsweise auch das chinesische LLM DeepSeek sind nach diesen Maßstäben noch zu klein, um Schaden anzurichten. Faktisch gilt das Gesetz daher bislang nur für die Modelle GPT-5 der Firma OpenAI und Grok-4 Heavy der Firma xAI.

Mittlerweile hat der kalifornische Gouverneur Gavin Newsom bereits das zweite kalifornische Gesetz unterzeichnet [3], das KI reguliert und im Juli 2027 in Kraft treten soll. Konkret geht es um KI-getriebene Companion Chatbots und deren Kommunikation mit den Nutzern. Das neue Gesetz verlangt klare Auskunft, Sicherheitsmaßnahmen und verbietet bestimmte Verhaltensmuster. So dürfen sich KI-Chatbots beispielsweise nicht mehr als medizinisches Personal, Psychotherapeuten oder andere medizinische Fachkräfte ausgeben. Das ist in der Vergangenheit immer wieder geschehen und hatte fatale Folgen. Newsom kommentierte das Gesetz daher u. a. wie folgt: „Neue Technologien wie Chatbots und soziale Medien können inspirieren, bilden und verbinden – aber ohne echte Leitplanken kann Technologie unsere Kinder auch ausnutzen, irreführen und gefährden. Wir haben einige wirklich schreckliche und tragische Beispiele dafür gesehen, wie junge Menschen durch unregulierte Technologie zu Schaden gekommen sind, und wir werden nicht tatenlos zusehen, wie Unternehmen ohne die notwendigen Beschränkungen und Rechenschaftspflichten weitermachen. Wir können weiterhin eine Führungsrolle im Bereich KI und Technologie einnehmen, aber wir müssen dies verantwortungsbewusst tun – und unsere Kinder dabei in jeder Phase schützen. Die Sicherheit unserer Kinder ist nicht käuflich“.

Schon der Titel der öffentlichen Stellungnahme nimmt Bezug auf den Schutz von Kindern online: „Gouverneur Newsom unterzeichnet Gesetze zur weiteren Stärkung der Führungsrolle Kaliforniens beim Schutz von Kindern im Internet“ [4]. Anlass für das neue Gesetz war, dass ein 16-jähriger Jugendlicher aus Kalifornien – Adam Raine – Suizid beging und dabei von ChatGPT unterstützt wurde. Seine Eltern verklagen nun OpenAI, die Firma hinter dem Chatbot [5] [6]. In ähnlicher Weise soll die Social Media Plattform Character.ai mit dem Tod eines 13-jährigen Mädchens – Juliana Peralta – in Zusammenhang stehen [7]. Zudem zeigen durchgesickerte Dokumente, dass der Chatbot der Firma Meta – Meta-AI – romantische Gespräche mit Jugendlichen führte, was nicht nur im puritanischen Amerika gar nicht gut ankommt.

Bereits im Jahr 2023 hatte in Belgien ein erwachsener Mann sich das Leben genommen, nachdem ein KI-Chatbot ihn dazu ermutigt hatte, sich selbst zu opfern, um den Klimawandel zu stoppen [8] [9]. Durch Jugendliche oder junge Erwachsene durchgeführte Anstiftungen zum Selbstmord über Social Media Plattformen gibt es schon länger, wie der besonders krasse Fall des kürzlich in Hamburg festgenommenen „White Tiger“ zeigt [10]. Dieser Fall zeigt auch, wie unsere Gesetzgebung dem Zeitgeschehen gleich zweifach hinterherhinkt:

Zum einen gibt es neue kriminelle Tatbestände, die noch nicht strafrechtlich abgebildet sind, und zum zweiten sind nationale Gesetzgebungen mit (nur) nationaler Gültigkeit der internationalen Präsenz und Funktionalität von Internet, Sozialen Online-Medien und KI nicht gewachsen.

Daher gehören zu dem neuen KI-Gesetz auch Altersverifikationssysteme, die Social Media Plattformen in ihre Dienste integrieren müssen. OpenAI hat beispielsweise bereits erklärt, ab Dezember 2025 ein solches System für ChatGPT einzuführen. Das tut die Firma übrigens gerne, denn dann kann ChatGPT nicht nur romantische, sondern sogar erotische Gespräche – nur für Erwachsene – anbieten. Chatbots dürfen Jugendlichen keine Inhalte anzeigen, die für diese nicht geeignet sind. Erwachsenen Nutzern müssen sie Pausen anbieten, und wenn Gespräche aus dem Ruder laufen, müssen sie protokolliert werden, und es müssen Adressen angegeben werden, an die sich Menschen mit Problemen wenden können. Chatbots und Social Media müssen sogar vor der Nutzung von Chatbots und Social Media warnen!

Das kalifornische Bildungsministerium (California Department of Education, CDE) wird mit dem neuen Gesetz verpflichtet, eine Musterrichtlinie zum Umgang mit gemeldeten Fällen von Cybermobbing außerhalb der Schulzeit zu verabschieden. Es soll Leitlinien zur Verhinderung von Cybermobbing geben, und lokale Bildungsbehörden werden dazu verpflichtet, die Musterrichtlinie zu übernehmen oder eine ähnliche Richtlinie unter Einbeziehung lokaler Beiträge selbst zu entwickeln.

Schließlich wird die Erstellung von Deepfake-Pornografie härter bestraft, und ganz grundsätzlich werden die KI-Anbieter bei Schäden zur Verantwortung gezogen. Dabei hat das Gesetz besonders Kinder und Jugendliche im Blick, die besonders anfällig für schlechte Ratschläge sind, weil es ihnen schlichtweg an Lebenserfahrung fehlt.

Das neue KI-Gesetz richtet sich also vor allem die Probleme mit den Chatbots der Firmen Meta, OpenAI, xAI und Google, sowie Freundschafts-Chatbots wie Character.ai und Replika. Mit diesen kann man sich Freunde (KI-Companions) nach eigenen Wünschen basteln, was für Erwachsene noch angehen mag [11] [9], für Kinder und Jugendliche aber schädlich sein muss.

Der „Friend“ ist ein seit einigen Monaten in den USA erhältliches KI-Gerät von etwa der Größe und Form eines Airtags von Apple, den man als Anhänger um den Hals trägt und der über ein integriertes Mikrofon alles hört, was um den Träger herum geschieht. Man kann es antippen und gedrückt halten, um ihm eine Frage zu stellen, aber manchmal sendet es auch unaufgefordert Nachrichten – beispielsweise Kommentare zu einem gerade geführten Gespräch. Wie sein Name sagt, ist er als KI-Freund gedacht, der auf dem großen Sprachmodell Claude 3.5 von Anthropic AI basiert und immer eine Meinung zu allem hat, was um ihn herum vor sich geht, die er über Textnachrichten und Push-Benachrichtigungen auf dem mit ihm gekoppelten Smartphone mitteilt [12]. Die Leute scheinen so etwas aber nicht zu mögen. Als nämlich die gesamte New Yorker U-Bahn – die größte der Welt – nur noch mit Reklame für den Friend plakatiert war, machten sich sehr viele Menschen einen Spaß daraus, die Sprüche auf den Plakaten durchzustreichen und/oder mit kritischen bis sarkastischen Kommentaren zu versehen, wie man am 7.10.2025 in der New York Times nachlesen konnte [13]. „Es wird oft von einer bevorstehenden Übernahme durch künstliche Intelligenz gesprochen. Aber fragen Sie jemanden, der kürzlich mit der New Yorker U-Bahn gefahren ist, und er wird Ihnen wahrscheinlich sagen, dass sie bereits da ist“, beginnt der Artikel. Aber außer Elon Musk und Marc Zuckerberg, die beide der Meinung sind, dass Menschen künftig vor allem mit KI-Freunden zusammen sein werden, möchte dies offenbar sonst kaum jemand [14].

Lassen wir nochmals den Gouverneur von Kalifornien zu Wort kommen: „Alles, was wir tun, beginnt bei unseren Kindern – ihrer Sicherheit, ihrer Gesundheit und ihrem Wohlergehen. Kalifornien war schon immer führend in Sachen Innovation, aber echte Führungsstärke bedeutet auch, Grenzen zu setzen, wenn es darauf ankommt, denn unsere Kinder verdienen eine Welt, in der sie mehr geschätzt werden als die Technologie, die sie umgibt. Diese Gesetzesvorlagen schaffen Leitplanken, welche die Gesundheit und Sicherheit unserer Kinder schützen und gleichzeitig dafür sorgen, dass Innovationen verantwortungsbewusst vorangetrieben werden. Damit zeigen wir, dass wir beides gleichzeitig erreichen können, immer mit Blick auf zukünftige Generationen,“ kommentiert er sein neues Gesetz. Der Mann ist unseren Politikern weit voraus!



Publikationsverlauf

Artikel online veröffentlicht:
28. November 2025

© 2025. Thieme. All rights reserved.

Georg Thieme Verlag KG
Oswald-Hesse-Straße 50, 70469 Stuttgart, Germany