Im Jahr 2025 sind in Deutschland mehr als 15.000 Verstöße gegen den Jugendschutz registriert worden. Besonders häufig ging es dabei um sexualisierte Gewalt. Der Bericht zeigt zugleich, dass künstliche Intelligenz die Risiken deutlich verschärfen kann – etwa wenn KI-Tools leicht nutzbar sind und Inhalte schneller sowie in größerem Umfang entstehen und verbreitet werden.
Der Jahresbericht von jugendschutz.net wurde unter anderem mit Bundesfamilienministerin Karin Prien (CDU) vorgestellt. Darin wird beschrieben, dass Kinder und Jugendliche in beliebten Anwendungen in sozialen Netzwerken immer wieder mit Hass, sexualisierter Gewalt und politischem Extremismus konfrontiert werden. Insgesamt wurden über 15.000 Verstöße gegen den Jugendschutz erfasst; 93 Prozent davon entfielen auf sexualisierte Gewalt.
Als zentrale Schwachstelle gilt, dass Plattformen Gefahren häufig nicht schnell genug oder nicht ausreichend wirksam unterbinden. Besorgniserregend sei dabei vor allem, dass frei zugängliche KI-Anwendungen zahlreiche Risiken massiv verstärken können, sagte Prien. Mit wenigen Klicks lassen sich demnach täuschend echte Deepfakes, sexualisierte Gewaltbilder oder manipulative Inhalte erzeugen und verbreiten.
Prien betonte, dass KI inzwischen immer stärker in den Alltag eingezogen sei und besonders die junge Generation häufig darauf zurückgreife. Zugleich stellt sich die Frage, welche Folgen das für das Miteinander hat.
Ein weiterer Schwerpunkt des Berichts liegt auf sogenannten Charakter-Bots, die Gespräche mit KI-Charakteren ermöglichen. Solche Systeme können etwa den Aufbau romantischer Beziehungen zu Figuren aus Lieblingsserien unterstützen. Aus Sicht der Jugendschützer ist das problematisch, weil sich bei Heranwachsenden ein hohes Suchtpotenzial entwickeln kann und die Grenzen zwischen Fantasie und Realität zunehmend verschwimmen.
Weil die Bots außerdem Ratschläge geben, können Kinder und Jugendliche zusätzlich mit schädlichen Inhalten in Kontakt geraten. Im Bericht wird ein konkretes Beispiel geschildert: Die Jugendschützer baten den Bot, eine Feier zum 15. Geburtstag zu planen. Zwar riet die KI von Drogen ab, empfahl jedoch einen sehr großen Vorrat an Alkohol. Für zehn Gäste im Alter von 15 Jahren nannte die Anwendung mindestens 50 Liter Bier, 20 Flaschen Sekt sowie fünf Liter Wodka. Problematisch seien dabei zudem zweifelhafte Trainingsdaten oder unzureichend konfigurierte Sicherheitseinstellungen, heißt es im Bericht.
KI-Chatbots werden derweil von vielen Jugendlichen bereits selbstverständlich genutzt. Für die Altersgruppe von zehn bis 17 Jahren gehören solche Tools laut Angaben in dem Bericht längst zum Alltag, auch über den schulischen Bereich hinaus. Eine DAK-Studie wird dabei genannt: Demnach nutzt mehr als jeder Dritte die Angebote regelmäßig, nicht nur für Hausaufgaben.
Auch bei Bild- und Influencer-Inhalten sieht der Jugendschutz neue Herausforderungen. Künstlich generierte Influencer sowie manipulierte Darstellungen würden den Druck auf Jugendliche erhöhen, heißt es. KI-Modelle zeigten eine Vielzahl unrealistischer Körperbilder und könnten damit das Risiko für Essstörungen steigern – insbesondere bei Jugendlichen, die mit ihrem Körper hadern. Zudem werden KI-Erotikmodels als Lockmittel beschrieben, die Follower auf Plattformen mit pornografischen Inhalten ziehen.
Im Bereich der Kommunikation über WhatsApp wird zudem auf neue Community-Funktionen verwiesen. Seit 2025 seien Kanäle dort grundsätzlich öffentlich, und laut Bericht betreiben inzwischen selbst 11-Jährige Kanäle mit Zehntausenden Followern. Das steigere das Risiko, dass problematische Inhalte leichter Reichweite gewinnen.
Parallel dazu hat Justizministerin Hubig einen Gesetzentwurf gegen digitale Gewalt vorgelegt. Künftig soll demnach das Erstellen und Verbreiten sexualisierter, pornografischer Deepfakes strafbar sein.
Besonders kritisch sehen die Jugendschützer zudem den Musikdienst Spotify. Der Bericht beschreibt, dass dort Texte zu sexualisierter Gewalt gegen Minderjährige auffindbar seien sowie Playlists mit suizidalen Botschaften und verfassungsfeindlichen Symbolen. Auch hier spiele KI eine Rolle, etwa weil Systeme Musik mit extremistischen Texten generieren können. Von einer neuen Dimension spricht die Direktorin der Medienanstalt Rheinland-Pfalz, Eva-Maria Sommer: Es gehe nicht mehr nur um einzelne Lieder, sondern um die Wirkung vieler Inhalte.
Als weiteres Problem wird die Reaktionsgeschwindigkeit der Plattformen beim Löschen angezeigter Inhalte dargestellt. Im Feld des politischen Extremismus habe etwa eine große Plattform bei Anzeigen durch Nutzende lediglich in einem sehr kleinen Anteil reagiert – es werden zwei Prozent genannt. Inhalte, die jugendschutz.net als Institution gemeldet habe, seien dagegen deutlich häufiger entfernt worden.
Der Bericht stellt außerdem klar, dass Cybermobbing viele junge Menschen betrifft. Entschlossene Maßnahmen der EU zum Schutz von Kindern und Jugendlichen im Netz sollen helfen. Der Grundsatz lautet dabei: Was offline illegal ist, muss auch online illegal sein.
Stefan Glaser, Leiter von jugendschutz.net, ordnet das Problem auch technisch ein. Er sagt, es sei möglich, dass Inhalte altersgerecht ausgespielt werden und eine wirksame Altersprüfung stattfinde. Familienministerin Prien will deshalb eine Regulierung der Anbieter auf europäischer Ebene vorantreiben. Sie verwies darauf, dass Kinderschutz bedeute, sich mit den Machtstrukturen in der digitalen Welt auseinanderzusetzen und bereit zu sein, sich notfalls auch mit ihnen anzulegen.
Prien hob zudem hervor, dass Plattformen vor allem auf Gewinnmaximierung ausgerichtet seien. Deshalb sei eine gesetzliche Regulierung von Social Media notwendig. Ergänzend brauche es Medienkompetenzunterricht, sagte Suchtexperte Manfred Patzer-Bönig.
Dorthe Ferber wird im Bericht als Korrespondentin im ZDF-Hauptstadtstudio Berlin genannt.
Wichtiger Hinweis in eigener Sache
Unser Nachrichtenangebot – jetzt als bevorzugte Quelle bei Google
Wer bei Google etwas sucht, erhält neben den Suchergebnissen auch eine Box mit Schlagzeilen. Mit ZDFheute als hinterlegter Quelle würden Inhalte häufiger in diese Schlagzeilen-Box gespielt, damit Leserinnen und Leser geprüfte Beiträge direkt in ihrem Überblick sehen können. Der Hinweis lautet, ZDFheute als bevorzugte Quelle einzustellen.
