Wenn KI das Netz überwacht: Wer kontrolliert die Kontrolleure?

Wir finanzieren KIVI über unseren Rundfunkbeitrag. Die KI durchsucht öffentliche Kommunikation nach möglichen Rechtsverstößen. Doch wer bestimmt, was dabei ins Visier gerät?

Gastbeitrag von Nathalie Sanchez Friedrich

Stell dir vor, du sitzt abends auf dem Sofa und liest einen Beitrag über den Ukrainekrieg, Migration oder die Corona-Zeit. Du ärgerst dich, schreibst einen Kommentar und veröffentlichst ihn. Vielleicht widersprichst du der Bundesregierung, einem Journalisten oder einfach deinem Nachbarn. Du äußerst deine Meinung, vollkommen legal.

Trotzdem kann dein öffentlicher Beitrag von einem KI-System erfasst und analysiert werden, das im Auftrag der deutschen Landesmedienanstalten nach möglichen Rechtsverstößen sucht.

Es heißt KIVI.

Der Name setzt sich aus „KI“ und dem lateinischen „vigilare“ zusammen: wachsam sein. Entwickelt wurde KIVI ab 2020 im Auftrag der Landesanstalt für Medien Nordrhein-Westfalen durch das Berliner Unternehmen Condat. Heute nutzen alle 14 Landesmedienanstalten das System. KIVI kann täglich mehr als 10.000 öffentliche Social-Media-Profile und Webseiten überprüfen. 1

Gesucht wird unter anderem nach Volksverhetzung, Holocaustleugnung, Gewaltdarstellungen, verfassungsfeindlichen Kennzeichen oder frei zugänglicher Pornografie.

KIVI löscht keine Beiträge und verhängt keine Strafen. Das System sucht nach möglichen Verstößen, die anschließend von Menschen geprüft werden. 2

Doch die Dimension ist neu: Ein Mensch kann einige Beiträge lesen. Eine KI kann tausende Angebote an einem einzigen Tag durchsuchen. Und darunter kann auch dein Kommentar sein.

KIVI – Wer kontrolliert die Kontrolleure

Wie entscheidet KIVI, was verdächtig ist?

KIVI analysiert Texte, Bilder, Videos und Audiodateien. Dabei arbeitet das System unter anderem mit Suchbegriffen und trainierten Erkennungsmustern. Aus großen Mengen öffentlicher Kommunikation werden so Inhalte herausgefiltert, die anschließend genauer geprüft werden. 3

Zahlen aus dem Niedersächsischen Landtag zeigen, wie wichtig die menschliche Prüfung ist. Für die Jahre 2022 und 2023 hatte KIVI bundesweit rund 45.000 potenzielle Verstöße identifiziert. 42.500 sogenannte Tickets wurden geprüft, 10.000 davon als tatsächliche Verstöße bewertet. Die Trefferquote lag damit bei etwa 22 bis 25 Prozent. Bei Volksverhetzung betrug sie rund 20 Prozent, bei Holocaustleugnung etwa 50 Prozent. 4

Die Zahlen zeigen, dass rund drei Viertel der maschinell erzeugten Verdachtsfälle nach menschlicher Prüfung nicht als Rechtsverstoß bewertet wurden.

Damit wird die Auswahl durch die KI relevant. Denn bevor ein Mensch über einen möglichen Rechtsverstoß entscheidet, hat die Maschine bereits ausgewählt, welcher Beitrag überhaupt als verdächtig geprüft wird.

Aus Informationsfreiheitsanfragen wissen wir, dass KIVI zumindest in früheren Versionen auch mit einer sogenannten Whitelist arbeitete. Webseiten auf dieser Liste wurden nicht nach potenziellen Rechtsverstößen durchsucht. Die Landesanstalt für Medien NRW erklärte 2022, darauf befänden sich unter anderem Angebote, die sie für „unbedenklich“ halte. 5

Ob diese Whitelist heute noch in gleicher Form besteht, ist öffentlich nicht eindeutig dokumentiert.

Wer bestimmt also, welche Kommunikation eine staatlich eingesetzte KI genauer betrachtet und welche nicht?

Was weiß KIVI über dich?

Nehmen wir wieder deinen Kommentar. Damit KIVI feststellen kann, ob er möglicherweise rechtswidrig ist, muss das System ihn zunächst erfassen und analysieren.

Die Datenschutzhinweise der Landesmedienanstalten zeigen, welche Daten dabei verarbeitet werden können: Kontaktdaten, URLs, Fotos, Audio- und Videoaufnahmen, Reaktionen und regionale Angaben. Hinzu kommen besonders geschützte personenbezogene Daten wie religiöse und weltanschauliche Überzeugungen, Angaben zur sexuellen Orientierung und ausdrücklich politische Meinungen. 6

Das heißt nicht, dass KIVI Menschen nach ihrer politischen Gesinnung sortiert. Dafür gibt es keinen Beleg. Aber um rechtswidrige Inhalte zu finden, analysiert das System zwangsläufig auch legale Kommunikation.

Und „öffentlich gepostet“ bedeutet nicht „datenschutzrechtlich bedeutungslos“. Auch öffentlich zugängliche personenbezogene Daten dürfen staatliche Stellen nicht nach Belieben erheben, verarbeiten, speichern oder weitergeben.

Daten können in entsprechenden Fällen an Strafverfolgungsbehörden übermittelt werden. 7 Eine Antwort der Thüringer Landesregierung vom August 2026 liefert weitere Details: Suchergebnisse werden demnach auf Servern von Amazon Web Services in Dublin verarbeitet und analysiert. Für die Bildanalyse kommt Amazon Rekognition zum Einsatz. Auch mögliche Datenübermittlungen in Drittländer im datenschutzrechtlichen Sinne werden bestätigt; die Landesregierung verweist hierfür auf entsprechende Schutzmechanismen. 8

Eine feste Speicherdauer nennen die Datenschutzhinweise zudem nicht. Daten werden so lange gespeichert, wie dies für die „legitimen Zwecke der Verarbeitung“ erforderlich ist. 9

Damit stellt sich für jeden Betroffenen eine einfache Frage: Was geschieht mit meinem Beitrag und meinen Daten, wenn die menschliche Prüfung ergibt, dass überhaupt kein Rechtsverstoß vorliegt?

Und wer bezahlt KIVI?

Wir selbst.

Die Landesmedienanstalten finanzieren sich zu einem wesentlichen Teil aus dem Rundfunkbeitrag. Nach § 10 Rundfunkfinanzierungsstaatsvertrag stehen ihnen 1,8989 Prozent des Rundfunkbeitragsaufkommens zu. Bei einem monatlichen Rundfunkbeitrag von 18,36 Euro entspricht das rechnerisch knapp 35 Cent je Beitragszahler im Monat. 10

Aus den Haushalten der Landesmedienanstalten wurden nach Auskunft der Landesanstalt für Medien NRW auch Entwicklung und Betrieb von KIVI finanziert. 11

Das heißt: Bürger finanzieren über ihren Rundfunkbeitrag eine Medienaufsicht mit, die wiederum ein KI-System finanziert, das auch ihre öffentliche Kommunikation automatisiert durchsuchen kann.

Der Journalist Norbert Häring hat zusätzlich recherchiert, dass der KIVI-Entwickler Condat für andere KI-Projekte staatliche Fördermittel erhalten hat. Ein direkter Zusammenhang dieser Bundesförderungen mit der Entwicklung von KIVI ist allerdings nicht belegt. Die Landesanstalt für Medien NRW erklärt, die Entwicklung von KIVI sei nicht durch Dritte finanziert worden. ¹¹

Belegt ist dagegen, dass die Erweiterung von KIVI auf englische und arabische Inhalte 2025 durch die Staatskanzlei Nordrhein-Westfalen gefördert wurde. 12

Gerade weil es sich um öffentlich finanzierte Medienaufsicht handelt, sind Transparenz und Kontrolle keine Nebensache.

Erst einsetzen und danach die gesetzliche Grundlage schaffen?

KIVI wird seit Jahren eingesetzt. Eine ausdrückliche Regelung für den Einsatz solcher technischen Mittel im Medienstaatsvertrag soll aber erst jetzt geschaffen werden.

Die Medienanstalten leiten den bisherigen Einsatz aus ihren allgemeinen gesetzlichen Aufsichtsbefugnissen und den jeweiligen Landesgesetzen ab. Den geplanten § 109a Medienstaatsvertrag verstehen sie als Klarstellung, nicht als nachträgliche Erlaubnis einer bislang rechtswidrigen Tätigkeit. 13

Trotzdem drängt sich eine Frage auf: Erst eine KI zur automatisierten Durchsuchung öffentlicher Kommunikation einsetzen und anschließend die ausdrückliche gesetzliche Grundlage dafür schaffen?

Die Medienanstalten schreiben selbst, dass eine ausdrückliche gesetzliche Ermächtigungsgrundlage für den Einsatz solcher technischen Mittel bislang weder im Medienstaatsvertrag noch im Jugendmedienschutz-Staatsvertrag enthalten war. Sie halten den Einsatz aufgrund der allgemeinen Aufsichtsbefugnisse dennoch für rechtmäßig. ¹³

Der neue § 109a soll den Einsatz nun ausdrücklich regeln. Text-, Bild-, Audio- und Videoinhalte dürfen danach automatisiert auf mögliche Rechtsverstöße abgeglichen werden. Eine ausschließlich automatisierte abschließende Entscheidung soll nicht zulässig sein. Die Ergebnisse müssen von Menschen geprüft werden. 14

Die technische Entwicklung ist der ausdrücklichen gesetzlichen Regelung damit vorausgeeilt.

Ob die bisherigen allgemeinen Befugnisse juristisch ausreichend sind, sollen Juristen beurteilen. Politisch stellt sich eine andere Frage: Sollte bei einem so grundrechtssensiblen Instrument nicht zuerst klar geregelt sein, was der Staat darf, bevor er die technischen Möglichkeiten schafft und einsetzt?

Wer kontrolliert die Kontrolleure?

KIVI dürfte die Arbeit der Medienanstalten erheblich erleichtern. Allein die Landesanstalt für Medien NRW berichtete Anfang 2025 von mehr als 40.000 überprüften Funden seit Einführung von KIVI und mehr als 8.600 eingeleiteten Verfahren.¹²

Doch Effizienz darf bei staatlicher Kontrolle nicht der einzige Maßstab sein.

Wer legt die Suchkriterien fest? Wie wird überprüft, ob bestimmte Themen oder politische Milieus häufiger erfasst werden? Wie oft liegt die KI falsch? Was geschieht mit den erhobenen Daten? Und wer stellt sicher, dass aus einem Instrument zur Suche nach Rechtsverstößen nicht schleichend eine Infrastruktur zur Beobachtung legaler Kommunikation entsteht?

Nicht jede technische Einzelheit kann öffentlich sein. Eine vollständige Liste aller Suchbegriffe könnte tatsächlichen Rechtsverletzern helfen, die Suche zu umgehen.

Aber zwischen vollständiger Offenlegung und einer Blackbox liegt viel Raum für demokratische Transparenz.

Wer staatliche Kontrolle technisch leistungsfähiger macht, muss gleichzeitig die Kontrolle über den Staat stärken.

Wie viel Kontrolle verträgt eine freie Gesellschaft?

Für dieBasis steht bei der Digitalisierung der Mensch im Mittelpunkt. In unserem Bundestagswahlprogramm heißt es:

„Über der Machbarkeit stehen für dieBasis immer die menschlichen und gesellschaftlichen Grundwerte.“

Technischer Fortschritt soll dem Menschen dienen. Technik darf nicht dazu benutzt werden, Menschen zu zensieren, zu steuern oder zu kontrollieren. Informationelle Selbstbestimmung, Meinungsfreiheit, Transparenz und Machtbegrenzung gehören zu den Maßstäben, an denen wir staatliches Handeln messen. 15

KIVI berührt all diese Fragen.

Das Internet ist kein rechtsfreier Raum. Wer Menschen bedroht, zu Gewalt aufruft oder andere strafbare Inhalte verbreitet, muss mit den Mitteln des Rechtsstaates verfolgt werden können. Aber ein legitimes Ziel rechtfertigt nicht automatisch jedes Mittel.

Stell dir deshalb noch einmal deinen Kommentar vom Anfang vor. Du hast niemanden bedroht und nicht zu Gewalt aufgerufen. Du hast eine politische Meinung geäußert. Vielleicht eine unbequeme, vielleicht eine, die der Mehrheit widerspricht.

In einer freien Gesellschaft darfst du das.

Deshalb muss ein Rechtsstaat nicht nur Straftaten verfolgen. Er muss ebenso die Freiheit derjenigen schützen, die sich legal äußern.

Je leistungsfähiger staatliche Kontrollinstrumente werden, desto klarer müssen ihre gesetzlichen Grenzen sein. Ihre Kriterien müssen nachvollziehbar, ihre Fehler überprüfbar und ihr Einsatz demokratisch kontrollierbar sein.

Nicht alles, was technisch möglich ist, muss politisch richtig sein.

Die Frage ist also nicht, ob der Rechtsstaat illegale Inhalte verfolgen darf. Die Frage lautet vielmehr, welche Grenzen gelten, wenn er dafür öffentliche Kommunikation automatisiert und dauerhaft beobachtet.

Beides gehört zu einer ehrlichen Debatte.

Quellen und Links
  1. Landesanstalt für Medien NRW: KI in der Medienaufsicht – KIVI. https://www.medienanstalt-nrw.de/themen/ki-in-der-medienaufsicht.html ↩︎
  2. Niedersächsischer Landtag, Unterausschuss Medien, 11. Sitzung vom 3. April 2024: Arbeitsweise und Trefferstatistik von KIVI. https://www.landtag-niedersachsen.de/parlamentsdokumente/niederschriften_ausschuesse/19_wp/uamedien/011_UAMedien_03.04.2024.pdf ↩︎
  3. siehe 2 ↩︎
  4. siehe 2 ↩︎
  5. Landesanstalt für Medien NRW, Auskunft nach Informationsfreiheitsgesetz zur KIVI-Whitelist, 4. Mai 2022. https://fragdenstaat.de/anfrage/eintrage-der-whitelist-von-kivi/ ↩︎
  6. Datenschutzhinweise der Landesmedienanstalten zur Datenverarbeitung beim Einsatz von KIVI. https://www.nlm.de/datenschutz/datenverarbeitung-beim-einsatz-des-aufsichtstools-kivi ↩︎
  7. siehe 6 ↩︎
  8. Thüringer Landtag, Drucksache 8/4158 vom 19. August 2026: Antwort der Landesregierung zum Einsatz von KIVI. https://parldok.thueringer-landtag.de/ParlDok/dokument/108949 ↩︎
  9. siehe 6 ↩︎
  10. § 10 Abs. 1 Rundfunkfinanzierungsstaatsvertrag: 1,8989 Prozent des Rundfunkbeitragsaufkommens für die Landesmedienanstalten. https://www.gesetze-bayern.de/Content/Document/RFinStV/true ↩︎
  11. Norbert Häring: Der Entwickler des KIVI-Schnüffelprogramms der „staatsfernen“ Landesmedienanstalten bekam Millionen von der Bundesregierung, 2. September 2026; dort dokumentierte Auskunft der LfM NRW zur Finanzierung von KIVI. https://norberthaering.de/propaganda-zensur/condat-ag-foerderung/ ↩︎
  12. Landesanstalt für Medien NRW: Für mehr Sicherheit im Netz, 7. Februar 2025; Erweiterung von KIVI auf englische und arabische Inhalte mit Förderung der Staatskanzlei NRW. https://www.medienanstalt-nrw.de/presse/pressemitteilungen/pressemitteilungen-2025-02/fuer-mehr-sicherheit-im-netz.html ↩︎
  13. Entwurf und Stellungnahme zum § 109a Medienstaatsvertrag, EU-Notifizierungsverfahren 2025/0777/DE. https://technical-regulation-information-system.ec.europa.eu/de/notification/27550 ↩︎
  14. siehe 13 ↩︎
  15. dieBasis: Bundestagswahlprogramm 2025, Kapitel Digitalisierung. https://diebasis-partei.de/wp-content/uploads/2025/01/dieBasis-Programm-BTW-2025-final.pdf ↩︎
 

Kontakt zur Redaktion: redaktion@diebasis-partei.de

Schlagwörter