27. V14: Bürger*innenrechte wahren und Nachhaltigkeit beim Einsatz von Künstlicher Intelligenz und Automatisierten Entscheidungssystemen in der Landesverwaltung

Die Umweltverwaltung nutzt ein KI-basiertes Tool zur Grundwasserbewirtschaftung;die Amtliche Statistik erprobt die automatisierte echtzeitdatenbasierte Prognose künftiger demographischer Entwicklungen; die Finanzverwaltung plant die Einführung eines Chatbot zur Grundsteuerreform; und das Landeskriminalamt greift auf ein Gesichtserkennungssystem zur automatisierten Identifizierung von Personen zu.

Diese Beispiele aus der Antwort der Landesregierung auf die Kleine Anfrage der Fraktion BÜNDNIS 90/DIE GRÜNEN zum Einsatz von Künstlicher Intelligenz (KI) und weiteren (Teil-)Automatisierten Entscheidungssystemen (ADM-Systeme) in der Landesregierung zeigen: Der Einsatz von ADM-Systemen (darunter fallen KI-Systeme)ist auch in der Landesregierung keine bloße Zukunftsvision. ADM-Systeme sind zwar noch nicht überall Teil des Verwaltungsalltags, erhalten aber zunehmend Einzug in die Landesregierung. Entsprechend erarbeitet die Landesregierung aktuell Eckpunkte für eine Landesstrategie Künstliche Intelligenz, die auch das Handlungsfeld „Verwaltung“ adressieren soll.

Mit den immer vielfältigeren Anwendungen der Künstlichen Intelligenz und weiteren ADM-Systemen verbindet sich das Versprechen, dass diese auch im Bereich der öffentlichen Verwaltung zu Prozessoptimierung und Effizienzsteigerung, einer verbesserten Servicequalität und zu einer evidenzbasierten Entscheidungsfindung insgesamt beitragen können.

Allerdings können ADM-Systeme auch zu Diskriminierung und Fehlentscheidung führen. Dabei sind es nicht nur qualitativ mangelhafte Datengrundlagen und die aus ihnen resultierenden Datenverzerrungen, die zu diskriminierenden Auswirkungen führen können. Der Einsatz von ADM-Systemen interagiert mit dem spezifischen gesellschaftlichen Kontext, in dem sie eingesetzt werden und damit unweigerlich mit dessen Normen, Werten und strukturellen Ungleichheiten. Gesellschaftliche Gruppen, die bereits Diskriminierung erleben, sind entsprechend tendenziell stärker von den negativen Auswirkungen von ADM-Systemen betroffen.

Neben den Nutzenversprechen müssen deshalb auch die Risiken für die von ADM Entscheidungen Betroffenen realistisch eingeschätzt werden. Wir fordern dazu, dass der Einsatz von ADM-Systemen in Behörden der Landesregierung transparent behandelt und risikobasiert bewertet wird. Prozesse der Folgenabschätzung, Dokumentations- und Transparenzpflichten und ein verwaltungsinterner Kompetenzaufbau sollen sicherstellen, dass ADM-Systeme diskriminierungsfrei und grundrechtskonform eingesetzt werden.

Wir Bündnisgrüne setzen uns insbesondere für folgende Maßnahmen zur Sicherstellung eines Bürger*innenrechte wahrenden und nachhaltigen Einsatz von (Teil-)Automatisierten Entscheidungssystemen in der Landesverwaltung ein:

Verpflichtende Folgenabschätzung: Die Landesregierung soll dazu verpflichtet werden, die potenziellen Risiken des Einsatzes von ADM-Systemen systematisch im Rahmen einer Einzelfallbewertung zu prüfen, zu bewerten und in einem öffentlich zugänglichen Folgenabschätzungsbericht transparent zu machen, sodass die Öffentlichkeit Zugang zu den Ergebnissen der Folgeabschätzung hat. Die öffentlich zugängliche Folgenabschätzung des Einsatzes von ADM-Systemen soll eine Prüfung der potenziellen Auswirkungen auf das Recht auf informationelle Selbstbestimmung umfassen und sich darüber hinaus auch auf weitere Grundrechte,insbesondere den Gleichheitsgrundsatz, sowie auf das ökologische Wohlergehen erstrecken. Zu dieser Folgenabschätzung soll unter Beteiligung von Wissenschaft und Zivilgesellschaft ein Bewertungsschema entwickelt werden, das sich insbesondere an dem Ansatz zur Risikobewertung des Entwurfs zur EU KI-Verordnung orientiert.

Widerspruchs- und Einsichtsmöglichkeiten: Betroffene Personen sollen – etwa auf der Grundlage des Allgemeinen Gleichbehandlungsgesetzes – niedrigschwellig Rechtsmittel gegen eine Verwaltungsentscheidung, die mit Unterstützung von ADM- Systemen getroffen wurde, einlegen können. Um die öffentliche Rechenschaftspflicht und Anfechtbarkeit von (teil-)austomatisiertem Verwaltungshandeln sicherzustellen, sollten Personen deshalb mindestens gleichwertige Möglichkeiten zur Anfechtung falscher oder diskriminierender (teil-)automatisierter Entscheidungen haben, wie beim nicht-automatisierte Verwaltungshandeln. Dazu müssen die von einer ADM basierten Verwaltungsentscheidung betroffenen Personen Zugang zu allen relevanten Informationen, die sie zur Nachvollziehbarkeit der Entscheidung benötigen,erhalten.

Verpflichtendes Transparenzregister für ADM-Systeme: Um eine demokratische Kontrolle von (teil-)automatisierten Verwaltungshandeln zu ermöglichen, soll ein öffentliches Register mit allen wichtigen Informationen zu den von Behörden der Landesregierung eingesetzten ADM-Systemen und ihrem Nutzungskontext gesetzlich verankert werden. Das Transparenzregister sollte Auskunft darüber geben, welches Entscheidungsmodell verwendet wird und von wem es entwickelt wurde sowie von welcher Behörde es zu welchem Zweck einsetzt wird. Auch die verpflichtende Folgenabschätzung hinsichtlich grundrechtlich schützenswerter Güter und ökologischer Kriterien sollte in Form eines Folgenabschätzungsberichts in diesem öffentlichen Register verfügbar sein. Für Fälle, in denen gesetzliche Bestimmungen einen öffentlichen Zugriff auf den Folgenabschätzungsbericht einschränken, sollte eine Instanz genannt werden, die den Folgenabschätzungsbericht einsehen darf.

Verantwortlichkeit: ADM-Systeme sollen in der Landesverwaltung nur unter menschlicher Aufsicht und unter Nennung einer verantwortlichen Person innerhalb der Behörde verwendet werden. Es muss möglich sein, dass Verwaltungsentscheidungen, die auf dem Einsatz von ADM-Systemen beruhen oder durch diese vorbereitet wurden durch die verantwortliche Person der Behörde abgeändert werden können.

Die Durchführung einer derartigen Folgenabschätzung, die Schaffung von Widerspruchs- und Einsichtsmöglichkeiten, eines Transparenzregisters, sowie klarer Verantwortlichkeiten soll auch für private Unternehmen, die im Auftrag einer öffentlichen Behörde oder im Rahmen von Public-Private-Partnerships (PPP) handeln und ADM-Systeme einsetzen, verpflichtend sein.

Verwaltungsinterner Kompetenzaufbau: Es sollten verwaltungsinterne Kompetenzen innerhalb der Landesregierung für den Einsatz von ADM-Systemen aufgebaut werden, um den nutzenstiftenden und bürger*innenrechte wahrenden Einsatz von ADM- Systemen in der Verwaltung in der Praxis sicherzustellen. Hierzu soll eine Kompetenzstelle, die neben unabdingbaren IT-Kenntnissen, auch Kompetenzen zur Datennutzung, Kompetenzen zur Folgenabschätzung, Kompetenzen zur IT-Beschaffung sowie Kompetenzen im Bereich Organisationsentwicklung umfasst, eingerichtet werden.

Kontinuierliches Qualitätsmanagement: Die Richtigkeit, Zuverlässigkeit und Vertrauenswürdigkeit von ADM-Systemen muss engmaschig und regelmäßig nach gängigen organisatorischen und technologischen Standards überprüft werden. Verletzungen der Qualitätsstandards erfordern eine sofortige Weiterentwicklung des betroffenen ADM-Systems bis hin zur auch zeitweisen Aussetzung der Nutzung, bis die Qualitätsstandards wieder erfüllt sind.