Zum 20. Mal wurden vom Verein quintessenz am Freitag die Big Brother Awards im Rabenhoftheater verliehen. Worum geht es dabei?

„Die Sicherung der Privatsphäre wird im Zeitalter der globalen Kommunikation zur wesentlichen demokratischen Herausforderung. Es ist hoch an der Zeit, öffentlich auf die Gefahren der Unversehrtheit unserer Daten-Integrität hinzuweisen“, heißt es auf der Website.

Ich bin seit 2015 Teil der Jury, weil ich mich praktisch das ganze Jahr über bei meiner Arbeit als Netzpolitik- und Technologie-Journalistin mit Privatsphäre & Datenschutz-Themen befasse, und durfte als Jurymitglied auch 2019 wieder eine Laudatio halten – dieses Jahr in der Kategorie „Politik“.

Hier gibt es einen Überblick über alle Nominierten. Und hier einen Überblick über alle Gewinner aller Kategorien.

Leider nicht gewonnen hat der AMS-Algorithmus. Meine Rede dazu will ich euch trotzdem nicht vorenthalten:

Profiling durch AMS-Algorithmus

Algorithmen beeinflussen mittlerweile viele unserer Lebensbereiche. Zwei Dinge sollte man dabei auf keinen Fall vergessen: Computerbasierte Systeme können zu Diskriminierung führen und sie können fehlerhaft sein. Es ist daher besonders kritisch, wenn ein Staat auf solche Systeme setzt und es für Betroffene keinen Mechanismus gibt, sich dagegen zu wehren, wenn eine Entscheidung falsch ist.

Das Arbeitsmarktservice (AMS) darf ein Computerprogramm einsetzen, um die Arbeitsmarktchancen von Arbeitslosen zu bewerten. Das Programm wurde bereits vom Verwaltungsrat abgenickt, befindet sich derzeit im Testbetrieb und soll ab Mitte 2020 österreichweit in den Echtbetrieb wechseln.

Wer arbeitslos wird und sich beim AMS meldet, wird vom Algorithmus bewertet und in eine von drei Gruppen eingeteilt. Im Segment A befinden sich Personen mit sehr guten Integrationschancen ohne Unterstützungsbedarf, im Segment B die Personen mit mittleren Integrationschancen, die „notwendige Unterstützung“ – also Förderungen – bekommen sollen, und im Segment C die Personen mit „geringen Integrationschancen“ in den Arbeitsmarkt. Diese Gruppe wird an eine externe Beratungsagentur ausgelagert und soll unter anderem mit Musik- und Sportprogrammen beschäftigt werden.

Frauen bekommen vom Computerprogramm per se Punkteabzüge, weil sie Frauen sind, ebenso gesundheitlich Beeinträchtigte, aber auch der Wohnort spielt eine Rolle. Diskriminierung? Ja! Laut AMS sei das eine „Abbildung des Marktes“. Laut AMS trifft am Ende auch ein Mensch – der Sachbearbeiter – die finale Entscheidung über die Einstufung. Doch diese sind meistens nicht in der Lage, die Entscheidungen zu hinterfragen – aus Zeitgründen, weil sie viele Menschen gleichzeitig betreuen müssen, oder aber aus anderen Gründen. Maschinen eilt der Ruf voraus, neutral und objektiv zu sein. Doch das sind sie nicht. Doch wie viele Mitarbeiter sind dann wirklich so gut geschult, dass sie etwa erkennen können, wenn eine Maschine einen Fehler gemacht hat? Im Oktober war das bei 30.000 Menschen der Fall, wie vor kurzem bekannt wurde. 30.000 Menschen wurden vom System falsch eingestuft.

Die Entscheidung sind für den Einzelnen weitreichend – trotzdem können sie sich nicht wehren. Die EU-Datenschutzgrundverordnung hat dem Profiling, der automatischen Bewertung einer Person und ihres Verhaltens zwar besondere Beachtung geschenkt, aber das gilt nur für die automatisierte Bewertung. Wenn Sachbearbeiter das letzte Wort haben, spricht man nur von einer Teilautomatisierung und hier entsteht dadurch eine Gesetzeslücke, weil Menschen plötzlich kein Widerspruchsrecht mehr haben.

Carla Hustedt, die zu Algorithmenethik forscht, empfohl daher im Interview mit mir: Wir brauchen wesentliche Veränderungen, bevor derartige Systeme wirklich in den Echtzeitbetrieb gehen: Einen Kompetenzausbau auf allen Ebenen, die Stärkung von Kontrollinstitutionen, die Überarbeitung rechtlicher Rahmenbedingungen bis hin zu einer breiten gesellschaftlichen Debatte über den Einsatz von algorithmischen Systemen. Gerade der öffentliche Sektor ist ein sensibler Bereich, weil Menschen amtlichen Entscheidungen nicht entgehen können. Dort sind die Transparenzforderungen besonders hoch. Es braucht hier auf jeden Fall unabhängige Prüforganisationen und Beschaffungsstandards, die Kontrolle ermöglichen.

Und es braucht auch funktionierende Datenschutzrechte für Betroffene, damit sich diese auch gegen falsche Einstufungen wehren können.