von Jens Hälterlein
Der polizeiliche Einsatz von biometrischer Gesichtserkennung (BG) ist eine der umstrittensten Anwendungen Künstlicher Intelligenz (KI). Im Kern geht es darum, ob dem Sicherheitsversprechen der Technologie oder der von ihr ausgehenden Gefahr der Einschränkung von Grund- und Bürgerrechten eine größere Bedeutung beigemessen wird. Die Annahme einer hohen Leistungsfähigkeit der eingesetzten Systeme muss relativiert werden – und damit auch das Sicherheitsversprechen. Zudem hat der Einsatz von BG diskriminierende Effekte.
Nachdem die Europäische Kommission 2021 einen ersten Vorschlag für eine Regulierung von KI-Anwendung auf EU-Ebene vorgelegt hatte (Artificial Intelligence Act),[1] kam es im Zuge des Gesetzgebungsverfahren zu einer intensiven Kontroverse. Im Sommer 2023 machte das Europäische Parlament umfangreiche Änderungsvorschläge, um den Grundrechteschutz zu stärken. Bestimmte KI-Praktiken sollten grundsätzlich verboten werden, da sie nicht mit den in der EU geltenden Grundrechten und Werten vereinbar wären. Zu den genannten Praktiken gehört auch die biometrischer Gesichtserkennung (BG) in öffentlichen Räumen (Art. 5). Dies entsprach der Forderung eines Bündnisses von zivilgesellschaftlichen Initiativen sowie einer Viertelmillion EU-Bürger*innen, die ihre Unterstützung der von mehr als 80 NGOs organisierten Kampagne Ban Biometric Mass Surveillance in Europe geäußert hatten. In der (vorläufigen) Kompromissfassung vom Dezember 2023, auf die sich das Europäische Parlament, der Rat der Europäischen Union und die Europäische Kommission einigten, werden jedoch Ausnahmen von einem allgemeinen Verbot der Massenüberwachung definiert, bei denen Sicherheitsinteressen die Risiken der Technologie für Grundrechte überwiegen würden: wenn der Einsatz von BG zur Echtzeit-Überwachung verwendet wird, um terroristischen Anschläge zu verhindern oder nach vermissten Personen zu suchen, aber auch, wenn BG eingesetzt werden soll, um im Rahmen von Strafverfahren Tatverdächtige zu ermitteln.[2]
Während zivilgesellschaftliche Akteure wie Reclaim Your Face betonen, dass diese Regulierung und insbesondere die erwähnten Ausnahmeregelungen den Einsatz von BG legitimieren und dadurch gerade verstärken wird und somit eine unverhältnismäßige Einschränkung von Bürgerrechten drohe, legitimieren Befürworter der BG deren Einsatz im öffentlichen Raum als notwendige Maßnahme zum Schutz der Freiheit der Bürgerinnen und Bürger. Dieses techno-wissenschaftliche Sicherheitsversprechen basiert nun ganz wesentlich auf der Annahme einer (jedenfalls mittlerweile) hohen Leistungsfähigkeit der Systeme. Im Folgenden werde ich jedoch zeigen, dass diese Annahme nicht zutrifft und dass der Einsatz von BG darüber hinaus diskriminierende Effekte hat, die sich auch durch technische Verbesserung nicht verhindern lassen.
Die Leistungsfähigkeit von Gesichtserkennung
Ursprünglich war die Entwicklung von Gesichtserkennungssystemen kein kommerzielles, sondern ein mathematisches Unterfangen, das insbesondere in den USA von Militär und Sicherheitsbehörden finanziert und unterstützt wurde. Erst im Zuge des Krieges gegen den Terror verband sich mit BG auch ein kommerzielles Interesse. Nach den Terroranschlägen vom 11. September 2001 warben die Anbieter von Gesichtserkennungssystemen schnell für deren Nutzen bei der Verhinderung künftiger Terroranschläge.[3] Auch wird die Forschung an BG seitdem stärker durch nationale und EU-finanzierte Programme für angewandte Forschung gefördert – und dies nicht nur mit dem Ziel der Verbrechensbekämpfung, sondern auch zur Ankurbelung einer wachsenden Sicherheitswirtschaft unter dem Schlagwort der „zivilen Sicherheit“.
In den 2000er Jahren erwies sich die Technologie jedoch noch nicht als einsatzbereit. Einige Systeme waren zwar in der Lage, Personen in kontrollierten Umgebungen zuverlässig zu identifizieren, wenn das Bild des Gesichts einer Person mit einem bereits vorhandenen Bild in einer Datenbank abgeglichen wurde und beide Bilder bestimmte Qualitätsstandards erfüllten. In komplexeren Situationen, in denen kein standardisiertes Bild zum Vergleich vorlag und deshalb auf Vergleichsbilder zurückgegriffen werden musste, die ebenfalls unter realen Bedingungen aufgenommen wurden, sank die Genauigkeitsrate der gleichen Algorithmen jedoch enorm.[4] Die Versprechen der Sicherheitsindustrie erwiesen sich als völlig überzogen. Infolgedessen lehnten sogar die Planer der Olympischen Winterspiele 2002 in Salt Lake City (USA) den Einsatz von BG ab, und zwar auf dem Höhepunkt der Sicherheitsdebatte nach dem 11. September.[5]
Die Entwicklungen im Bereich der künstlichen Intelligenz haben in den 2010er Jahren dazu geführt, dem Sicherheitsversprechen der BG neue Glaubwürdigkeit zu vermitteln. Dies beruht vor allem auf der verstärkten Anwendung von KI-Methoden aus den Bereichen des Deep Learning und der Künstlichen Neuronalen Netze. Dies war lange Zeit nicht möglich, da diese Algorithmen mit sehr großen Mengen an Daten trainiert und getestet werden müssen, diese jedoch für den Bildabgleich nicht in ausreichender Menge und Qualität verfügbar waren. Noch bis Anfang der 2010er Jahre wurde dementsprechend ein großer Teil der Arbeit im Bereich der Entwicklung von BG auf die Erstellung von Datenbanken, meist in künstlichen Umgebungen, und die anschließende manuelle Aufbereitung der Daten verwendet. Entwickler*innen baten beispielsweise Freiwillige oder Mitglieder ihres Labors, für Fotos oder Videos zu posieren. Auch arbeiteten in den USA die DARPA (Defence Advanced Research Projects Agency) und das NIST (National Institute of Standards and Technology) bei der Erstellung großer Datenbanken zusammen, um neue Gesichtserkennungssysteme für Sicherheitsbehörden trainieren und testen zu können.
Heutzutage ist derlei inszenierte Unterstützung von Behörden nicht mehr notwendig. Zum einen können Algorithmen trainiert und getestet werden, indem das Internet nach Bildern von Gesichtern durchforstet wird. Für Empörung sorgte der Fall ClearviewAI. 2002 wurde bekannt, dass die Firma ohne Kenntnis der Betroffenen die Bilder von drei Milliarden Menschen genutzt hatte. Ihr System kam in den USA, UK und Australien zum Einsatz.[6] Zum anderen haben große Technologieunternehmen wie Facebook (heute META) und Amazon begonnen, ihre eigenen Gesichtserkennungssysteme zu entwickeln. Diese werden für das automatische „Foto-Tagging“ in sozialen Medien oder das Entsperren von Smartphones verwendet. Die Nutzer*innen trainieren diese Systeme mit, indem sie Bilder von sich selbst und anderen zur Verfügung stellen, bei der Identifizierung von Personen auf Bildern („Tagging“) helfen oder die Identität von automatisch getaggten Personen manuell bestätigen.
Im Zuge dieser Entwicklung hat sich die Leistung von Gesichtserkennungsalgorithmen deutlich verbessert, zumindest im Rahmen von Evaluationsstudien wie dem Face Recognition Vendor Test (FRVT). Der FRVT wird vom NIST durchgeführt und dient dazu, auf dem Markt verfügbare sowie Prototypen von Gesichtserkennungsalgorithmen zu bewerten und den US-Regierungs- und Strafverfolgungsbehörden Informationen zur Verfügung zu stellen, damit sie entscheiden können, wo und wie die Technologie am besten eingesetzt werden kann. Das NIST begann im Jahr 2000 mit der Bewertung und Einstufung von Gesichtserkennungsalgorithmen durch den FRVT und hat seine Bewertungskriterien als Reaktion auf technologische Innovationen in diesem Sektor kontinuierlich erweitert. Seitdem wurden insgesamt 215 Gesichtserkennungsalgorithmen evaluiert.[7] Der FRVT konzentriert sich auf drei Evaluationskriterien: eine Falsch-Positiv-Rate, d. h. die Anzahl der Bilder, die als (mögliche) Übereinstimmung klassifiziert werden, aber tatsächlich verschiedene Personen zeigen; eine Falsch-Negativ-Rate, d. h. die Anzahl der Bilder, die als zu verschiedenen Personen gehörig eingestuft werden, aber tatsächlich dieselbe Person zeigen; und die Selektivität, die bewertet, wie viele mögliche Übereinstimmungen ein Algorithmus oberhalb eines vorher festgelegten Schwellenwerts liefert.[8] Im Jahr 2010 erreichte der beste Algorithmus eine Trefferquote von 92 Prozent beim Identifizieren von Personen auf Fahndungsfotos, die mit in einer Datenbank von 1,6 Millionen Bildern abgeglichen werden mussten. Im Jahr 2018 stellte das NIST massive Fortschritte fest, die mit dem Einsatz von Künstlichen Neuronalen Netzen erklärt werden. Die besten Algorithmen können nun Personen anhand eines unter realen Bedingungen aufgenommenen Profilbildes identifizieren, indem sie es mit einer Frontalansicht aus der Datenbank abgleichen und zwar ungefähr so genau, wie die besten Algorithmen von vor einem Jahrzehnt beim Abgleich von zwei Frontalbildern.[9]
Erkenntnisse aus der praktischen Anwendung
Allerdings deuten aktuelle unabhängige Evaluationen des polizeilichen Einsatzes von BG darauf hin, dass sich außerhalb des Labors nicht viel geändert hat. Als die Londoner Metropolitan Police zwischen 2016 und 2019 den neuesten Stand der Technik bei der Identifizierung von Einzelpersonen erprobte, beauftragte sie ein Team der University of Essex mit einer unabhängigen Studie. Im Bericht des Teams heißt es, dass die verwendete Technologie in einem der Versuche 42 Passant*innen als „Treffer“ markierte, d. h. als in einer polizeilichen Datenbank von Verdächtigen oder gesuchten Straftäter*innen erfasst. 16 dieser Treffer wurden von den Beamt*innen im Kontrollraum als nicht glaubwürdig abgewiesen. Unter den am Ende tatsächlich kontrollierten 22 Personen waren nur acht korrekte Treffer.[10] Von der Polizei wurde diese Falsch-Positiv-Rate jedoch als „winzig“ bezeichnet, angesichts des Umstands, dass viele Tausende von Gesichtern gescannt wurden.[11]
Als die deutsche Bundespolizei zwischen 2017 und 2018 drei kommerziell erhältliche Gesichtserkennungssysteme in einem Versuch am Bahnhof Berlin Südkreuz testete, wurde im Vorfeld nicht festgelegt, was ein akzeptables oder gar ein gutes Testergebnis sein würde. Laut offiziellem Abschlussbericht haben die Systeme die Teilnehmer*innen mit einer Genauigkeit von 80% identifiziert und wurden somit als einsatzfähig bezeichnet.[12] Diese Behauptung stieß jedoch auf Kritik. Tatsächlich schwankten die Trefferquoten zwischen 65,8% und 12%. Lediglich die Kombination der drei verschiedenen Systeme ergab höhere Trefferquoten.[13] Davon unabhängig würde aber auch eine Genauigkeitsrate von 80% bei täglich mehreren tausend gescannten Gesichtern eine Zahl von falsch-positiven Treffern bedeuten, die kaum tragbar wäre.
Neben den Unterschieden bei der Bewertung von Testergebnissen zeigen diese Beispiele, dass die Genauigkeit der Technologie je nach Anwendung und Kontext variiert. So lässt sich aus dem Umstand, dass die BG in einem Smartphone trotz Veränderungen im Erscheinungsbild der Benutzer*innen zuverlässig funktioniert, keineswegs schließen, dass bei Anwendung auf Bilder, die „in freier Wildbahn“ aufgenommen wurden, und beim Abgleich mit großen Datenbanken die gleiche Leistung erzielt wird.
Bereits sehr früh wurde von kritischen Überwachungsforscher*innen wie David Lyon[14] darauf hingewiesen, dass wir bei der Analyse und Kritik von Überwachungstechnologien darauf achten müssen, die Fallstricke des technologischen Determinismus zu vermeiden, der die gesellschaftlichen Effekte einer Technologie rein aus ihrer (mangelnden) Funktionalität ableiten würde. Selbst wenn viele Arbeitsschritte bei der Identifizierung von Gesichtern automatisiert werden, ist es nicht die Technologie an sich, die sich auf die Gesellschaft auswirkt, sondern das Zusammenspiel von Menschen und dieser Technologie. Ein wichtiger Aspekt dieses Zusammenspiels ist die Kalibrierung eines Systems. Da die Übereinstimmung zwischen zwei Bildern nie absolut, sondern immer nur mit einem gewissen Ähnlichkeitsgrad bestimmbar ist, kann ein System immer nur eine Wahrscheinlichkeit generieren, die angibt, wie sehr das erfasste Gesicht einer Person mit einem einzigen Foto (Verifikation) oder jedem einzelnen der Fotos in einer Datenbank (Identifikation) übereinstimmt. Wird Gesichtserkennung zu Identifizierungszwecken eingesetzt, erstellt das System in der Regel eine Liste potenzieller Übereinstimmungen, die ein Mensch hinter dem Bildschirm dann durchsehen muss, um eine Entscheidung zu treffen – zum Beispiel, um Polizeibeamt*innen vor Ort zu empfehlen, eine Person zu überprüfen oder zu verfolgen. Um eine überschaubare Anzahl möglicher Übereinstimmungen zu generieren, muss willkürlich ein prozentualer Schwellenwert für die Übereinstimmungswahrscheinlichkeit festlegt werden, anhand derer das System Bilder zur weiteren Überprüfung vorselektiert. Dies wirkt sich jedoch auch auf die Genauigkeit des Systems aus: Wird der Schwellenwert niedrig angesetzt, werden mehr Bilder als potenzielle Übereinstimmung eingestuft, die unterschiedliche Personen zeigen (falsch positive Ergebnisse); wird der Schwellenwert hoch angesetzt, werden mehr tatsächliche Übereinstimmungen vom System ignoriert (falsch negative Ergebnisse). Je nach Kontext oder Anwendungsfall wählen die Betreiber*innen des Systems einen Schwellenwert, den sie für angemessen halten.[15]
Im nächsten Schritt muss die Ausgabe des Systems bewertet werden. An diesem Punkt wirkt sich die Kalibrierung auch auf das menschliche Urteilsvermögen aus. Empirische Untersuchungen über den Einsatz von Systemen der algorithmischen Entscheidungsfindung haben ergeben, dass die Nutzer*innen die Ergebnisse der Systeme kaum hinterfragen und sogar dazu neigen, sie als unfehlbar anzusehen – der sog. „automation bias“.[16] Diese Voreingenommenheit führt häufig zu zwei Arten von Fehlern: Bei einem „commission error“ folgen die Nutzer*innen einer fehlerhaften Empfehlung eines Systems. Übertragen auf die BG würde dies bedeuten, dass sie falsch-positive Meldungen als richtig-positive Meldungen betrachten und entsprechende Maßnahmen ergreifen. Im Falle des „omission error“ übersehen die Nutzer*innen kritische Situationen, wenn diese vom System nicht erkannt werden. Übertragen auf die BG würde dies bedeuten, dass sie eine Person von Interesse (z. B. einen gesuchten Straftatverdächtigen) vor der Kamera nicht wahrnehmen, sondern sich nur auf die auf dem Bildschirm aufgelisteten möglichen Treffer konzentrieren. Je nach Kalibrierung des Systems ist es wahrscheinlicher, dass entweder der erste oder der zweite Fehler auftritt. Es ist also nicht die Technologie selbst, sondern das Zusammenspiel zwischen Mensch und System, das auf komplexe Weise richtige oder falsche Entscheidungen hervorbringt.[17]
Diskriminierende Effekte und technische Lösungen
Die öffentliche Kritik am polizeilichen Einsatz von Gesichtserkennung konzentrierte sich zunächst auf mangelnden Datenschutz und die Verletzung des Rechts auf Privatsphäre. Seit einigen Jahren hat sich das Augenmerk der kritischen Auseinandersetzungen jedoch auf die Frage verlagert, wie durch deren Einsatz Racial Profiling und andere diskriminierende Praktiken reproduziert oder sogar verstärkt werden. Bereits der FRVT hatte gezeigt, dass die Fehlerkennungsraten der Algorithmen bei Gesichtern, die als weiblich, afroamerikanisch oder asiatisch klassifiziert wurden, deutlich höher lagen, wobei mögliche Überschneidungen dieser Kategorien den höchsten Prozentsatz an falsch-positiven und falsch-negativen Ergebnissen aufwiesen.[18] Der Grund hierfür war schlicht, dass in den zugrundeliegenden Datensätzen „weiße männliche Gesichter“ deutlich überrepräsentiert waren und der Algorithmus daher besser darin war, diese zu erkennen.
Bedenken hinsichtlich diskriminierender Effekte spielen in der Forderung nach einem Moratorium für den Einsatz von BG durch staatliche Behörden, insbesondere in öffentlichen Räumen, eine zentrale Rolle. Gemäßigtere Stimmen fordern, dass der Einsatz von BG durch Strafverfolgungsbehörden nur dann legal sein sollte, wenn eine spezifisch geschulte Person eingebunden wird, die die Ergebnisse des Systems bewertet, bevor sie zur Entscheidungsfindung verwendet werden, was dem in der EU-Datenschutzgrundverordnung verankerten Grundsatz der menschlichen Letztentscheidung bei automatisierten Entscheidungen entspricht (Art. 22 DSGVO). Diese Kritiken und Forderungen sind nicht ohne Wirkung, wie u. a. das zu Beginn diskutierte KI-Gesetz der EU zeigt. Im Jahr 2019 kündigten mehrere Fachzeitschriften und eine große Konferenz zusätzliche Ethikprüfungen für Studien zu den wissenschaftlichen Grundlagen von BG an. 2020 erklärte Arvind Krishna, CEO von IBM, dass das Unternehmen keine für polizeiliche Zwecke einsetzbare Gesichtserkennung mehr anbieten werde. Im selben Jahr kündigte Amazon ein einjähriges Moratorium für die polizeiliche Nutzung seiner Software „Rekognition“ an. 2021 haben mehrere US-Städte und der Bundesstaat Kalifornien die Nutzung der Technologie für Strafverfolgungszwecke verboten.
Gesetzliche Regulierung oder ethische Selbstverpflichtung
Während ein umfassendes und dauerhaftes Verbot des polizeilichen Einsatzes von Gesichtserkennung also weder in den USA noch in Europa wahrscheinlich ist, lässt sich derzeit ein Trend zu freiwilligen Verhaltenskodizes und ethischen Leitlinien beobachten. Die Vertrauenswürdigkeit von BG soll insbesondere durch die Implementierung ethischer Prinzipien in technologische Innovationsprozesse sichergestellt werden, etwa indem repräsentativere und inklusivere Trainingsdatensätze erstellt und genutzt werden. Was bei solchen Vorstellungen von technischen Lösungen für technische Probleme jedoch außer Acht bleibt, ist die Tatsache, dass die Beseitigung von Verzerrungen in den Daten nicht automatisch die Beseitigung von Diskriminierung in der Anwendungspraxis bedeutet. Im Rahmen der Erstellung ausgewogener Datensätze müssen Bilder von Gesichtern zunächst manuell kategorisiert werden, um für das Training der Algorithmen verwendet werden zu können. Die Kategorisierung von Bildern bedeutet aber, dass zwischen verschiedenen, vorab definierten Kategorien gewählt werden muss. „Geschlecht“ und „Rasse“ werden dann als biologische Merkmale behandelt, auch wenn sie mittlerweile als soziale Konstrukte mindestens umstritten sind. Anstatt Ausgangspunkt für eine weniger vorurteilsbehaftete und diskriminierende Datenpraxis zu sein, ist die manuelle Kategorisierung von Bildern daher Ausgangspunkt der Einschreibung sozialer Konstrukte in technische Artefakte – unabhängig davon, wie reflexiv und ethisch motiviert diese Kategorisierung durchgeführt wird.
Und selbst, wenn wir Bilddatenbanken erstellen könnten, die die unserer Gesellschaft innewohnenden Vorurteile und Diskriminierungen nicht reproduzieren, würde die Verwendung der mit ihnen trainierten Systeme immer noch innerhalb dieser Gesellschaft stattfinden. Um die Voreingenommenheit von Gesichtserkennungssystemen zu bekämpfen, die mit westlichen, d. h. vorrangig weißen Datensätzen trainiert wurden, begann die indische Polizei, Bilder von Bollywood-Schauspieler*innen zu verwenden, um die Algorithmen (neu) zu trainieren. Diese Algorithmen wurden dann allerdings für die polizeiliche Überwachung von muslimischen Minderheiten eingesetzt.[19] Dieses Beispiel zeigt, dass rassistische Vorurteile und Diskriminierungsmuster nicht nur in den Daten und Algorithmen enthalten sind, sondern natürlich auch in den Anwendungen von Gesichtserkennung zu finden sind.
In Anbetracht dieser Fallstricke eines technologischen Solutionismus, der behauptet, Probleme mit neuen technologischen Mitteln zu lösen, gibt es reichlich Grund, diesem derzeit vorherrschenden Ansatz zur Bekämpfung von Diskriminierung und anderen mit dem polizeilichen Einsatz von BG verbundenen Risiken gegenüber skeptisch zu sein. Zudem besteht das Risiko, dass der Ansatz einer ethischen Selbstverpflichtung der Hersteller die Forderung nach einer strengeren Regulierung der Technologie schwächen würde, da verbindliche Rechtsnormen dadurch scheinbar obsolet werden. Die Hoffnung auf unvoreingenommene Datenpraktiken würde das Verbot der diskriminierenden Nutzung von Gesichtserkennung ersetzen.
Alles in allem würde der Einsatz von BG also nicht ein mehr an Sicherheit bedeuten (mit dem sich ggf. ein weniger an Freiheit rechtfertigen ließe), sondern eine Zunahme an unbegründeten polizeilichen Kontrollmaßnahmen, die zudem ein hohes Maß an diskriminierenden Effekten zeitigen würden. Den Schutz der Bürger*innen kann nur ein umfangreiches Verbot der Technologie (und nicht deren Verbesserung) gewährleisten.