Rassistische Gesichts­erkennung bei Online-Klausuren?

In Zeiten der Corona-Pandemie werden nicht nur Vorlesungen, sondern auch die entsprechenden Klausuren in der Regel online abgehalten. Um zu garantieren, dass die Studenten ihren Blick auf den Bildschirm und nicht auf mögliche Schummel-Materialien gerichtet haben, verwenden die Universitäten zumeist Gesichtserkennungs-Algorithmen von Firmen wie Proctorio. Der amerikanische Student und Softwareentwickler Akash Satheesan will nun bewiesen haben, dass Proctorio Gesichter von People of Color in mehr als 50 Prozent der Fälle nicht erkennt. Dadurch werde es für sie schwierig, an Tests teilzunehmen. Das berichtet das amerikanische Online-Magazin "Vice".

Schon länger beschweren sich Studenten über den Einsatz der Gesichtserkennungs-Algorithmen von Firmen wie Proctorio. Gerade People of Color aus den USA berichten, dass diese ihre Gesichter nicht erkenne und es für sie erschwere, an Klausuren teilzunehmen. Auch in Deutschland wird die Prüfungsüberwachung genutzt, zum Beispiel an der Technischen Universität in München. Im Netz wirbt Proctorio auch mit Partnern wie der Goethe Universität in Frankfurt.
 

Satheesan, an dessen Universität die Prüfungsüberwachung selbst zum Einsatz kommt, beschloss, das Gesichtserkennungsmodell der Proctorio-Software zu untersuchen. Er sagt gegenüber "Vice": "Proctorio behauptete, von 'weniger als fünf Fällen‘ gehört zu haben, in denen es Probleme mit der Gesichtserkennung aufgrund der Hautfarbe gab. Ich wusste, dass das unwahrscheinlich ist."

Für seinen Test nutze der Forscher Bilder von fast 11.000 Gesichtern aus dem Fair-Faces-Datensatz, einer Bibliothek von Bildern, die möglichst viele unterschiedliche Ethnien repräsentieren soll. Während bei seiner Überprüfung weiße Menschen meistens erkannt wurden, konnte die Gesichtserkennung der Software in 57 Prozent der Fälle die Gesichter von People of Color nicht zuordnen. Einige der Fehler waren schockierend: Die Algorithmen erkannten zwar ein weißes Gesicht, aber wenn das Gesicht an einer nahezu identischen Position im selben Bild schwarze Hautfarbe hatte, nicht. Diese Erkenntnisse veröffentlichte der Wissenschaftler in einer Reihe von Blogbeiträgen, in denen er detailliert beschreibt, wie er den Code hinter der Proctorio-Chrome-Erweiterung analysierte. Er fand weiterhin heraus, dass die Dateinamen, die mit der Gesichtserkennung des Tools in Verbindung stehen, identisch mit jenen von Open CV sind. Diese Open-Source-Softwarebibliothek soll sich in der Vergangenheit bereits als vorurteilsbehaftet erwiesen haben.
 

People of Color beschreiben die schlechte Gesichtserkennung bei Klausuren laut Vice als "frustrierend und angstauslösend." Einige Betroffene erzählen, dass die Software sie nicht jedes Mal erkenne, wenn sie einen Test ablegen. Andere befürchten, dass die Klausuren abrupt abgebrochen werden könnten. Satheesan kritisiert, dass das Prüfungsüberwachungssystem von Proctorio von Hochschulen verwendet wird. "Sie verwenden voreingenommen Algorithmen, sie fügen Stress zu einem bereits stressigen Prozess hinzu. Während einer stressigen Zeit entmenschlichen sie die Studenten".
 

Rassismus ist übrigens nicht der einzige Vorwurf, der Proctorio vorgeworfen wird. Wie netzpolitik.org berichtet, legte ein Student der deutschen Hochschule Fresenius im August 2020 eine Datenschutzbeschwerde wegen der Prüfungsüberwachung ein.

[PA]

prüfungsüberwachungrassismusgesichtserkennungproctorioonline-klausurendatenschutzautomatisierte gesichtserkennunggesichtserkennungs-algorithmen