Neue Forschungsgruppe „AIming Toward the Future: Policing, Governance, and Artificial Intelligence”
Interview mit Maria Sapignoli
Im Januar 2020 startet am Max-Planck-Institut für ethnologische Forschung (MPI) die neue von der Max-Planck-Gesellschaft finanzierte unabhängige Forschungsgruppe "AIming Toward the Future: Policing, Governance, and Artificial Intelligence". Geleitet wird die Gruppe von Maria Sapignoli. Maria ist Anthropologin mit einem BA und einem MA der Universität Bologna und einem PhD der Universität Essex. Sie war wissenschaftliche Mitarbeiterin am MPI in der Abteilung „Law & Anthropology“ und Gastwissenschaftlerin an mehreren Universitäten. Zuletzt war sie Stipendiatin am Center for Human Rights and Global Justice (CHRGJ) der New York University und am Dipartimento di Filosofia, Universitá degli Studi di Milano Statale. Sie hat ethnographische Forschungen im südlichen Afrika und in internationalen Institutionen durchgeführt. Und sie ist Autorin des Bandes Hunting Justice: Displacement, Law, and Activism in the Kalahari (Cambridge University Press 2018). Wir haben Maria zu ihren Plänen und zu den Auswirkungen neuer Technologien auf Recht, Staat und Gesellschaft befragt.
Maria, in Deinem Projekttitel verwendest Du den trendigen, aber manchmal eher nebulösen Begriff "künstliche Intelligenz". Was bedeutet der Begriff im Zusammenhang mit Deiner Forschung?
Im Rahmen meines Projekts sind mit KI maschinelle Lernsysteme, automatische Entscheidungsfindung und Big Data genauso gemeint wie die digitale und physikalische Infrastruktur, die für die Entwicklung, Wartung und Bereitstellung dieser Systeme notwendig ist.
Das englische Wortspiel mit "AI" und "aiming" scheint darauf hinzudeuten, dass es Dir nicht nur um Technologien geht, sondern auch darum, dass jemand bewusst eine bestimmte Zukunft gestalten will. Ist das richtig?
Ja, es geht mir in der Tat nicht nur um Technologie – denn wir dürfen ja nicht vergessen, dass KI von Menschen entwickelt und genutzt wird! Experten haben sehr oft ein klares Bild einer Zukunft, die sie durch die Entwicklung neuer Technologien ermöglichen und herbeiführen wollen.
Haben diese Experten es denn bereits geschafft, unsere Welt zu verändern?
Ich denke, dass KI und die mit ihr verwandten Technologien unsere Welt schon heute sozial, wirtschaftlich und politisch verändern. Sie werden schnell ein Teil des täglichen Lebens – und das meist auf unsichtbare Weise.
Das klingt so, als ob du das problematisch finden würdest.
Was wir momentan beobachten können, ist, dass maschinelles Lernen und automatisierte Entscheidungstechnologien eine Aura von objektiver Wahrheit und wissenschaftlicher Legitimität haben. Diese Aura lenkt die öffentliche Aufmerksamkeit von ihren Unsicherheiten und ihren konstruktiven und destruktiven Kräften ab. Eine wachsende Zahl von Wissenschaftlern und politischen Entscheidungsträgern hat darauf hingewiesen, dass dringend mehr Studien erforderlich sind, die sich mit den alltäglichen und langfristigen Auswirkungen der KI befassen. Und genau das wollen wir in meinem Projekt machen.
Ein anderer sehr vieldeutiger Begriff, den Du im Projekttitel verwendest, ist „Policing“. Kannst Du uns sagen, was das genau bedeutet?
„Policing“ ist ein Begriff, den ich in einem weiten Sinne gebrauche. Damit sind beispielsweise der Einsatz von Technologien zur präventiven Polizeiarbeit bei der Strafverfolgung gemeint, aber auch die Nutzung von Algorithmen zur Verfolgung von Hassreden auf Online-Plattformen. In meinem Projekt wollen wir Erkenntnisse über den Einsatz und die Wirkung dieser Technologien bei der Gestaltung von Überwachungsmethoden und politischem Handeln gewinnen. Und es wird dabei auch darum gehen, wie sie sich auf soziale Ungleichheit, das Rechtssystem und die Ergebnisse von Strafverfahren auswirken.
Wie bist du auf das Projektthema gekommen?
Die Anregungen für dieses Projekt stammen vor allem von meinen früheren ethnographischen Feldforschungen im südlichen Afrika, wo ich mir die Rechte und den Aktivismus indigener Völker im Kontext von Vertreibung angeschaut habe, und von den Vereinten Nationen, wo sich indigene Repräsentanten, Experten, Staatsdelegierte und Regierungsbeamte mit Entwicklungspolitik, Richtlinien und Gesetzen befassen.
Welche Anregungen zu Deinem Thema stammen aus Afrika?
Im südlichen Afrika habe ich kürzlich den zunehmenden Einsatz von Drohnen und anderen staatlichen Technologien zur Überwachung und Bekämpfung von Wilderei beobachtet. Und ich habe mich gefragt, ob diese Maßnahmen zur Kriminalisierung der Nahrungssuche beigetragen haben und wie sie das Verhältnis von Polizei und indigenen Völkern beeinflusst haben. Gleichzeitig habe ich auch beobachtet, wie indigene Aktivisten ähnliche Technologien nutzen, um Beweise für Gerichtsverfahren zu sammeln.
Und wie hat der Kontakt zu den Vereinten Nationen Deinen Projektantrag beeinflusst?
Bei der Teilnahme an Sitzungen der Vereinten Nationen habe ich gesehen, dass der Einsatz von KI-Technologien unter dem Motto „AI for good“ in der Entwicklungspolitik und bei der Überwachung von Menschenrechten immer größere Bedeutung hat. Deshalb werden diese neuen Technologien auch immer wichtiger für internationale Institutionen – zum einen als Entwicklung, die man ernstnehmen, zum anderen aber gleichzeitig auch regulieren muss.
Seit wann interessierst Du Dich für diesen Zusammenhang zwischen neuen Technologien und Governance?
Schon seit mehreren Jahren, aber erst in den letzten zwei Jahren habe ich begonnen, mich direkt mit diesem Thema zu befassen, das von meiner bisherigen Forschung abweicht.
Woher kam die Idee, neue digitale Technologien in der Politik und der Polizeiarbeit zu nutzen?
Genau diese Frage versuchen wir im Forschungsprojekt zu beantworten. Was wir sehen können ist, dass Regierungen überall auf der Welt immer mehr in intelligente Technologien investieren – zum Beispiel in der präventiven Polizeiarbeit. Darüber hinaus können wir die Intensivierung der Beteiligung der Privatwirtschaft an bestimmten Formen der Governance und der Strafjustiz beobachten. Aber natürlich hängt die Beantwortung dieser Frage stark vom jeweiligen Kontext ab.
Inwiefern ist der Privatsektor an Formen der Governance beteiligt?
Privaten Unternehmen wird für die Entwicklung von Algorithmen zur Unterstützung der Strafverfolgung viel geboten. Deshalb konkurrieren sowohl große Technologieriesen als auch kleine Start-ups um Aufträge in diesem Markt. Digitalisierung und KI werden als vielversprechende Möglichkeiten dargestellt, um auf „intelligente, effektive und verantwortliche“ Art und Weise, das Risiko von Rechtsstreitigkeiten zu verringern, sich an knappe Ressourcen anzupassen und die Polizei zu unterstützen. Aber die Auswirkungen dieser Entwicklung im Zusammenhang mit dem Anstieg großer Datenmengen und den vielen digitalen Spuren, die Menschen in ihrem Alltag hinterlassen, haben wir noch nicht ausreichend verstanden.
Wie ist denn der aktuelle Stand der Forschung über den Einsatz von KI-Technologien bei der Strafverfolgung?
Die Einsatzmöglichkeiten von KI-Technologien für die Überwachung sind enorm und sie entwickeln sich weiter. Eine Fülle von Forschungen in mehreren Disziplinen hat sowohl die destruktiven Auswirkungen dieser Technologien als auch ihr positives Potenzial gezeigt. Verschiedene Studien haben sich in letzter Zeit beispielsweise mit der Produktion von Diskriminierung durch Algorithmen, den Auswirkungen von präventiver Polizeiarbeit und Techniken der Gesichtserkennung auf schutzbedürftige Gruppen im Zusammenhang mit der Verbrechensbekämpfung sowie der Neukonzeption von Überwachung und rechtlichen Verfahren beschäftigt. Dennoch bleibt erstens die Frage, in welche Richtung diese Entwicklungen vor Ort, insbesondere außerhalb der Vereinigten Staaten, langfristig geht. Zweitens ist die Frage nach den Auswirkungen auf die Gesellschaft weitgehend offen. Deshalb wird ein ethnographischer Ansatz die Literatur besonders bereichern.
Inwieweit sind digitale Systeme für die Strafjustiz und Strafverfolgung wichtig?
Sie sind wichtig, weil sie selbst Beweise, Wissen und Gesetze produzieren. Was wir noch herausfinden müssen ist, welche Auswirkungen diese „disruptiven Technologien“ auf Gerichtsverfahren und die Grundrechte der Menschen haben.
Gibt es Rechtsgebiete, in denen künstliche Intelligenz bereits heute eine Rolle spielt?
Die Anwendung von maschinenlernenden Systemen und digitalen Technologien haben bereits wichtige und unmittelbare Folgen für ein breites Spektrum von Problemen, mit denen Regierungen und Justiz zu tun haben. Sie haben beispielsweise Einfluss darauf, wo und wann die Strafverfolgungsbehörden Polizeieinsätze planen, in welcher Weise sie dafür zur Rechenschaft gezogen werden und welche Entscheidungen ein Richter höchstwahrscheinlich im Laufe eines Strafverfahrens treffen wird. KI hat bereits heute auch Einfluss darauf, wer wie lange im Gefängnis sitzt. In all diesen Zusammenhängen, sind Algorithmen an der Entscheidungsfindung beteiligt. Die verantwortungsvolle Nutzung von Algorithmen berührt deshalb unmittelbar Fragen von Recht und Gerechtigkeit.
Welche Folgen könnte die Verbreitung dieser neuen Methoden der Polizeiarbeit für die Gesellschaft und das Rechtssystem haben?
Das ist eine der Fragen, die das Forschungsprojekt beantworten soll. Die Verbreitung dieser Methoden wird von einigen als Steigerung von Effizienz und Objektivität gefeiert, während sie für andere dazu beitragen, bestehende Vorurteile zu vergrößern und Transparenz zu verhindern. Wir werden uns deshalb mit Bedenken und offenen Fragen zum Stellenwert von Algorithmen in Machtverhältnissen und mit der Rolle von Technologieunternehmen bei der Ausgestaltung von hoheitlichem Handeln, Vorschriften und Gesetzen auseinandersetzen.
Und wie wirst Du an das Forschungsfeld rangehen? Wie sieht Dein Forschungsdesign aus?
Ein empirischer Ansatz wird helfen, den sozialen Wandel und die Zukunft dieser neuen Technologien zu verstehen: Warum sie überhaupt genutzt werden, warum Menschen ihnen vertrauen oder eben nicht, wie sie geschaffen werden und wie letztlich der Transfer in die Praxis funktioniert. Dies ist gerade jetzt wichtig, weil staatliches Handeln sich immer mehr von menschlichen Entscheidungen hin zu maschinengestützten Entscheidungen zu verlagern scheint. Und diese Entwicklung hat direkte Auswirkungen auf die Grundrechte. Eine anthropologische Studie über die neuen Technologien sollte sich deshalb auch damit befassen, wie Regierungsformen im 21. Jahrhundert aussehen werden.
Mit welchen empirischen Methoden wirst Du Deine Daten hauptsächlich erheben?
Eine der wichtigsten Methoden, die wir in der Forschungsgruppe nutzen werden, ist die Ethnografie. Sie wird dazu beitragen zu verstehen, wie eine der bedeutendsten technologischen, rechtlichen und institutionellen Entwicklungen unserer Zeit gestaltet wird, Entscheidungen prägt und sich in der Praxis auswirkt. Die Ethnografie ist besonders wichtig, weil sie die menschlichen Nutzer und Schöpfer neuer Technologien betrachtet. Und bei dieser Betrachtung auch die Werte und Ziele, die in den von ihnen entwickelten Programmen kodifiziert sind, nicht außer Acht lässt.
Weißt du schon, wo du deine Feldforschung durchführen wirst?
Ich bin gerade erst dabei, die Forschungsgruppe aufzubauen. Die Antwort auf diese Frage wird davon abhängen, zu welchen Orten wir Zugang erhalten. Ich persönlich habe explorative Feldforschung in Kapstadt, Mailand und New York gemacht – drei Städte, in denen es sehr interessante Entwicklungen beim Einsatz neuer Technologien bei der Überwachung gibt.
Auf welche theoretische Tradition stützt Du Dich und welche Theoretiker sind für Dich besonders wichtig?
Nun, wir haben keine spezifische theoretische Tradition, der wir folgen werden. Es gibt jedoch Wissenschaftler*innen, die mir Anregungen gegeben haben und uns weiter beeinflussen werden. Ich denke an Menschen, die die Anthropologie der Überwachung und die sozialen Auswirkungen neuer Technologien auf die Exekutive, die Menschenrechte und das Rechtssystem untersucht haben.
Was ist der erste Punkt auf Deiner Liste, wenn Du mit Deiner Arbeit am MPI beginnst?
Mein Büro bekomme ich gleich im Januar. Der erste Punkt auf der Liste? Ich bringe meine Unterlagen, Bücher, einige schöne Kalahari-Gemälde, ein Foto von meiner Heimatstadt Rimini und – sehr wichtig – meine Kopfhörer, um gute Musik zu hören, mit ins Büro. Das hilft sowohl beim Entspannen als auch beim Konzentrieren! In den ersten Monaten 2020 werden ich mich dann mit dem Aufbau des Forschungsteams beschäftigen.