Software, die für Gerichtsentscheidungen verwendet wird, erfüllt seine EIN nforderungen gleich in zufälligen Amateuren

Software, die in Gerichtsentscheidungen zum Einsatz kommt, wird von zufälligen Amateuren gleichgestelltAdam Jones, Ph.D.

Im Jahr 2016 sorgte ProPublica für Aufsehen bei der Bewertung der Leistung von Software, die in der Strafjustiz eingesetzt wird Verfahren. Die Software, mit der ein Angeklagter bewertet wird Chance, weitere Verbrechen zu begehen, stellte sich heraus, um zu produzieren unterschiedliche Ergebnisse bei der Bewertung von Schwarzen und Kaukasiern.

Die Bedeutung dieser Diskrepanz ist immer noch Gegenstand von Einige Debatten, aber zwei Forscher des Dartmouth College haben a grundlegendere Frage: ist die Software gut? Die Antwort Sie kamen mit ist “nicht besonders”, wie seine Leistung sein könnte abgestimmt durch die Rekrutierung von Leuten auf Mechanical Turk oder die Ausführung eines einfache Analyse, die nur zwei Faktoren berücksichtigte.

Software und Voreingenommenheit

Die fragliche Software heißt COMPAS für Correctional Tätermanagement-Profilerstellung für alternative Sanktionen. Es braucht Berücksichtigung einer Vielzahl von Faktoren über Angeklagte und Verwendungszwecke sie zu bewerten, ob diese Personen wahrscheinlich zu verpflichten sind zusätzliche Straftaten und hilft bei der Identifizierung von Interventionsmöglichkeiten. COMPASist stark in das Gerichtsverfahren eingebunden (siehe dieses Dokument) vom kalifornischen Justizministerium für einen Einblick in seine Bedeutung). Vielleicht am wichtigsten ist es jedoch manchmal einflussreich bei der Bestimmung der Verurteilung, die auf der Grundlage der kann Idee, dass Menschen, die wahrscheinlich weitere Verbrechen begehen, sollten länger inhaftiert sein.

ProPublicas Evaluierung der Software konzentrierte sich auf Festnahmen in Broward County, Florida. Es stellte sich heraus, dass die Software ähnlich war Genauigkeit, wenn es darum ging, vorherzusagen, ob schwarz und kaukasisch Angeklagte würden erneut beleidigen. Aber falsche Positive – Fälle, in denen die Software sagte eine weitere Straftat voraus, die nie stattgefunden hatte – zweimal wahrscheinlich auch schwarze Angeklagte. Die falschen Negative, wo Es wurde vorausgesagt, dass die Angeklagten kriminalitätsfrei bleiben, was aber nicht der Fall war doppelt so wahrscheinlich, Weiße einzubeziehen.

Durch andere Maßnahmen zeigte die Software jedoch keinen Hinweis auf eine Verzerrung (einschließlich, wie oben erwähnt, der Gesamtgenauigkeit). Also die Die Bedeutung dieser Befunde blieb ein Thema von Debatte.

Die Dartmouth-Forscher Ja Dressel und Hany Farid entschieden sich Nicht auf Voreingenommenheit, sondern auf die Gesamtgenauigkeit. Dazu sie nahm die Aufzeichnungen von 1.000 Angeklagten und extrahierte ihr Alter, Geschlecht, und Kriminalgeschichte. Diese wurden in Pools von 20 aufgeteilt, und Mechanical Turk wurde verwendet, um Leute zu rekrutieren, die erraten sollten die Wahrscheinlichkeit, dass sich jede der 20 Personen festlegen würde ein weiteres Verbrechen innerhalb der nächsten zwei Jahre.

Weisheit der mechanischen Türken

Zusammengefasst hatten diese Personen eine mittlere Genauigkeit von 62 Prozent. Das ist nicht allzu weit von der Genauigkeit von COMPAS entfernt 65 Prozent. In diesem Test wurden jeweils mehrere Personen bewertet Beklagte, so dass die Autoren diese zusammengefasst und die Mehrheit übernommen Meinung als Entscheidung. Dies brachte die Genauigkeit auf 67 Prozent, COMPAS ausschneiden. Andere Maße der mechanischen Türken Genauigkeit deutete darauf hin, dass sie genauso gut waren wie die Software.

Die Ergebnisse waren auch insofern ähnlich, als sie nicht signifikant waren Unterschied zwischen ihren Bewertungen von schwarz und kaukasisch Angeklagte. Gleiches galt, als die Autoren ein ähnliches vorstellten Datensatz für eine neue Gruppe von Personen, diesmal jedoch eingeschlossen Informationen über die Rasse des Angeklagten. Also insgesamt Genauigkeit, diese unerfahrenen Leute waren ungefähr so ​​gut wie die Software.

Sie waren aber auch ungefähr so ​​schlimm, wie es auch wahrscheinlicher war falsch positiv zu machen, wenn der Angeklagte schwarz war, aber nicht zu im gleichen Umfang wie COMPAS (eine 37-prozentige Falsch-Positiv-Quote für Schwarze, verglichen mit 27 Prozent für Weiße). Das falsche Negativ Rate, wo Angeklagte vorhergesagt wurden, nicht wieder zu beleidigen, aber taten, war auch höher bei den Kaukasiern (40 Prozent) als bei den Schwarzen (29 Prozent). Diese Zahlen sind den Raten von bemerkenswert ähnlich COMPAS Fehler. Einschließlich Rassendaten über die Angeklagten hat a nicht gemacht bedeutender Unterschied.

Wenn der Algorithmus mit ziemlicher Sicherheit mit a übereinstimmen könnte Haufen Amateure, Dressel und Faridreasoned, vielleicht ist es das weil es nicht besonders gut ist. Also machten sie eine Reihe von einfachen statistische Tests (lineare Regressionen) mit verschiedenen Kombinationen der Daten, die sie über jeden Angeklagten hatten. Sie fanden, dass sie konnten Passen Sie die Leistung von COMPAS mit nur zwei Werten an: dem Alter des Angeklagter und die Gesamtzahl der Vorstrafen.

Das ist nicht ganz so schockierend, wie es scheint. Dresselund Farid machen einen großen Teil der Behauptung, dass COMPAS angeblich Berücksichtigt 137 verschiedene Faktoren bei der Vorhersage. AAussage von Equivant, dem Unternehmen, das die Software herstellt, weist darauf hin darauf hin, dass diese 137 nur zur Bewertung von Interventionen dienen; Die Vorhersage einer erneuten Beleidigung verwendet nur sechs Faktoren. (Der Rest des Aussage läuft auf “Dies zeigt, dass unsere Software ist ziemlich gut. “) Dressel und Farid erkennen auch an, dass die Wiederinhaftierung ein unvollkommenes Maß für zukünftige kriminelle Aktivitäten, wie es manche Verbrechen nicht tun zu Verhaftungen führen, und es gibt erhebliche rassistische Vorurteile in Verhaftungsraten.

Worauf es ankommt, hängt davon ab, ob Sie es sind Es ist angenehm, einen Prozess zu haben, der in etwa einem Drittel der Fälle falsch ist Dinge zu beeinflussen, wie viel Zeit Menschen im Gefängnis verbringen. Beim Im Moment gibt es jedoch keine Beweise für etwas, das mehr ist effektiv als das.

Fortschritte in der Wissenschaft, 2017. DOI: 10.1126 / sciadv.aao5580 (About DOIs).

Like this post? Please share to your friends:
Leave a Reply

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: