Gerade jetzt könnte irgendwo ein Unternehmen, mit dem du nie gesprochen hast – von dem du vielleicht noch nie gehört hast –, entscheiden, ob du einen Kredit, eine Wohnung oder sogar wie lange du im Gefängnis verbringst bekommst.

Wir kennen bereits die Macht von Algorithmen, das zu formen, was wir in sozialen Medien sehen und mit wem wir sprechen. Aber das ist nur die Oberfläche. Algorithmen sind tief in Dutzende anderer Branchen eingebettet und treffen oft Entscheidungen mit lebensverändernden Auswirkungen. Und sie verlassen sich auf Daten, die sie von Datenbrokern erhalten.

Aber wie funktioniert das? Was genau ist die Rolle von Datenbrokern bei der Fütterung dieser Algorithmen? Was sind die realen Konsequenzen dieses schattenhaften Geschäfts? Und am wichtigsten: Was können wir tun, um Fairness und Rechenschaftspflicht sicherzustellen, besonders da wir auf eine Zukunft zusteuern, in der KI-gesteuerte Entscheidungsfindung exponentiell wächst?

Die verborgene Rolle von Datenbrokern

Datenbroker sind gewinnorientierte Organisationen, die riesige Mengen persönlicher Daten sammeln und verkaufen und alles aggregieren(neues Fenster), von deinen Finanzunterlagen und Einkaufsgewohnheiten bis hin zu deinem Web-Browsing und Echtzeit-Standort. Es ist eine riesige – und lukrative – Industrie. Schätzungsweise 5.000 Datenbroker-Unternehmen(neues Fenster) operieren weltweit in einem Markt, der mittlerweile 270 Milliarden Dollar schwer ist.

Trotz ihrer Größe sieht sich die Branche praktisch keiner umfassenden Aufsicht(neues Fenster) gegenüber (zumindest in den USA), was bedeutet, dass Broker alle Daten sammeln und verkaufen werden, für die es eine Nachfrage gibt. Es bedeutet auch, dass sie wenig Anreiz haben, sicherzustellen, dass die Daten, die sie verkaufen, korrekt sind(neues Fenster).

Mehr über Datenbroker erfahren

Alle Arten von Organisationen, von Werbetreibenden bis hin zu US-Regierungsbehörden, wenden sich an Datenbroker, um granulare, intime Informationen zu erhalten. Zunehmend nutzen Unternehmen diese Daten, um ihre Algorithmen zu füttern und Entscheidungen zu treffen, die das tägliche Leben von Menschen in den ganzen USA beeinflussen. Informationen, die von Datenbrokern gesammelt und verkauft werden – Daten, die oft voller Fehler sind – werden verwendet, um die Zinssätze zu bestimmen, die Menschen zahlen, ob sie für einen Kredit zugelassen werden, ob sie überhaupt eine Wohnung mieten oder einen Job bekommen können.

Hier sind drei Situationen, in denen Informationen, von denen du nie wusstest, dass du sie geteilt hast, deinen Lebensweg unsichtbar verändern könnten.

Algorithmisches Underwriting

Banken und andere Fintech-Anbieter gehörten zu den ersten Branchen, die Algorithmen einführten und sie nutzten, um zu bestimmen, wer eine Hypothek, einen Geschäftskredit oder Kreditkarten erhält. Sie verlassen sich auf traditionelle Kredit-Scores sowie eine Vielzahl anderer, alternativer Daten (Zahlungen für Versorgungsleistungen, Bildung, sogar wie man Formulare ausfüllt), um vorherzusagen, ob jemand den Kredit zurückzahlen wird. Das Ergebnis ist ein Black-Box-System, das abweichende Ergebnisse für scheinbar ähnliche Kandidaten liefern kann.

Eine Untersuchung von The Markup(neues Fenster) aus dem Jahr 2021 ergab, dass Kreditgeber beim Vergleich bestimmter Bewerber mit ähnlich qualifizierten weißen Bewerbern:

  • mit 40 % höherer Wahrscheinlichkeit Latino-Bewerbern Hauskredite verweigerten
  • mit 50 % höherer Wahrscheinlichkeit asiatischen/pazifischen Inselbewohnern verweigerten
  • mit 70 % höherer Wahrscheinlichkeit amerikanischen Ureinwohnern verweigerten
  • mit 80 % höherer Wahrscheinlichkeit schwarze Bewerber ablehnten

Diese Ungleichheiten blieben auch bestehen, nachdem Faktoren kontrolliert wurden, die die Branche traditionell für diese niedrigeren Genehmigungsraten verantwortlich macht.

Jeder, der mit Statistiken gearbeitet hat, weiß, dass die Modelle nur so gut sind wie die Daten, mit denen sie gefüttert werden. Wenn diese Daten beispielsweise eine Geschichte von Redlining(neues Fenster) widerspiegeln, wird das Modell verzerrt sein. Und diese Modelle enthalten alle möglichen Daten, wie deinen Social-Media-Feed(neues Fenster) oder sogar, ob du deinen Namen in GROSSBUCHSTABEN tippst(neues Fenster). Wie ein Fintech-CEO sagte: „Alle Daten sind Kreditdaten.“

Und bei diesen Algorithmen ist es oft schwer, den Faktor zu bestimmen, der zu einer Ablehnung geführt hat. Dies macht es für Menschen unmöglich, Einspruch einzulegen oder eine Korrektur anzubieten, was erforderlich sein sollte, wenn man bedenkt, wie nebensächlich viele dieser Daten erscheinen und wie oft Datenbroker ungenaue und veraltete Informationen haben.

Datengesteuerte Mieter-Hintergrundüberprüfungen

Wenn du dich entscheidest zu mieten, kannst du Algorithmen nicht entkommen. Vermieter und Hausverwalter wenden sich zunehmend automatisierten Mieter-Screening-Diensten wie LeasingDesk oder RentGrow zu, die sich auf Datenbroker verlassen, um Hintergrundüberprüfungen bei Bewerbern durchzuführen. Diese Dienste versuchen zu quantifizieren, wie riskant ein Mieter sein könnte, indem sie sich die Kredit-Scores, Räumungsklagen, Strafregister und eine Vielzahl anderer persönlicher Daten der Bewerber ansehen. Das Ergebnis ist, dass vielen Menschen aufgrund fragwürdiger oder veralteter Daten Wohnraum verweigert wird.

Im Jahr 2021 verhängte die Federal Trade Commission (FTC) gegen AppFolio, einen Mieter-Screening-Dienst, eine Geldstrafe von 4,25 Millionen Dollar für den Verkauf von Hintergrundberichten, die Bewerber falsch identifizierten(neues Fenster) und veraltete Informationen enthielten, wie aufgehobene oder geklärte Räumungsbescheide. Diese Fehler hatten reale Konsequenzen und zwangen Menschen, sich anderswo eine Unterkunft zu suchen.

Die Algorithmen, die diese Scores generieren, sind ebenfalls eine Black Box. Im Jahr 2021 sprach ProPublica mit einer Mieterin(neues Fenster), die einen exzellenten Kredit-Score (über 750), kein Vorstrafenregister und keine Räumungen hatte. Trotzdem erhielt sie einen Mieter-Score von 685 von 1.000 – das Äquivalent zu einer 4 – ohne Erklärung. Sie war gezwungen, eine zusätzliche Monatsmiete als Kaution zu zahlen. Wie die meisten Mieter hatte sie keine Ahnung, warum ihr Score so niedrig war oder wie sie ihn verbessern konnte.

Kautionsfestsetzung durch Algorithmus

Die vielleicht folgenreichste Nutzung von versteckten, von Datenbrokern betriebenen Algorithmen findet im Strafjustizsystem statt. Gerichte und Strafverfolgungsbehörden im ganzen Land haben algorithmische Risikobewertungstools eingeführt, um Richtern bei der Entscheidung zu helfen, ob sie Angeklagten Kaution oder vorläufige Freilassung gewähren sollen. In einigen Fällen helfen diese Tools sogar bei der Entscheidung über Strafmaß und Bewährung. Die Algorithmen nehmen Eingabedaten (wie das Vorstrafenregister, Alter, Beschäftigungsstatus und manchmal Standort oder familiären Hintergrund einer Person) und berechnen einen Score, der angeblich das Risiko der Person widerspiegelt, rückfällig zu werden oder nicht vor Gericht zu erscheinen.

Befürworter dieser Systeme behaupten, dass die Automatisierung dieser Entscheidungen Objektivität gewährleistet. Schließlich werden menschliche Richter ständig beschuldigt, inkonsistent und voreingenommen zu sein. Ähnlich wie beim automatisierten Kredit-Underwriting und Mieter-Screening basieren diese Entscheidungen jedoch auf Daten. Wenn die Daten unzuverlässig, ungenau oder voreingenommen sind, werden es auch ihre Ergebnisse sein.

Im Jahr 2016 führte ProPublica eine Untersuchung von COMPAS(neues Fenster) durch, oder Correctional Offender Management Profiling for Alternative Sanctions. Dieses weit verbreitete System, entwickelt von dem gewinnorientierten Unternehmen Northpointe (jetzt Equivant Supervision), lieferte eine überwältigende Anzahl falsch positiver Ergebnisse für schwarze Angeklagte und falsch negativer Ergebnisse für weiße Angeklagte. Mit anderen Worten: Schwarze Angeklagte, die nicht rückfällig wurden, wurden vom Algorithmus fast doppelt so oft als hochriskant eingestuft wie weiße Angeklagte, während weiße Angeklagte, die rückfällig wurden, häufiger fälschlicherweise als risikoarm eingestuft wurden. (Northpointe hat die Gültigkeit des Berichts von ProPublica bestritten.)

Ähnlich äußerte der Ausschuss für Justiz und Inneres des House of Lords in seiner Überprüfung von KI im britischen Justizsystem 2022(neues Fenster) Bedenken hinsichtlich der „Gefahren, dass menschliche Voreingenommenheit in den ursprünglichen Daten widergespiegelt und in Entscheidungen, die von Algorithmen getroffen werden, weiter eingebettet wird“.

Angeklagte können wenig tun, um diese Scores anzufechten, da der Algorithmus proprietär ist und die Scores, die er ausspuckt, selten vor Gericht offengelegt werden. Das bedeutet, dass die Freiheit eines Angeklagten von einem geheimen Score abhängen kann, der von einem nicht offengelegten Modell unter Verwendung unbekannter und oft unzuverlässiger Daten generiert wurde.

Häufige Probleme mit datengesteuerten Algorithmen

Wann immer Entscheidungsfindung automatisiert wird – ob beim Kredit-Underwriting, Mieter-Screening oder bei der Risikobewertung von Angeklagten – tauchen immer wieder mehrere Probleme auf:

Zuverlässigkeit der Daten: Wenn man einem Algorithmus unzuverlässige, ungenaue oder voreingenommene Daten gibt, werden alle Ergebnisse, die er liefert, diese Fehler widerspiegeln.

Mangel an Transparenz: Wenn Algorithmen proprietär sind, ist es für die betroffene Person unmöglich, ihre Bewertung zu überprüfen oder anzufechten (und das setzt voraus, dass sie den Score überhaupt kennt).

Verwendung unangemessener und persönlicher Daten: Viele würden argumentieren, dass die Art und Weise, wie man ein Formular ausfüllt, keinen Einfluss darauf haben sollte, ob man einen Kredit bekommt, und dass Menschen in der Lage sein sollten, andere Arten von sensiblen, persönlichen Daten privat zu halten, wenn sie dies wünschen.

Wir müssen diese Probleme beheben, bevor KI sie übernimmt

Es ist aus mehreren Gründen wichtig, dass wir den Kurs korrigieren. Erstens werden immer mehr Leben von den oben beschriebenen algorithmischen Systemen beeinflusst. Zweitens werden immer mehr Informationen von Datenbrokern erfasst – es wird erwartet, dass der Datenbroker-Markt bis 2030 mehr als 470 Milliarden Dollar wert sein wird(neues Fenster). Drittens expandieren Algorithmen ständig in neue Sektoren, wie Predictive Policing(neues Fenster) und Gesundheitsrisikoprädiktion(neues Fenster), wo festgestellt wurde, dass Algorithmen Vorurteile verstärkten, die bereits in den Daten vorhanden waren.

Aber der mit Abstand wichtigste Grund, warum wir das jetzt beheben müssen, ist, diese Situation mit KI zu vermeiden. Ich habe in diesem Artikel meistens den Begriff Algorithmen verwendet, da diese Systeme im Vergleich zu den heutigen KI-Angeboten sehr einfach sind, aber sie funktionieren wie einfache KI-Assistenten für eine bestimmte Aufgabe. Und da viel leistungsfähigere KI-Chatbots in immer mehr Systeme, Workflows und Organisationen integriert werden, haben sie das Potenzial, diese Arten von Problemen in viel größerem Maßstab zu replizieren.

Und die Öffentlichkeit schlägt bereits Alarm. Über die Hälfte der US-Öffentlichkeit (und KI-Profis)(neues Fenster) will mehr Kontrolle darüber, wie KI in ihrem Leben eingesetzt wird.

Wie man die Kontrolle zurückgewinnt

Versteckte Algorithmen und das Datenbroker-Ökosystem, das sie ermöglicht, müssen gezügelt werden. Wie stellen wir sicher, dass Technologie für die Gesellschaft arbeitet, nicht gegen sie? Experten für Privatsphäre und KI-Ethik haben einen mehrgleisigen Ansatz vorgeschlagen:

Rechtsreform und Aufsicht: Regierungen – insbesondere die US-Regierung – müssen Gesetze aktualisieren, um Datenbroker und algorithmische Entscheidungsfindung zu regulieren und Lücken zu schließen, die eine ungeprüfte Datenausbeutung ermöglichen. Die USA müssen ein Bundesdatenschutzgesetz verabschieden. Leider gehen die Dinge in die entgegengesetzte Richtung. Das Consumer Finance Protection Bureau zog kürzlich einen Vorschlag zurück(neues Fenster), der Datenbroker verpflichtet hätte, genauere Aufzeichnungen zu führen und einzuschränken, an wen sie Daten verkaufen können.

Algorithmische Transparenz: Um Rechenschaftspflicht zu gewährleisten, müssen Unternehmen, die KI nutzen, um lebensbeeinflussende Entscheidungen zu treffen, die Schlüsselfaktoren hinter ihren Algorithmen offenlegen und unabhängige Prüfungen zulassen. Ohne Transparenz können Verbraucher schädliche automatisierte Entscheidungen nicht verstehen, anfechten oder korrigieren. Der AI Act der EU(neues Fenster) und New York Citys lokales Gesetz(neues Fenster) sind Schritte in Richtung sinnvoller Aufsicht.

Menschliche Aufsicht und Überprüfung von Entscheidungen: Keine Entscheidung, die die Rechte oder den Lebensunterhalt einer Person beeinträchtigt, sollte vollständig einem Algorithmus überlassen werden – Einzelpersonen müssen das Recht auf menschliche Überprüfung haben. Indem geschultes Personal eingebunden bleibt und Einsprüche ermöglicht werden, können wir sicherstellen, dass automatisierte Systeme rechenschaftspflichtig, kontextbezogen und menschlich bleiben. Dies existiert bereits in Europa unter der DSGVO(neues Fenster), sollte aber auf die USA ausgeweitet werden.

Datenminimierung auf persönlicher Ebene: Das mag überwältigend erscheinen, aber es gibt Dinge, die du tun kannst, um zu begrenzen, wie viele Daten Datenbroker von dir erhalten. Zahle mit Bargeld. Nutze Ende-zu-Ende-verschlüsselte Dienste. Surfe im Internet mit einem vertrauenswürdigen VPN(neues Fenster), Werbeblocker(neues Fenster) und datenschutzorientierten Browser. Diese einfachen Maßnahmen können die Rohdaten begrenzen, die unfaire algorithmische Entscheidungen befeuern.

Für ein besseres Internet und eine bessere Welt

Da Algorithmen zunehmend kritische Lebensentscheidungen beeinflussen – von Wohnen und Kredit bis hin zu Beschäftigung und Justiz – müssen wir uns den undurchsichtigen Systemen und ungeprüften Datenflüssen stellen, die sie antreiben. Diese Technologien versprechen Effizienz, liefern aber oft Voreingenommenheit, Ausgrenzung und Schaden, insbesondere wenn sie von unregulierten Datenbrokern befeuert werden.

Um den Kurs zu ändern, brauchen wir Gesetze, die Transparenz durchsetzen, ausbeuterische Datenpraktiken einschränken und menschliche Aufsicht dort garantieren, wo es am wichtigsten ist. Eine gerechtere digitale Zukunft aufzubauen bedeutet, die algorithmischen Black Boxes zu knacken und den Menschen wieder in den Mittelpunkt der Entscheidungsfindung zu stellen. Wenn wir jetzt handeln – als Bürger, Entwickler und politische Entscheidungsträger – können wir eine Welt schaffen, in der Technologie die Privatsphäre respektiert, Fairness stärkt und unser Vertrauen verdient.