Weil die Daten von so zentraler Bedeutung für das maschinelle Lernen sind, wirken sich die Eingaben unmittelbar die Resultate aus. Wenn die Daten schon eine Tendenz oder Voreingenommenheit beinhalten, dann wird auch der Lernalgorithmus voreingenommen sein. Zum Beispiel beinhalten Systeme, die Bewerber beurteilen, Gerichtsurteile vorhersagen oder medizinische Diagnosen unterstützen, maschinelles Lernen. Sie alle haben einen gewissen Grad von kulturellen, geschlechtsspezifischen, ethnischen, bildungsbezogenen oder anderen Verzerrungen in die Datensätze eingebaut, durch die sie trainiert werden.

      Solche Verzerrungen in den Daten können sich schlimmer auswirken als Vorurteile. Manchmal können Daten die Algorithmen auch ganz anders in die Irre führen. Nehmen wir den Fall eines militärischen maschinellen Lernmodells, das darauf trainiert wurde, getarnte Panzer in einem Wald zu erkennen. Die Datenwissenschaftler trainierten den Algorithmus mit einem Satz von Bildern, von denen die einen Panzer zwischen den Bäumen enthielten und die anderen nur Bäume zeigten. Nach erfolgtem Training konnte der Algorithmus nahezu perfekte Testergebnisse erzielen. Aber als dieses Modell dann in Betrieb genommen wurde, funktionierte das Entdecken von Panzern überhaupt nicht. Es stellte sich heraus, dass die für das Training verwendeten Bilder mit Panzern an einem sonnigen Tag aufgenommen worden waren und die, die nur Bäume zeigten, an einem bewölkten Tag. Der Algorithmus hatte dadurch nur gelernt, sonnige von bewölkten Tagen zu unterscheiden, aber nicht, Panzer zu entdecken!