Lieber Zuschauer, dieser Untertitel wurde automatisch generiert von YouTube und dementsprechend (sehr) fehlerhaft. Wenn du kannst, hilf uns bitte gute Untertitel zu erstellen: https://c3subtitles.de/talk/2855 Danke!
[Musik]
künstliche Intelligenz ist so das was
uns gerade so bisschen umtreibt und wo
wir gerade alle ein bisschen
ausprobieren und machen und tun und was
ja die Frage auch mit den Raum wirft
welche gesellschaftlichen Auswirkungen
hat den die KI und was bedeutet soziale
Nachhaltigkeit in dem Zusammenhang und
ähm warum ist künstliche Intelligenz
derzeit gerade nicht nachhaltig all das
kann uns reiner beantworten reiner
mülhoff leitet den Forschungsbereich
Ethik und kritische Theorien der
künstlichen der der KI am Institut für
Kognitionswissenschaften der Uni
osnbrück er lebt aberbei in Berlin und
erforscht und lehrt zu dem Bereich und
wird uns jetzt in dem Talk alles
erklären warum Nachhaltigkeit wichtig
ist und was da KI mit zu tun hat bitte
eine große Runde Applaus für
Reiner
[Musik]
ja herzlichen Dank willkommen hier zur
späten Stunde schön dass Ihr alle da
seid genau KI macht Ungleichheit ich
möchte heute über die sozialen
Auswirkungen von künstlicher Intelligenz
sprechen
und wir fangen gleich an bevor der Ton
wieder ausfällt ein kurzes to long did
read was ich euch heute erzählen möchte
ist im Wesentlichen folgende Botschaft
das Bild von KI was uns in den Medien
oft vermittelt wird sieht ja schematisch
ungefähr so aus irgendwie das Gehirn
wird durch digitale komputationale
Prozesse simuliert oder ersetzt oder was
auch immer das kann man in diversen
Abwandlungen sehen hier oder auch hier
das S alses so die Idee dass dann da so
KI ist die menschliche Intelligenz
imitiert oder simuliert oder übernimmt
ich glaube und das ist das was ich heute
sag sagen möchte dieses Bild von KI ist
eigentlich falsch was KI wirklich ist
ist ungefähr so sieht ungefähr so aus
und wenn man das so ansieht und so
interpretiert dann kann man
argumentieren warum diese KI mit den
Nachhaltigkeitszielen der UN den 70 17
Nachhaltigkeitszielen in dem inherenten
Konflikt steht das ist die Kurzfassung
legen wir mal los dafür eine kleine
rückblende in die 2000er Jahre kein
Vortrag über KI ohne ihn hier das ist
Luis von an ich weiß nicht wer den kennt
Luis von ahn hat in den 2000er Jahren
ich glaube 2006 eine Dissertation in
Informatik eingereicht mit dem
anspruchsvollen Titel human
computation ich zitiere aus einem
wirklich sehr sehenswerten Google Tag
Talk den er im Jahr 2006 über seine
Dissertation gibt bei Google auf
Einladung von Google wo dann solche
Zeilen fallen wie das hier der
Anfangspunkt meines
Dissertationsprojektes war dass es so
viele
verschwendete Menschen human cycles in
der Welt gibt z.B im Jahr 2003 da wurden
9 Milliarden menschenstunden des Spiels
Solitär gespielt was für eine
Verschwendung sein Dissertationsprojekt
besteht darin dass er die gesamte
Menschheit als eine extrem
fortgeschrittene großskalige verteilte
rächeninheit betrachten wird um mit
dieser Verschwendung ein Ende zu machen
ja er hat dann z.B dieses Spiel hier
erfunden im Rahmen seiner Dissertation
mit seiner Kollegin Laura debish das
sogenannte ESP Game das wurde legendär
es wurde auch hinterher von Google
gekauft m das ist so ein da wen da
werdet ihr so zufällig mit einem anderen
Spieler gekoppelt müsst dann irgendwie
hier so wie bei Tabo so Stichworte für
so ein Bild eingeben die ihr dass ihr
gleichzeitig angezeigt bekommt und je
schneller ihr das gleiche Stichwort
eingebt desto mehr Punkte kriegt ihr
beide und Stichworte die das System
schon registriert hat die werden als
tabuworte rausgegeben clevere Idee
Bilder durchz laabeln ist es nicht hat
dann google gekauft wurde zum Google
Image Labeler hat den Google Image Cash
gelabelt davor hat man die Google
bilderuche nur mit
Dateiname also hund.jpg oder so etwas
macht könen und danach hat die Google
Bildersuche in die Bilder reingucken
können Luis von an war auch einer der
Miterfinder und Erstautor dieses papers
capture using ach so capture also hier
die diese alten captes diese Barrieren
die es seit den frühen 2000er gab using
hard ai problems for security war der
Titel er hat dann daraus einige Jahre
später das hier gemacht das ist das
science paper recapture da werden also
diese Security Barrieren mit harten
kipren für KI benutzt wir alle wisst das
kennen das haben wir ja heute noch damit
werden wir heute noch konfrontiert das
wurde dann auch erfolgreich an Google
verkauft gut das das mal als Rückblende
jetzt springen wir kurz um 10 Jahre in
die Mitte der 2010er Jahre da gibt's
dann wieder einen dude den ich euch
nicht vorenthalten kann in einem Vortrag
über KI ih hier Andrew ing er ist damals
mit so Vorträgen rumgelaufen die so
Titel trugen wie ai ist the new
electricity ich zitiere hier auch aus
einem sehr sehenswerten Vortrag den es
anzugucken gibt auf Videoplattform wo er
sowas sagt ja wisst ihr wir sind jetzt
in den 2010er Jahren computing power
kann man sich kaufen in der Cloud Talent
ist ist ein Problem also so
Arbeitskräfte die das programmieren
können sind ein Problem aber das größte
Problem für KI Geschäftsmodelle sind
eigentlich Trainingsdaten wer train
Daten hat der hat auch KI davon hängt
alles
ab und er gibt auch eine interessante
Prognose was man überhaupt mit KI machen
kann also was was zu erwarten ist dass
KI es gut können wird in den nächsten
Jahren von 2017 aus betrachtet und er
sagt halt alles was ein typischer Mensch
TM was auch immer das ist ein typischer
Mensch innerhalb von maximal einer
Sekunde des Denkens tun kann davon K wir
ausgehen dass was jetzt oder bald
automatisieren können setzt man das ach
so was er dann Predigt den Studierenden
in Stanford wo dieser Vortrag gehalten
wird ist das KI zu machen eigentlich vor
allem heißt eine große Feedbackschleife
in Gang zu bringen und diese
Feedbackschleife die fängt mit einem
guten Produkt an das Gute Produkt das
muss Menschen anziehen NutzerInnen diese
NutzerInnen die produzieren Daten und
mit den Daten kann man das Produkt
besser machen und mit dem besseren
Produkt zieht man dann noch mehr
NutzerInnen an und mit den mehr
NutzerInnen produziert man noch mehr
Daten ich weiß der Ton ist ausgefallen
aber ich hatte mir vorgenommen weiterz
sprechen es tut mir leid vorne sind noch
ein paar Plätze frei kommt kommt nach
vorne ihr seht das ist eine große
Feedbackschleife die hier zustande kommt
wenn man KI machen möchte nach Andrew
Ing
wenn wir uns das Jahrzehnt also wir sind
ja gerade in den 2010er Jahren wenn wir
uns dieses Jahrzehnt noch ein bisschen
genauer angucken dann sehen wir dass das
Jahrzehnt der großen datensammelprojekte
ist das ist das Jahrzehnt ich meine
Facebook gibt's seit 20 2004 oder so ach
so da sehen wir es ja auch wir sind hier
in den Nullerjahren Entschuldigung also
in den Nuller Jahren das ist das
Jahrzehnt wo die großen
datensammelprojekte zustande gekommen
sind das ESP Game war
die ganze Web 200 Idee um um die gleiche
Zeit Amazon mechanical tur Google
Analytics Facebook Smartphone das sind
alles die Entwicklungen der 2000er
Jahren und wenn man das mal so
historisch aggregiert betrachtet dann
ist das die Zeit in der eine weltweite
medieninfrastruktur zur Datensammlung
etabliert wurde ich würde sagen also die
Etablierung vernetzter
medieninfrastruktur für die Produktion
von KI Trainingsdaten wie man das Rest
retrospektiv sehen kann und mit einer
Latenz von 10 Jahren sehen wir dann in
den rund um 2016 den Hype um deep
learning ich will natürlich darauf
hinaus dass das überhaupt kein Zufall
ist sondern dass man die Geschichte der
künstlichen
Intelligenz als eine Mediengeschichte
erzählen muss also die Geschichte dessen
was heute als KI verkauft und gehypt
wird meine ich natürlich wenn ich
künstliche Intelligenz sage also das das
ist meistens datenbasierte künstliche
Intelligenz machine learning oder andere
Verfahren die auf jeden Fall unsere
Daten benutzen und die Genese die
Genealogie dieser Technologie und ihr
ihres weltweiten Erfolges muss man als
eine Mediengeschichte erzählen wäre das
die proposition die ich euch hier
reinreichen
möchte und daraus folgt dann auch weil
offenbar diese KI die wir aktuell
besprechen die aktuell gehypt wird die
aktuell erwähnt wird wenn wir oder
gemeint wird wenn wir KI sagen abgesehen
von den ganzen futuristischen Sachen die
es noch nicht gibt wenn wir die
untersuchen wollen ethisch politisch
hinsichtlich ihrer gesellschaftlichen
Auswirkung dann müssen wir KI als
soziotechnische Systeme betrachten denn
offenbar sind die ganzen NutzerInnen die
diese Daten produziert haben und auch
weiter produzieren wesentlicher Teil
dieser Systeme deswegen ist der
Ansatzpunkt des der philosophischen
kritischen ethischen Arbeit die ich
mache und die wir in osner Brück machen
das Human aided ai Prinzip das ist so
ein kritischer Blickwinkel oder ein
kritisches Paradigma auf ki-ysteme zu
schauen das geht von der Feststellung
aus die heute erfolgreichen kiysteme die
sind eigentlich kybernetische
menschmaschinenetzwerke das heißt
soziotechnische Systeme die Nutzenden
sind wesentliche Teile dieser Systeme
warum aber jetzt
kybernetisch kybernetisch dieser dieser
Ausdruck der weist darauf hin dass sie
auf feedbackschleifen zwischen Menschen
und Computern beruhen nicht nur auf
gesammelten Daten sondern auf
feedbackchleifen das ist das
entscheidende jetzt und das einfachste
Beispiel ist die googleuche die wir alle
kennen wenn man auf so ein Link drauf
klickt das Wissen hier im Raum
vermutlich alle dann kommt man gar nicht
dahin wo man denkt man kommt hin ne
sondern man kommt erstmal zu Google und
google sammelt einige Daten sogar ein
paar mehr Daten das kann man auch ganz
gut reverse engineeren was die da alles
und leiten einen dann ganz schnell zu in
dem Fall tagesschau.de weiter es gibt
auch andere Methoden mit ping Attributen
oder so wo das parallel geht aber im
Wesentlichen ist es das hier das heißt
was ihr anklickt das wird registriert
von dem Apparat und das ist das sind
Trainingsdaten dieser Apparat wird immer
weiter trainiert und implementiert auf
diese Weise so ein mediales
schwarmprinzip und das ist die KI die
die googleuche ist wir sind alle Teil
davon die Intelligenz dieses Apparats
und das ist typisch für KI heute die
liegt im Design von feedback loops die
liegt nicht allein in den Algorithmen
die in irgendwelchen Rechenzentren
laufen oder in trainierten Modellen
sondern die Intelligenz die liegt im
Design das ist eine eine ganz andere
Arbeit als programmieren mit unter ja
Design im Design von feedback loops
anderes
Beispiel irgendwann hat Facebook Ende
der 2000er Jahren Jahre dieses face
Tagging Feature eingeführt also dass man
Gesichter markieren kann andere
Facebooknutzer innen auf demem
hochgeladenen
Foto war sicherlich nicht nur nett
gemeint den nutzerenden gegenüber damit
sie ihre Fotoalben besser sortiert haben
sondern vor allem warum weil man
gelabelte gesichtsbilder haben wollte
warum weil man eine gesichtserkennungsk
KI bauen wollte das deepface Projekt von
Facebook fing dann damals an wurde lange
Zeit geheim gehalten sie haben es sogar
versucht zu vertuschen es nicht mehr
ging dann haben sie es irgendwann als
ein privacy Feature verkauft weil das
nämlich dann wenn man automatisiert auf
einem hochgeladenen Foto erkannt wird
also wenn man nicht getagt wird sondern
die KI erkennt einen hat man so eine
Nachricht hier gekriegt die einen darauf
hinweist dass da ein Foto von einem
hochgeladen wurde da kann man dann sagen
ja ja bitte aber ignoriere mich da mal
Tag mich nicht oder ja Tag mich was man
auch machen kann ist hier auf dieses
drei Punkte Menü klicken und sagen nee
bin ich
nicht
das ist das Design von feedbackschleifen
für Facebook relevant ist natürlich der
Unterschied zwischen dem linken und dem
rechten Screenshot also ob man ignoriert
werden will oder getagt werden will das
ist beides verifik also positive
Verifikation aber dass man es nicht ist
dass es also eine falsche Erkennung war
das ist ein wichtiges Datum welches dann
eingeht als Trainingsdaten in das KI
syystem das heißt auch hier das deepface
System bevor es offiziell eingestellt
wurde vor ein paar Jahren war ein
ki-apparat wo wir Nutzer innen zumindest
die die auf Facebook sind ein
wesentlicher Teil davon waren und zwar
fortwährend nicht nur irgendwann
irgendwie während der Trainingsphase und
dann ist das Modell trainiert und dann
kann man loslegen nein fortwährend war
NutzerInnen Teil dieses kisystems das
führt mich zur zweiten These des Human
aided ai Ansatzes nämlich zu dem
sogenannten
Korrespondenzprinzip maschinlearning
Probleme die werden in User Experience
Design Probleme
übersetzt denn das Design von Feedback
GLS das ist meistens ein UX Problem und
kein Programmierproblem allein ja also
die Arbeit von Designer innen die sich
solche cleveren nutzerinteraktionen
ausdenken wie das hier die Leisten
wesentlichen Teil der Arbeit an
KI-System an solchen kommerziellen
großskaligen
kiystemen ich will noch ein anderes
Beispiel
machen das schade weil das Beispiel ist
ein bisschen komplexer ich hoffe ihr
könnt mich verstehen personalisierte
Werbung ist das harmloseste KI Beispiel
schlecht hin was ist schon was ist schon
schädlich daran wenn man personalisiert
Werbung angezeigt bekommt meint man der
Punkt ist es ist sehr schädlich machen
wir ein Beispiel nehmen wir als Beispiel
einmal Werbung für ein Medizinprodukt
oder in dem Fall ist es kein
Medizinprodukt sondern eine klinische
Studie für ein Diabetes Typ 2 Medik das
ein realer Fall so eine Werbung wurde
geschaltet es ist ja schwierig für
Krankheiten Proband innen zu bekommen
also wenn man neues Medikament oder
Therapieverfahren testen möchte Proband
innen zu bekommen und das kann man auch
über Social Media suchen weil man
vermeintlich mit dem gleichen Marketing
buudget auf Social Media spezifischer
die Zielgruppe für dieses Medikament
oder diese Therapie erreicht damit wird
jedenfalls das ganze
beworben was wir müssen einmal kurz den
Lebenszyklus von so einer Social Media
Kampagne für in dem Fall eine klinische
Studie
durchgehen ach soo sei noch bemerkt habt
das gesehen man kann sogar hier auf
signup klicken ne also man kann sich
hier schon für die klinische Studie zu
Diabetes Typ 2 anmelden hier auf diesem
Facebook Ding
nehmen gehen wir mal den Lebenszyklus
von so einer Anzeige durch ihr seid der
anzeigekunde also derjenige der die
Anzeige bereitstellt und an irgendwelche
Kriterien also weil ihr müsst irgendwie
eure Zielgruppe definieren wer am eesten
Diabetes Typ 2 hat weiß ich nicht ab
50 first World und so weiter da da gebt
ihr dann irgendwas rein das gibt ihr als
targeting Kriterien an die Social Media
Plattform die hat ein targeting
Algorithmus und der targeting
Algorithmus sucht nach diesen Kriterien
NutzerInnen aus die dann diese Anzeige
sehen und dann kriegen manche Nutzer
innen die Anzeige
angezeigt soweit versprechen richtig
natürlich endet die Story hier noch
nicht denn es ist ja für Online Werbung
inherent oder wesentlich dass man die
Klicks oder das Engagement wie man es im
marketingprech sagt messen kann für
solche Anzeigen das heißt die Plattform
die misst gucken sich das die Leute an
wie lang teilen die das liken die
das Klicken die das schnell weg und so
weiter
und diese Daten sind natürlich
interessante feedbackden die sie als
Trainings Daten in den targeting
Algorithmus wieder reinstecken also in
das prädiktive Modell welches die
targeting Entscheidung macht das heißt
sie fangen mit diesen initialkriterien
ihres Werbekunden an zeigen das diesen
NutzerInnen und gucken wer klickt dann
da überhaupt drauf und wer nicht und
danach verfeinert sich dann das
Targeting merkbar und wissenschaftlich
dokumentiert über die ersten Tage sod
dass es im Laufe der Zeit immer
effizienter wird also immer treffsicher
die Leute trifft die dann auch wirklich
drauf klicken werden auf diese
Anzeige was sie damit trainieren ist
natürlich ein Modell welches die
Krankheit voraussagen kann und zwar in
beliebigen
plattformnutzerinnen heute oder auch in
der Zukunft oder auch in der
Vergangenheit richtig denn wenn drauf
klicken recht gut korreliert mit ich
habe die Krankheit dann haben Sie hier
mit diesem targeting Algorithmus den sie
in dieser Feedbackschleife trainieren
ein Modell zur Vorhersage der Krankheit
und zwar auch für NutzerInnen die gar
nicht die Anzeige gesehen haben oder
NutzerInnen die sich erst in 5 Jahren
bei Facebook anmelden werden oder
NutzerInnen die vor ein paar Jahren ihr
Profil gelöscht haben wobei sie es aber
als Plattform nicht gelöscht haben das
heißt sie
sehen dieses Prinzip also keine Ahnung
die der Werbekunde der das anstößt und
die ganzen NutzerInnen die drauf klicken
oder auch die die nicht drauf klicken
alle zusammen wirken mit an einem
KI-System was in beliebigen anderen
plattformnutzerinnen diese Krankheit
voraussehen kann ähm Sie sie sehen wie
mächtig das Prinzip Prinzip ist also wir
erhalten hier Modelle die sehr
detaillierte und hochsensible Daten
theoretisch über beliebige Nutzer innen
voraussagen können und der Verdacht
liegt nah und es ist ja auch in paar
Fällen dokumentiert dass Social Media
Plattform auch mit anderen Industrien
Zusammenarbeit z.B der
Versicherungsbranche wenn es um
individuelle Bepreisung von
Versicherungen geht oder mit Unternehmen
die so etwas wie das KI basierte
Screening von jobbewerbungen machen
wollen um jobbewerberinnen zu
shortlisten und so
weiter an diesem Beispiel sieht man
glaube ich sehr gut dass
feedbackschleifen und wir leben im
Jahrzehnt der feedbackschleifen KI
feedbackschleifen ermöglichen eine neue
Form von Macht und das ist vielleicht
auch die macht die heute
charakteristisch ist für aktuelle Formen
von KI ich würde diese Macht
kontrollmacht nennen und das ist in der
davor haben viele Autorinnen schon
gewarnt man kann in die kynetik
Literatur gucken sowas wie Norbert
Wiener von 1950 the human use of human
beings könnte der Titel viel sagender
sein ich glaube nicht oder auch Gill de
mit seinem Postskriptum über die
Kontrollgesellschaften ich habe den den
spanischen Buchtitel nur genommen weil
er das geilere Cover
hat oder etwas aktueller Katherine Hales
mit ihrem mit ihrer Kybernetik KI Kritik
das nur als reading list ich zitiere nur
eine Sache aus von von Norbert Wiener
man hat damals schon im im Nachgang der
50er und spätestens in den 80ern darüber
geredet dass dass diese ganze kübernetik
und die Automatisierung mittels
feedbackschleifen zu einer neuen Form
von Macht und Kontrolle führt in der
Gesellschaft da gibt's dieses Stichwort
Maschina gouverne und interessant man
findet dann in diesem Buch diese Passage
it's not frightening because of any
danger that it may achieve autonomous
control over
humanity real danger is that such
machines though helpless by themselves
may be used by human being or block of
human beings to increase their control
over the rest of the human race that
political leaders may attempt control
populations
das ist eine ganz gute Voraussage für
genau das was wir sehen und ein kleiner
Seitenhieb an die ganzen Doom stay
Kritiker innen von KI das Problem an KI
wird nicht sein dass sie dass sie uns
unterwirft nein sie wird uns einhegen in
Feedback Schleifen in
Kontrollstrukturen in denen auf über auf
uns irgendwie kontrollmacht ausgeübt
wird und das ist auch alles immer zum
Profit von Leuten ja das ist nicht das
macht nicht die Maschine sondern es
macht die Maschine für Leute die diese
Maschine bauen und
einsetzen genau das führt also zu diesem
Thema wenn man die Macht von KI
Apparaten thematisieren will muss man
über kontrollmacht sprechen ich glaube
kontrollmacht hat mindestens drei
Dimensionen a Manipulierbarkeit B
Diskriminierung und C Ausbeutung ich
will darauf kurz ein bisschen eingehen
wir fassen mal die Punkte Manipulation
und Diskriminierung zusammen denn beides
beruht auf einem ähnlichen Prinzip
nämlich dem Prinzip der
Vorhersage eine Technologie die auf der
dichten Einhegung von Menschen in
Datennetze und feedbackschleifen beruht
die ist inherent dazu in der Lage diese
einzelnen Menschen die die Daten liefern
auch untereinander zu vergleichen zu
klassifizieren oder auch vorherzusagen
was die wohl als nächstes machen werden
ja wenn ich die Daten von 5 Millionen
Menschen habe kann ich über jeden
believing da kann ich die Unterschiede
mir angucken ich lerne nicht nur von
denen sondern ich lerne auch die zu
unterscheiden das ist dieser Form von KI
inherent das ist nicht eine spezielle
Anwendung von KI sondern das ist das was
datenbasierte KI inherent kann und macht
in irgendeiner Form und da kommt
natürlich dann dabei raus dass man
allerhand über die Menschen vorhersagen
kann nicht nur ob sie Diabetes Typ 2
haben sondern auch sowas
sowas basales wie sexuelle Identität
oder gender oder alter hererkunft
Krankheiten
substanzenmissbrauch psychische Probleme
Wohlstand Kredit figkeit und so weiter
das sind so die ist so die eine
Kategorie von markerern an denen man
anhand den derer man Menschen dann gut
diskriminieren kann und man kann auch
sowas vorheragen über die Menschen wie
ihre Persönlichkeitseigenschaften denkt
an Cambridge analytier wo so ein
fünfdimensionales Mapping von
psychologischen Eigenschaften gemacht
wurde oder politische Einstellungen oder
auch in welcher Stimmung man sich gerade
befindet das KI also datenbasierte
kübernetische KI-System und das sind die
allermeisten heute so etwas über
Menschen sagen oder abschätzen können
ist diesen System inherent es ist nicht
eine spezifische Anwendung dieser
Systeme sondern es ist das wofür diese
Systeme gemacht werden und der obere
Block ermöglicht Diskriminierung grob
gesagt der untere Block Manipulation
also dass man den Leuten bestimmte
Werbung anzeigt z.B für politische
Parteien weil man weiß sie sind
psychologisch so gestrickt dass sie
darauf besonders anspringen nur als
Beispiel hier ein tolles Beispiel ist
auch Spotify wusstet ihr spotify ist ein
kiunternehmen die verkaufen gar nicht
primär mehr Musik sondern hauptsächlich
Werbung was sie selber sagen auf ihrer
Webseite ist dass anhand von dem was ihr
gerade so hört können die abschätzen ob
was ihr gerade so macht guck kocht ihr
mit Freunden oder macht ihr ein Workout
was sie auch abschätzen können wenn man
ein bisschen tiefer reinschaut ist sowas
wie fühlt ihr euch gerade einsam
melakonisch unsicher und so weiter und
das sind die besten Momente um bestimmte
Werbung anzuzeigen das heißt man beutet
aktuelle Stimmungen aus ja das ist ein
ein Beispiel für
Manipulation das ich damit wenn ich
Manipulation sage wie schon gesagt die
prädiktive Vermessung der Nutzerin ja
dieser einzelnen datenlieferand innen
solcher küberbernetischer human aided ai
Systeme ist kübernetischen KI System
inherent das ist kein Zufall sondern das
ist das wofür sie da sind und wie sie
funktionieren und so führt das ganze auf
diesen dritten Block von kontrollmacht
den ich Ausbeutung genannt hatte ja
erinnert euch irgendwie Manipulation
Diskriminierung Ausbeutung und was wird
denn da ausgebeutet in kontr Roll macht
ich würde sagen mindestens drei Sachen
das eine sind vulnerabilitäten die
solche Systeme gut ausmessen können also
z.B psychische Schwachpunkte soziale
Schwachpunkte fühlt man sich gerade
einsam und so weiter was auch
ausgebeutet wird ist unsere
datenlieferbereitschaft ja es wird eine
neue App angeboten und zack sind unsere
Daten schon auf dem Server weil wir die
App geil finden und benutzen wollen oder
gezwungen werden sie zu benutzen oder
ähnliches das wird ausgebeutet und
entscheidend sozioökonomische Gradienten
weltweit im globalen ökonomischen Gefüge
viel von KI viel datenproduktion im ki-
Kontext basiert auf Klickarbeit also auf
der
Zuarbeit von Arbeiterinnen die mitunter
nicht im gleich in unserem Ländern sind
sondern in Ländern mit niedrigeren
nohniveau oder niedrigeren
arbeitsschutzstandards und dieses
niedrigere Lohnniveau und diese
niedrigeren arbeitsschutzstandards die
werden auch ausgenutzt um
annotationsarbeit oder
datenproduktionsarbeit zu machen
m das ist im Endeffekt dann eine große
systemische Feedbackschleife die diese
Ausbeutung reproduziert nämlich diese
Gradienten das ist das entscheidende das
heißt auch auf so einer ganz großen
Ebene kann man hier von Feedback
Schleifen reden Feedback schleifen die
so selbstverstärkend
sind ja jetzt sind wir hier in der
Sektion im im sustainability Track
vom CCC Kongress deswegen m men wir
jetzt mal noch kurz über Nachhaltigkeit
reden ich habe das aber nachdem wir
jetzt einmal kurz gesagt haben wie man
KI auch verstehen kann und dann über was
ist eigentlich die macht oder was macht
die Macht von KI aus ist es liegt es
jetzt eigentlich auf der Hand warum das
alles inherent gegen Nachhaltigkeit
läuft der Punkt dabei ist allerdings
dass man unter diesem gehalten Stichwort
Nachhaltigkeit nicht immer nur
Umweltschutz versteht also ich in dem
Fall denke ich jetzt hier nicht an den
Energieverbrauch oder Materialverbrauch
von KI Technologie und das ist beides
erheblich und das ist ein großes Problem
das wäre aber ein anderer Vortrag
sondern die 17 Nachhaltigkeitsziele der
UN die in den 2010er Jahren im Rahmen
der Agenda 2030 beschlossen wurden die
enthalten sieben Ziele mindestens sieben
Ziele die eindeutig sozialer Natur sind
die soziale sustainable development
sind die habe ich hier mal markiert das
man sagt ja auch immer dass
Nachhaltigkeit hat so drei Dimensionen
ja Umwelt Wirtschaft und Soziales oder
sozialer Zusammenhalt oder soziale
Kohäsion wir gehen die jetzt mal kurz
einmal
durch fangen wir mit dem Ziel Nummer ein
an der Kampf gegen
Armut in der Literatur ist es wirklich
ausführlichst diskutiert worden dass KI
die Reichen reicher macht also so eine
Art Umverteilung von unten nach oben
sowohl in der einzelnen Gesellschaft als
auch global betrachtet ja vom globalen
Süden in den globalen Norden und so
weiter bedeutet dass es die Armen ärmer
macht also dass es ohnehin
vulnerableable oder oder verarmte
sozioökonomische Gruppen und
demografische Gruppen eher noch weiter
bestraft oder
ausbeutet KI wurde sogar
als im im gesamten also wieder global
als globalsystem als eine Industrie
beschrieben die auf sowas wie einem
extraktivismus beruht ja ai extractivism
ist ein großes und wichtiges kritisches
Instrumentarium in der Debatte also der
Begriff meine ich wo ausgeführt wird KI
beruht auf der Ausbeutung von Rohstoffen
von Energie von Arbeitskraft und von
Daten ich bin jetzt hier mit diesem
Vortrag auf dieser Arbeitskraft und
Datenebene aber Rohstoffe ener sind
natürlich auch Teil davon und das sind
globale Prozesse genauso wie
thematisiert wird und wurde dass die
ki-industrie als globales Phänomen
bruchfrei an den historischen
Kolonialismus anschließt und
neokoloniale Strukturen etabliert die
also so etwas wie die in wtsetzung von
Ressourcen oder von der Industrie als
Ressourcen
bezeichneten Dingen bewerkstelligt die
auch so so ein
enteignungsaspekt haben oder ein ein ein
koloniales Moment wie da thematisiert
wird gucken wir uns die nächsten drei
Ziele an sowas wie Gesundheit
hochwertige Bildung menschenwirtige
Arbeit das
Bangs hier zitiert in dieser Studie zur
automatisierten Ungleichheit wie soziale
fürsorg strruktur
Gesundheitssystem oder überhaupt die
Situation vulnerabler Bevölkerung
Gruppen durch Automatisierung
Digitalisierung und auch das was man
unter KI verkauft noch weiter erodieren
oder die diese Gruppen werden
wulnerabler dieses wirklich lesenswerte
aber schon etwas in die Jahre gekommen
den noch immer unfass immer noch
unfassbar aktuelle Buch von K oil macht
das alles mit einer ganzen Reihe von
Beispielen z.B auch hinsichtlich des
Zugangs zu Bildung Zugangs zu Jobs zu
Wohnung zu
Gesundheitsfürsorge oder wer sich ein
bisschen mehr für das Thema
menschenwürdige Arbeit interessiert der
kann ja mal darüber nachlesen wie es den
Menschen in dem Amazon fullfilment
Center so geht oder überhaupt in der
ganzen algorithmisierten Arbeitskultur
der gigconomy also hier jubafication ist
da das große Stichwort wo Menschen quasi
die Roboterarme eines Algorithmus sind
der Ihnen sagt wo sie langfahren müssen
oder welchen Weg durchs Hochregallager
sie gehen müssen und wie schnell Sie
greifen müssen und in feedbackschleifen
eingearbeitet sind also das ist ein
Paradebeispiel für kubernetik
ähm hier die nächsten zwei
Geschlechtergerechtigkeit und weniger
Ungleichheiten
ähm da gibt's viel Literatur zu data
feminism ein super Buch was
diese ganzen speziell data Analytics
data science aus einer feministischen
Perspektive
betrachtet und da auf Ungleichheiten die
teilweise inhärent diesen Disziplinen
eingeschrieben sind hinweist hier Safia
Nobels Buch zu algorithmischer
Unterdrückung welches das spezifisch im
Fall von Suchmaschinen macht und auch
auf die rassifizierende Dimension
eingeht genauso wie weitere Titel hier
die vor allem wieder auf die
neokoloniale Dimension oder die
rassistische Dimension aktueller
Digitaltechnologie hinweisen und jeweils
kann man da sehr gut erkennen dass diese
Diskriminierungen Ungleichheiten
ausbeutungsstrukturen der Tech
Technologie inherent sind das liegt an
dieser feedbackschleifen Absch
schöpfungs ausbeutungslogik das ist
nicht Zufall und das wird auch keinen
technologischen fix haben der das behebt
entscheidend hier die letzte Dimension
das ist so weiß ich nicht auch das aller
also das ist so so ein so ein bisschen
so ein containerziel da steckt viel drin
aber insbesondere starke Institutionen
und wir kennen das ja alle spätestens
seit Cambridge analytica dass unsere
Demokratien durch dass
wie soziale Medien oder überhaupt
nachrichtenkonsum heute im KI Kontext
funktioniert dass das gefährdet ist ähm
und dass ähm wir uns Sorgen machen
müssen über die Stabilität unserer
demokratischen Institutionen ähm das
Problem Desinformation das ist durch
Chat GPT und generative also auch
bildgenative KI Systeme natürlich noch
mal auf eine ganz neue Dimension gehoben
worden äh im Vergleich zu Cambridge
analytica wir sehen an dieser kurzen
reading list es ging schnell ich weiß
ihr könnt im Video vielleicht die
Buchtitel gegebenenfalls rausziehen wenn
sie euch interessieren ähm wir sehen
dass eigentlich alle diese sieben
sozialen Nachhaltigkeitsziele
durch KI eher gefährdet als gefördert
werden ähm das ganze ist die kritische
akademische und aktivistische Debatte
gewesen die das irgendwie
gleichzeitig diagnostiziert und auch
voraussagt wir können jetzt auch ein
bisschen noch empirisch auf die
Indikator schauen die UN die
veröffentlicht regelmäßig
ein einen Bericht zum Stand der Dinge in
Bezug auf die Sustainable Development
Goals hier das ist mal ein eine Tabelle
die ich dem Bericht von 2003 entnommen
von 2023 entnommen habe also aus diesem
Jahr in der rechten Spalte sieht man
farbcodiert wie es um die jeweiligen
Entwicklungsziele steht von tiefrot bis
grün ist das kodiert hinsichtlich
wie nah man am am Erreichen des Ziels
ist und wenn man jetzt nur die sozialen
Dimensionen anguckt ich habe die anderen
jetzt mal weggeblendet also die sieben
über die ich gerade gesprochen habe dann
sind die alle in ein besorgniserregenden
Bereich was vielleicht kein Zufall ist
wenn man der Logik dieses Vortrages
folgt übrigens es gibt ja auch zwei
Ziele hier die sind
grün sind on
track ausgebter Zugriff auf mobile
Netzwerke
und mehr
Internetnutzung ihr seht es läuft nicht
alles
schlecht ich will zum Schluss nachdem
ich jetzt auf so viel Systemkritik
eingegangen bin noch eine weitere Pointe
machen und ich glaube dass die
gesellschaftlichen Auswirkungen der
Digitalisierung und das Thema
Klimawandel eigentlich die beiden großen
politischen und ethischen Probleme
unserer Zeit sind und die tragen auch
wenn ich jetzt gerade versucht habe KI
nicht auf Ressourcenverbrauch und somit
auf Klimawandel zu reduzieren sondern
auch noch so eine Eigenständigkeit im
sozialen Bereich klar zu machen die
tragen trotzdem ein ganz ähnliches
Gepräge eine ganz ähnliche Struktur es
sind nämlich Probleme an denen wir
irgendwie alle gemeinsam schuld sind und
das haben wir im Fall von KI jetzt
gesehen weil wir alle benutzen dieses
System wir liefern die Daten eigentlich
ist diese Industrie ja super
vulnerabel dagegen dass man aufhört es
zu benutzen diese Produkte zu benutzen
ja da könnte man sehr schnell
börsenwertwiksame Veränderungen
hervorbringen passiert aber nicht weil
wir benutzen sie alle also sind wir
irgendwie Kollektiv dafür
verantwortenlich nicht reduzibel auf den
einzelnen oder die einzelne von uns aber
Kollektiv und es ist also irgendwie
unser eigenes Verhalten was da
involviert ist und dennoch ist es ein
systemisches Problem oder es ist ein
systemisches Problem wenn man wenn man
sagt systemische Probleme entstehen auch
irgendwie durch das Zusammenspiel vieler
Individuen die meinen für sich rational
oder das richtige oder frei oder und so
weiter zu entscheiden und ich glaube das
ist diesen beiden ethischen Problemen
sehr wesentlich und im Fall auf Daten
oder KI gemünzt müssen wir uns einfach
dessen bewusst sein dass die Daten die
wir täglich produzieren die sind ein
bisschen wie Autoabgase ja da die der
Einzelne Autokilometer der der bringt
niemand um aber zusammengenommen sind
unsere Daten das was z.B die
Diskriminierung anderer Menschen
ermöglicht zusammengenommen also unsere
Daten ermöglichen Vorhersagen über
andere Menschen es braucht die Mehrheit
der Gesellschaft die sagt ich habe doch
nichts zu verbergen um die
Datengrundlage zu schaffen auf der
andere Menschen die sehr wohl was zu
befürchten und zu verbergen haben dann
diskriminiert werden können oder
unterschieden werden
können genau uso braucht man fürs
Training von kimodellen nur
anonymisierte Daten da braucht man keine
personenbezogenen Daten man kann die
Daten anonymisieren und das meiste
trotzdem noch damit machen und das
zusammengenommen führt dazu dass weder
die dsgvo da viel hilft gegen diese
Industrie noch übrigens by the way das
wä ein andere Vortrag der KI Act wenn
ihr das dazu mehr lesen wollt aus meiner
aktuellen Forschung folgt diesem QRCode
ich danke euch an der Stelle fürs
zuhören und freue mich jetzt auf die
[Applaus]
[Musik]
[Applaus]
[Musik]
Fragenrunde danke für deinen tollen
Vortrag lieber reiner wir haben nicht
mehr viel Zeit für Fragen weil wir
eigentlich schon über der Zeit sind ich
sehe auch niemand eine Mikrofon haben
wir was aus dem
Internet haben wir dann let's go einmal
die internetfrage und dann genau
es gibt zwei Fragen einmal ich verstehe
nicht wie werbeanalytik diskriminiert
außer dass Reiche besonders schlechte
Angebote bekommen und ich frage mich die
ganze Zeit was die Pointe ist steckt in
dem Talk ein impliziter
[Gelächter]
handlungswunsch okay werbeanalytik ist
deshalb diskrimin
weil die Plattformen die die targeting
Algorithmen bauen mit diesen
Algorithmen Vorhersagen z.B darüber
treffen können ob eine beliebige
Nutzerin insbes auch die die NIE eine
Werbung sehen z.B eine Krankheit hat
eine bestimmte oder sich für
Diätprodukte interessiert
oder für Nachhilfekurse oder ähnliches
und das sind alles Vorhersagen die dafür
benutzt werden können um sie z.B an die
Versicherungsindustrie oder andere
scoring Dienstleister zu verkaufen um
Menschen zu diskriminieren das
Entscheidende ist was man verkaufen kann
ist das Vorhersagemodell das trainierte
kimodell oder die Anwendung dieses
Modells und ein trainiertes kimodell ist
kein personenbezogenes Datum das
unterliegt nicht dem Datenschutz man
kann diese Modelle zweit verwenden und
diese sekundärnutzung trainierter
Modelle ist meiner Meinung nach das
größte Problem im Bezug auf die
Regulierung von KI
da gibt's ein Paper interter diesem
QRCode sehr gut das schauen wir uns alle
gemeinsam an wir sind leider mit der
Zeit am Ende für diesen Talk herzlichen
Dank noch mal lieber reiner noch mal
eine Runde Applaus für Dan
[Applaus]
[Musik]
danke
[Musik]