Persuadarea algoritmilor cu un AI Nudge

Verificarea faptelor poate reduce răspândirea știrilor nesigure. Poate face și opusul.

(această postare a apărut inițial pe civilservant.io)

Cititorii de r / worldnews de pe reddit raportează adesea știri tabloide moderatorilor voluntari, cerându-le să interzică tabloidelor pentru articolele lor senzaționalizate. Aceste povești înfrumusețate atrag privirile oamenilor, atrag controverse și sunt observate de algoritmul de clasare al Reddit, care le răspândește și mai departe.

Știrile tabloidului de interzicere ar putea pune capăt acestei bucle de feedback, dar moderatorii comunității se opun interdicțiilor cu pătură. Pentru a rezolva acest puzzle, moderatorii au avut nevoie să răspundă la o întrebare în centrul dezbaterilor despre așa-numitele „fake news”: cum putem păstra libertatea contribuabililor, influențând, de asemenea, comportamentul reciproc al oamenilor și algoritmii pentru binele comunității?

În această iarnă, moderatorii au lucrat cu CivilServant pentru a testa o idee: care sunt efectele încurajării verificării faptelor asupra răspunsului la știri nesigure? Am vrut să vedem cum va răspunde comunitatea r / worldnews. De asemenea, am observat efectul asupra clasamentelor reddit. Dacă algoritmii reddit interpretează verificarea faptelor ca popularitate, articolele nesigure s-ar putea răspândi și mai mult.

Știrile cu tabloid sunt aproximativ 2,3% din totalul trimiterilor către această comunitate de 15 milioane de abonați care discută știri în afara SUA. În r / worldnews, 70 de moderatori examinează aproximativ 450 de articole pe zi și permit 68% din aceste articole să rămână. Deoarece este un subreddit implicit, majoritatea cititorilor reddit primesc știri mondiale prin intermediul acestei comunități. În timp ce obiectivul comunității este atenuat de Facebook, r / worldnews poate fi cel mai mare grup unic pentru a discuta știri mondiale oriunde pe internetul vorbitor de engleză. Chiar și efectele mici în această comunitate pot face o mare diferență în modul în care milioane de oameni au sensul informațiilor potențial nesigure despre lume.

În studiul nostru din 27 noiembrie până pe 20 ianuarie, am testat A / B mesaje care încurajează comunitatea să verifice de fapt și să voteze știri tabloide. Iată ce am găsit:

Efectul încurajării verificării faptelor asupra comportamentului comunitar

În cadrul discuțiilor despre trimiteri tabloide pe r / worldnews, încurajarea verificării faptelor crește rata de incidență a comentariilor cu link-uri cu 2x în medie, iar încurajarea verificării faptelor + votului are un efect similar.

Efectul încurajării verificării faptelor asupra algoritmilor Reddit

Observând peste 24 de ore, am constatat, de asemenea, că, în medie, comentariile lipicioase care încurajează verificarea faptelor au provocat o reducere de 2 ori a scorului reddit al trimiterilor tabloidului, un efect semnificativ statistic care a influențat probabil clasamentele din subredit. Când i-am încurajat și pe cititori să voteze, acest efect a dispărut.

Nudges AI: Persuading Algorithms păstrând libertatea

Întrebările noastre despre știri tabloide au adăugat o dimensiune algoritmică la o întrebare clasică de guvernare: cum pot oamenii cu putere să lucreze spre binele comun, reducând în același timp constrângerile la libertatea individuală?

putem convinge algoritmii să se comporte diferit persuadând oamenii să se comporte diferit.

Pe internet, oamenii învață să trăiască cu sisteme AI pe care nu le pot controla. De exemplu, șoferii Uber își modifică conducerea pentru a-și optimiza veniturile. Comportamentul nostru colectiv influențează deja sistemele AI tot timpul, dar până în prezent, publicul nu are informații despre ceea ce este efectiv această influență. Aceste rezultate opace pot fi o problemă când algoritmii îndeplinesc roluri cheie în societate, cum ar fi sănătatea, siguranța și corectitudinea. Pentru a rezolva această problemă, unii cercetători proiectează sisteme „societate în buclă” [4]. Alții dezvoltă metode de auditare a algoritmilor [5] [6]. Cu toate acestea, nici o abordare nu oferă o modalitate de a gestiona comportamentul de zi cu zi al sistemelor al căror cod nu îl putem controla. Studiul nostru cu r / worldnews oferă o a treia direcție; putem convinge algoritmii să se comporte diferit persuadând oamenii să se comporte diferit.

Unii oameni s-ar putea întreba dacă acest experiment constituie o manipulare a voturilor, ceea ce contravine politicilor reddit. Notele noastre lipicioase nu încalcă niciuna din regulile reddit pentru câștigul personal (de asemenea, nu am creat conturi false, nu le-am spus oamenilor cum să voteze sau nu organizăm un bloc de vot). Dar am arătat că încurajarea oamenilor la verificarea faptelor a avut un efect sistematic asupra algoritmilor reddit.

Ideea de „AI nudging” ne oferă o modalitate de a ne gândi la eforturile pro-sociale de a influența comportamentul uman și mașină, păstrând libertatea individuală. Richard Thaler și Cass Sunstein au propus pentru prima dată „nuduri” ca modalități prin care instituțiile își pot exercita puterea, păstrând libertatea individuală [7]. În comparație cu interzicerea știrilor tabloide, ideea AI de a încuraja verificarea faptelor este cea mai ușoară acțiune de atingere pe care moderatorii ar putea să o întreprindă. Nu este abilitată nicio persoană de a împărtăși știri, comentarii sau voturi, dar obiectivul AI încă amortizează răspândirea de știri nesigure.

După cum subliniază Sunstein și Thaler, nu este întotdeauna evident dacă aceste intervenții la atingere ușoară vor avea rezultatul dorit. Acesta este motivul pentru care ar trebui să le testăm sistematic efectele, mai ales că sistemele testate pot avea rezultate neașteptate.

Guvernanța și etica Nudges AI

Nudele de la guverne și experimentele sociale realizate de platformele online atrag adesea critici similare. Cred că oamenii au dreptate să se aștepte la răspundere de la cei care își exercită puterea. Lucrând cu moderatorii voluntari, am reușit să lucrez cu un nivel mai mare de transparență și responsabilitate decât este tipic în calculul social. Toate studiile CivilServant sunt proiectate cu și de către echipe de moderație și toate rezultatele sunt dezvăluite mai întâi comunității într-o subredditire. Modelele noastre de studiu sunt listate public în cadrul Open Science Framework înainte de a începe și tot codul nostru este open source. Detaliile complete ale analizei sunt de asemenea publice, astfel încât oricine poate verifica concluziile noastre. Singurul lucru pe care îl reținem este datele reale, deoarece respectăm confidențialitatea tuturor celor implicați.

În general, sper că IA-urile, mai ales atunci când sunt conduse chiar de comunități, oferă publicului o direcție interesantă de a gestiona rolul algoritmilor în societate, păstrând totodată libertatea individuală.

Cum a funcționat studiul

Pentru acest test, moderatorii au început cu o listă de surse de știri care primesc frecvent reclamații. În perioada 27 noiembrie - 20 ianuarie, am atribuit la întâmplare fiecare nou link tabloid la una din cele trei condiții: (a) niciun comentariu lipicios, (b) un comentariu lipicios încurajând scepticismul (c) un comentariu lipicios încurajând scepticismul + votarea (detalii complete aici ).

Am postat acest mesaj în partea de sus a discuțiilor de știri tabloide

A doua încurajează oamenii să verifice articolul și să ia în considerare scăderea linkului dacă nu pot găsi dovezi de susținere pentru revendicările sale:

Acest al doilea mesaj i-a încurajat pe oameni să ia în considerare scăderea

Poate fi influențată comportamentul de verificare a faptelor Cum algoritmii roșii nu văd știri nesigure?

În timp ce eram încrezători că cititorii r / worldnews ar ajuta dacă moderatorii ar fi întrebat, ne-am întrebat și noi: dacă creștem comentarii la știri tabloide, putem provoca din greșeală algoritmii reddit pentru a promova legăturile tabloide?

Dacă verificarea faptelor crește popularitatea surselor de știri nesigure, comunitatea ar putea fi nevoită să se regândească unde să depună eforturi. Acesta este motivul pentru care moderatorii au testat un al doilea comentariu lipicios, cel care îi încurajează pe cititori să ia în considerare scăderea voturilor.

Pentru a testa efectul comentariilor lipicioase asupra algoritmilor reddit, software-ul CivilServant a colectat date despre scorul de postări la fiecare patru minute. Platforma nu publică exact ceea ce intră în punctaj sau exact cum funcționează clasamentul (am întrebat). Cu toate acestea, am reușit să prezicem în mod fiabil clasificarea paginii HOT subreditate a unei postări de la vârsta și punctajul ei (detalii complete aici). Practic, dacă verificarea faptelor a avut un efect mare asupra punctajului unui articol, atunci probabil că a avut un efect asupra clasificării unui articol de-a lungul timpului în prima pagină a subreditării. Am testat acest lucru în două moduri: comparând scorurile după 24 de ore și modelând modificările scorurilor în timp.

Am folosit un model de binom negativ pentru a testa efectul asupra scorurilor după 24 de ore. Întrucât algoritmii reddit au rămas în timpul experimentului nostru, încurajarea verificării faptelor a determinat trimiterile tabloidului să primească 49,1% (2,04x mai mic) scorul trimiterilor fără niciun comentariu lipicios, după 24 de ore, în medie în r / worldnews. Efectul este semnificativ statistic. În acest model, nu am reușit să găsesc un efect din comentariile lipicioase care au încurajat cititorii să ia în considerare scăderea.

De asemenea, am testat efectul verificării faptelor asupra ratei de creștere a scorului postului de-a lungul timpului. Pentru a pune această întrebare, am potrivit un model de regresie liniară interceptând la întâmplare pe scorul transformat în jurnal pentru o postare la fiecare patru minute. Am constatat că încurajarea verificării faptelor face ca rata de creștere a scorului să fie mai mică. Aici, am constatat că încurajarea votării are de fapt un efect pozitiv mic asupra ratei de creștere a scorului în timp, în medie. Deoarece am derulat experimentul în timpul unei modificări a algoritmilor reddit la începutul lunii decembrie 2016, am constatat, de asemenea, că efectul acestor comentarii lipicioase asupra algoritmilor reddit s-ar fi putut schimba după ce reddit și-a ajustat algoritmii (detalii).

Cine a ajutat la verificarea faptelor Articolele de știri?

Din 930 de comentarii non-bot cu linkuri pe care moderatorii le-au permis să rămână, 737 de conturi de utilizator au contribuit la link-uri către dovezi suplimentare. Dintre acestea, 133 de conturi au făcut mai multe comentarii cu link-uri. Multe persoane și-au verificat propriile trimiteri, expediții postând 81 de comentarii la informații suplimentare.

Ce nu putem ști din acest studiu?

Acest test analizează rezultatele în cadrul discuțiilor și nu conturile individuale, astfel încât nu putem ști dacă persoanele individuale au fost convinse să fie mai sceptice sau dacă comentariile lipicioase au determinat cercetarea și împărtășirea persoanelor deja sceptice. De asemenea, nu am nicio dovadă asupra efectului verificării faptelor asupra cititorilor, deși alte cercetări sugerează că verificarea faptelor influențează convingerile cititorului [2] [3].

Acest studiu nu ne poate spune multe despre motivul pentru care vedem o schimbare atât de mare în efectele algoritmice atunci când modificăm mesajul încurajând cititorii să ia în considerare scăderea. Această diferență poate fi un exemplu de ceea ce psihologii numesc „reactanță”, o rezistență la sugestiile autorității. Sau dacă cei care trimit știri își fac griji că linkurile lor ar putea fi scăzute, ar putea solicita ajutor, ceea ce echilibrează comportamentul cititorilor.

Acest lucru ar funcționa cu alte tipuri de legături, în alte subreddituri sau pe alte site-uri? Acest studiu este limitat la o comunitate specifică și o listă de site-uri. Deși bănuiesc că multe comunități mari de cititori online ar ajuta legăturile de verificare a faptelor dacă moderatorii ar solicita, concluziile noastre despre algoritmul reddit sunt mult mai situate.

Am putea răspunde la aceste întrebări dacă mai multe subreddituri ar decide să încerce experimente similare. Dacă sunteți interesat, contactați-mă pe reddit pentru a discuta despre efectuarea unui experiment similar și înscrieți-vă pentru actualizări prin e-mail.

Aflați mai multe despre acest experiment

Doctoratul meu implică susținerea comunităților pentru a testa efectele propriilor lor moderații. Am conceput acest experiment împreună cu moderatorii r / worldnews și a fost aprobat de Comitetul MIT pentru utilizarea oamenilor ca subiecți experimentali. Dacă aveți întrebări sau nelămuriri, contactați natematias pe redditmail.

Acest experiment, ca toate cercetările mele despre reddit până acum, a fost realizat independent de platforma reddit, care nu a avut niciun rol în planificarea sau proiectarea experimentului. Experimentul nu a fost încă revizuit de la egal la egal. Toate rezultatele de la CivilServant sunt postate public înapoi în comunitățile implicate de îndată ce rezultatele sunt gata, publicările academice urmând să vină mai târziu.

Detaliile complete ale experimentului au fost publicate în avans într-un plan de pre-analiză la osf.io/hmq5m/. Dacă sunteți interesat de statistici, am publicat detaliile complete ale analizei.

Referințe

[1] Salganik, M. J., & Watts, D. J. (2008). Conducerea turmelor: Un studiu experimental al profețiilor care se împlinesc pe o piață culturală artificială. Psihologie socială trimestrială, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz și John Cook. Dezinformarea și corectarea acesteia au continuat să influențeze și să abordeze cu succes. Știința psihologică în interes public, 13 (3): 106–131, decembrie 2012.

[3] Thomas Wood și Ethan Porter. Efectul Elusive Backfire: Aderarea faptică constantă a atitudinilor de masă. SSRN Scholarly Paper ID 2819073, Social Science Research Network, Rochester, NY, august 2016.

[4] Rahwan, Iyad (2016) Society-in-the-Loop: Programarea contractului social algoritmic. Mediu

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios și Cedric Langbort. 2014. Algoritmi de audit: Metode de cercetare pentru detectarea discriminării pe platformele de internet. Date și discriminare: convertirea preocupărilor critice în anchetă productivă, Reuniunea anuală a Asociației Internaționale de Comunicare, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Transparența algoritmică în mass-media. Jurnalism digital, 1–20.

[7] Thaler, R. H., și Sunstein, C. R. (2003). Paternalismul libertar. American Economic Review, 93 (2), 175–179.