Lista mea de dorințe a review-urilor mele

A trecut aproximativ o lună de când am postat aici. De ce? Am citit în loc să scriu. Am revizuit lucrări SIGCSE, lucrări ICSE, Tranzacții IEEE pe documente Inginerie software, Tranzacții ACM pe documente Educație în calcul. Am editat cele 7 minunate comunicări ale doctoranzilor. Am îndrumat două burse de cercetare absolvite NSF și alte aplicații de școală absolventă. Și am citit câteva zeci de nominalizări de excepție la CRA.

Acum, unora nu le place să facă recenzii. Mi se întâmplă să-mi placă, în special recenzii de la egal la egal! (Ocazional) învăț despre idei noi, ajut comunitatea mea academică să-și îmbunătățească bursa și ajung să rezolv un tip de puzzle foarte specific: ce pot spune în 500–1000 de cuvinte care vor transforma perspectiva autorului asupra propriei sale opere? Profesorul din mine savurează șansa de a încerca să deducă din scrisul cuiva cum gândește, apoi să găsească doar cuvintele potrivite pentru a-și schimba gândirea către propria mea estetică de cercetare. Nu reușesc întotdeauna (în special în lunile aglomerate ca aceasta), dar de obicei mă distrez să o fac.

Din păcate, mulți dintre cercetătorii din comunitățile mele nu se distrează la fel de mult. Și nu îi învinovățesc: obținem termene scurte, munca voluntară este în mare parte mulțumită (din cauza anonimatului) și nu există aproape nicio interacțiune cu autori sau alte recenzii, în afară de discuțiile extrem de asincrone și extrem de impersonale pe tema slab întreținute, prost proiectate grupuri precum PCS sau EasyChair (deloc față de dezvoltatorii care le mențin: aveți locuri de muncă dificile, cu resurse, doar menținerea acestor site-uri).

După 15 ani de trecere în revistă, însă, există câteva lucruri pe care cred că le-ar putea face pe oameni să se bucure de fapt și m-ar face să vreau să fac și mai mult din asta. Iată lista mea de dorințe pentru examinarea academică a colegilor.

Evaluează pe criterii explicite

Nimic nu mă înnebunește mai mult decât o cutie pe care scrie „Scrie-ți recenzia” aici. Aceste procese de revizuire între colegi complet neorientate nu reușesc în două moduri: au ca rezultat opinii foarte variate despre cercetare, dar, de asemenea, nu reușesc să semnaleze noilor recenzori ce aspecte ale cercetării valorizează o comunitate sau cum să le evalueze. Nu există un singur tip de revizuire, există infinite și este sarcina unui editor să restrângă sfera de aplicare.

Conferința internațională în domeniul ingineriei software a înregistrat unele progrese în acest sens recent, adăugând criterii specifice precum:

  • Soliditatea. Sunt prezentate revendicările lucrărilor susținute de argumentele și dovezile?
  • Noutate. Cât de mult lucrarea avansează cunoștințele noastre?
  • Claritate. Cât de clară este redactarea și prezentarea lucrării?
  • Replicabilitatea. Cu o anumită expertiză în domeniu, lucrarea (tehnică, empirică sau altfel) ar putea fi reprodusă?

Ce este excelent în legătură cu acestea este faptul că reduc multe forme de părtinire implicită în procesul de revizuire, obligând recenzorii să abordeze fiecare dimensiune. Le-am folosit pentru a-mi structura recenziile și pentru a mă asigura că sunt corect cu ceea ce ICSE dorește să selecteze.

Acum, procesul ICSE rămâne încă de dorit. Aceste criterii nu se aplică tuturor tipurilor de burse, ceea ce exclude un anumit tip de muncă nouă. Recenzorii au idei care variază pe larg în legătură cu aceste criterii, ceea ce duce la o mare diversitate în evaluările lor. Și nu există îndrumări din partea catedrelor de program despre locul „barului”: o lucrare ar putea întâlni trei dintre acestea destul de bine, dar eșuează la noutate și totuși publicată? Și ultimul este destul de ușor de remediat: postează acestea pe apelul de hârtii, astfel încât toată lumea să știe împotriva căruia sunt judecați.

În ciuda acestor limitări, cred că toate procesele de evaluare de la egal la egal ar trebui să aibă criterii explicite. Comunitățile ar trebui să se reunească pentru a le crea și a le evolua în timp.

Evaluatorii trenurilor

Una dintre problemele cu criterii explicite de mai sus este aceea că diferiți recenzori nu au capacitatea constantă de a-i judeca pe fiecare dintre ei. De ce nu? Pentru că nu învățăm cercetătorii să analizeze cercetările.

Întotdeauna am considerat că acesta este cel mai mare decalaj în educația doctorală. Ph.D. studenții au nevoie de cât mai multe oportunități de a practica revizuirea cercetării după criterii explicite posibile, dar puțini sunt invitați să revizuiască până la vârsta de vârstă. Și dacă sunt invitați să revizuiască, conferințe și jurnale rareori le oferă instruire.

Îmi aduc aminte pentru prima dată când am făcut recenzii pentru o conferință. Era o lucrare CHI, probabil în 2006 sau 2007, chiar înainte de a termina doctoratul. Am primit o cutie care spunea „Scrieți-vă recenzia aici.” Și primul meu gând a fost: „Ce trebuie să recapitulez? Tot? Impartaseste parerea mea? Am o mulțime de opinii, sunteți sigur că toate contează? Bineînțeles, toate au contat și la fel au făcut și toți ceilalți, astfel încât lucrarea a obținut scoruri extrem de variate, ceea ce probabil a confundat doar autorii. Recenziile extrem de variate pe care le-am primit întotdeauna la CHI (și încă le fac până în ziua de azi) continuă să fie dezorientante.

Ca doctor. consilier, nu reușesc să-mi instruiesc și elevii. Când îi învăț pe doctoranzii mei să evalueze munca altora? Cine lucrează îi evaluăm dacă revizuirea este confidențială? Grupurile de lectură sunt un singur loc pentru a face acest lucru, dar deseori s-au concentrat pe citirea celei mai bune și mai relevante lucrări în domeniu, nu asupra activității care are nevoie de ajutor. Cele mai multe recenzii sunt ale unor lucrări care au nevoie de ajutor.

Personal, nu cred că este sarcina consilierului să decidă criteriile după care se revizuiesc documentele. Cred că aceasta este misiunea unei comunități academice și că conferințele și revistele sunt acolo unde facem aceste criterii explicite și le instruim. Data viitoare când voi programa o conferință sau voi deveni redactor al unei reviste, voi face pregătire pentru toți recenzorii.

Publică totul, inclusiv recenzii

Când spun oamenilor despre această idee, ei cred că sunt nebun. Înainte de a gândi la fel, ascultă-mă.

Iată ideea de bază: atunci când trimitem ceva pentru publicare, ar trebui să efectuăm procesele noastre normale de revizuire, dar apoi să publicăm tot ceea ce autorii doresc să fie publicate, cu condiția ca toate recenziile lucrărilor lor să fie publicate și să fie deschise revizuirii publice ulterioare de către toată lumea din mediul academic. În mod alternativ, autorii ar putea decide să își retragă munca și să o îmbunătățească în continuare. Viitorul revizuirii de la egal la egal ar trebui să fie deschis, continuu și transparent, fiecare lucrare din lume fiind supusă unei critici eterne (moderate). De exemplu, ar trebui să pot reveni la lucrările mele mai vechi publicate în Biblioteca digitală ACM și să postez un comentariu, spunând: „Această lucrare este gunoi. Această altă lucrare pe care am publicat-o are un argument mult mai bun. ”Și ar trebui să pot face același lucru colegilor mei. Și toată lumea, inclusiv publicul, ar trebui să poată vedea comentariile noastre cu privire la toate lucrările publicate, permițând comunicării științifice să se desfășoare în public.

De ce face asta?

  • În primul rând, am trecut de o perioadă în care trebuie să ne facem griji cu privire la costurile de imprimare. Depozitarea este ieftină, iar documentele noastre sunt mici.
  • În al doilea rând, am citit și evaluat deja totul. Care este rostul în a face toate acele scrieri și recenzii, doar pentru a lăsa 75% din ea să fie necitite de mediul academic?
  • În al treilea rând, de ce lucrările de gardă artificială credem că are valoare, chiar dacă lucrarea nu este perfectă?
  • În al patrulea rând, respingând atâta muncă, respingem ideile și eforturile comunităților noastre, ceea ce este demoralizant.
  • În al patrulea rând, opacitatea revizuirii colegilor afectează opinia publicului despre știință. Arătați-le cum se face mezelul.

Cele mai multe argumente împotriva viziunii de mai sus se referă la acest lucru: academicienii vor să folosească publicațiile de conferințe și jurnale pentru a semnala meritul, pe lângă cercetări suplimentare. „Trebuie să respingem actele pentru ca lucrurile acceptate să aibă valoare”, spun ei, „În caz contrar, cum am putea ști ce lucru este bun și rău?” Lucrul ridicol în legătură cu acest argument este că pe termen scurt și lung nu avem ” nu folosiți exclusiv publicația pentru a decide ce muncă este bună și rea. Folosim scrisori de recomandare, folosim cele mai bune premii pe hârtie, folosim cele mai influente premii de 10 ani pe hârtie, ne uităm la citate. Știm cu toții că conferințele și jurnalele - chiar și cele de top - sunt pline de documente care nu sunt chiar atât de grozave, deoarece procesele noastre de evaluare de la egal la egal nu sunt chiar atât de grozave. Există prea puțin rău în pierderea unui semnal atunci când avem deja atât de multe.

Mai mult, nu vom primi semnale noi. Ce fel de dialog a apărut de la publicare? Cine vorbește despre lucrare? Cum vorbesc despre asta? Imaginează-ți cum s-ar schimba evaluarea unui candidat la facultate: nu ar fi doar o listă de lucrări publicate, ci, în schimb, un set vibrant de fire despre sensul și semnificația unei publicații - sau tăcerea, care spune altceva.

Alte argumente împotriva acestei viziuni se concentrează asupra temerilor pe care oamenii nu le vor mai examina dacă recenziile lor devin publice. Pentru mine, acesta este doar un semn că nu educăm în mod corespunzător intelectualii publici. Sunt egourile noastre atât de fragile încât cineva care vede criticile noastre bine motivate ne-ar spulbera reputația? Sau ne este frică că criticile noastre nu sunt atât de bine motivate?

Evident, nu ar fi multe de făcut seama pentru a face un astfel de model să funcționeze. Dacă există vreo comunitate care să o poată face, este vorba de științe informatice și informaționale, în special de interacțiunea om-calculator.

Lățimea de bandă ne limitează viziunea

Desigur, implementarea oricărei modificări de mai sus necesită timp. Și având în vedere că suntem deja voluntari, timpul este limitat. Unii dintre noi trebuie să ne angajăm o parte din timpul nostru, în special profesori titulari ca noi, pentru ca aceste schimbări să devină realitate. Să arătăm restului universității ce poate fi recenzia de la egal la egal. Cine e cu mine?