În cazul în care publică

de ce nu ar trebui să judecați cercetătorii după Journal Impacts

[Serie Pluto] # 0 - Academia, structurată în sus
[Serie Pluto] # 1 - Cercetare, industria creatoare de cunoștințe
[Serie Pluto] # 2 - Academia, Editura și Comunicarea Savantă
[Seria Pluto] # 3 - Publică, dar pierde cu adevărat?
[Serie Pluto] # 4 - Publică sau Perisează și Pierde în Vain
[Serie Pluto] # 5 - Pe unde publică
[Serie Pluto] # 6 - Pe numărul de publicații
[Serie Pluto] # 7 - Aspecte fundamentale despre citare
[Serie Pluto] # 8 - Pe practicile de citare
[Serie Pluto] # 9 - Pe urmărirea citărilor
[Serie Pluto] # 10 - Recenzii de la egal la egal
[Serie Pluto] # 11 - Încheierea seriei

În postarea anterioară am discutat despre ce reprezintă o structură de stimulare proastă în mediul academic. Cunoștințele mai originale, originale și solide reprezintă obiectivul general al mediului academic în ansamblul său. În cazul în care consecințele nedorite, altele decât aceste valori pozitive, sunt induse de stimulent sau nu reușesc să surprindă valorile pozitive în mijloace adecvate, se poate spune că stimulentul este prost.

Jurnal, sursa: Plush Design Studio, Unsplash

Acest post oferă prima instanță a acestora, și anume Evaluarea cercetătorilor unde publică. Este discutabil ce încearcă să evalueze această practică și indiferent de ceea ce evaluează valorile complexe ale cunoașterii nu poate fi măsurată cu astfel de mijloace simpliste. Structura în care se menține această practică a dat puteri excesive unor părți interesate, ceea ce a dus la lipsa de transparență, politici inutile și chiar comportamente neetice.

De ce unde?

Descriind structura de stimulare a academiei într-o postare anterioară, i s-a spus că cercetătorii le evaluează adesea productivitatea cu registrele bibliografice sau cu lista de lucrări pe care le-au publicat în reviste academice, în combinație cu „unde publică” folosind Journal Impact Factors ca valoarea proxy a acestui „unde”. Acest „unde” este, desigur, o scurtătură pentru „ce revistă revizuită de la egal la egal” și, mai precis, presupune mai multe ori reviste incluse în indexuri majore, cum ar fi Web of Science Core Collection (WoSCC) de Clarivate Analytics sau SCOPUS de Elsevier .

La suprafață, alegerea locurilor de publicare poate părea incredibil de importantă. În funcție de locul în care publicați rezultatele cercetării dvs., gradul în care publicația dvs. este difuzată poate diferi serios. Adică, dacă alegeți un jurnal corespunzător pentru publicarea dvs., acesta poate fi transmis la sute sau mii de colegi, în timp ce o selecție slabă poate duce la nicio citire a nimănui din domeniul dvs. relevant. Asta ați vedea când accesați „unde să publicați” pe Google. (bineînțeles, cu multe dintre aceste „ghiduri de bibliotecă” care spun că trebuie să vedeți dacă jurnalele sunt indexate în WoS sau SCOPUS)

Un alt aspect semnificativ de luat în considerare atunci când alegeți „unde să publicați” este consiliul de redacție al revistei. Cea mai distinctă funcționalitate a revistelor academice este revizuirea de la egal la egal, procesul științific de examinare de către experți în domeniu. Acest proces de revizuire de la egal este gestionat de comitetele de redacție și echipe. Aceștia pre-ecranizează manuscrisele depuse, aleg recenzorii inter pares și iau decizii finale cu privire la acceptarea, respingerea sau sugerarea revizuirii pentru manuscrise. Deoarece reviste diferite au editori diferiți, astfel practici de revizuire diferite, este probabil foarte important să alegeți o revistă decentă editată de experți autoritari din domeniul dvs., suficient de calificată pentru a efectua controlul publicației dumneavoastră.

De ce NU Unde?

Deși pare clar că este important să alegeți un loc potrivit pentru a publica, totuși NU înseamnă că cercetarea trebuie evaluată în funcție de locul în care este publicată. În primul rând, nu se știe ce fel de valoare captează. Este posibil să se surprindă amploarea diseminării sale descrise mai sus. Dar acest lucru este extrem de provocator, atât contextual, cât și tehnic. Ar trebui să ne uităm la numărul absolut de persoane unice la care ajunge un jurnal? Ședințe unice și accesuri de la universități și institute? Acest tip de număr în jurnale reprezintă, de asemenea, întinderea diseminării pentru publicații individuale? Jurnalele și serviciile de informații sunt capabile să urmărească efectiv aceste statistici? Răspunsul este, în mod ridicol, indiferent dacă da sau nu, sistemul de fapt nu-i pasă niciodată de acest aspect.
(Altmetrics, statisticile de utilizare din serviciile de informații online, se referă la acest aspect. Totuși, sunt indicatori care provin direct din publicații individuale, nu de unde se află.)

Cine decide unde?

Valoarea capturată cu „unde” poate fi probabil dedusă din criteriile de incluziune și procesele de evaluare a indexurilor (criterii și proces WoSCC, proces SCOPUS și bord). Ambele au cerințe comune, cum ar fi înregistrarea ISSN și metadatele bibliografice englezești (sau romane) (rezumate, referințe etc.), care sunt semnificative în menținerea întregii baze de date curate și ușor de gestionat. O altă condiție necesară este ca conținutul din jurnale să fie revizuit de la egal la egal. Desigur, acest lucru este pozitiv. Problema este modul în care sunt arătate. Întrucât aceasta este o condiție NECESARĂ, un jurnal inclus în acești indici trebuie revizuit de la egal la egal. Dar cum știm când nu dovedesc niciodată că sunt? Există câteva reviste care publică rapoarte de recenzie de la egal la egal cu publicațiile originale. Pentru restul jurnalelor din indexuri, avem încredere doar furnizorilor de indici că au verificat cu sinceritate practicile de evaluare de la egal la egal și dovezile reale?

Acest lucru se întâmplă exact la fel cu restul proceselor de incluziune. Dincolo de condițiile necesare, există multe alte criterii pe care spun că le privesc. Pentru a numi câteva: „Contribuție academică la domeniu”, „Calitatea și conformitatea cu scopurile și sfera de aplicare a revistei”, „Redacția în picioare”, „Punctul de vedere inedit” și „Publicul țintă”. Acestea sunt la fel de frecvente în ambii indici, deși unele diferențe de expresie. Toate aceste criterii arată bine și fantezie și, din nou, întrebarea este cum o fac cu adevărat. Cel mai mult pe care îl găsesc din explicațiile lor este că sunt evaluați de echipele lor de redacție sau de comisii (nu confundați acest lucru cu editorii de jurnale). În sfârșit găsind NICI informații despre consiliul de redacție de pe WoSCC, iar pagina consiliului pentru SCOPUS oferă un număr de 17 universitari la întâmplare cu afiliațiile lor, fiecare reprezentând o meta-disciplină (17 persoane responsabile de „definirea” întregii taxonomii academice, wow). Pe scurt, suntem CLUELESS cu privire la cine decide deciziile privind jurnalele, de ce ar trebui să fie responsabili pentru acea lucrare sau ce au decis de fapt ce dovezi.

Vorbim despre indicele de index. Lucrările sunt publicate (astfel indexate ca parte a jurnalului în care este publicat) în reviste editate de experți în domeniu. În acest moment suntem cam relaxați, întrucât multe pagini web ale jurnalului oferă informații despre consiliile lor de redacție. * Și aceste reviste sunt meta-indexate în baze de date bibliografice precum WoSCC sau SCOPUS, editate de unii oameni la întâmplare, unde ne-am pierdut complet. cine sunt și ce au făcut. Ținând cont de faptul că acești indici sunt folosiți în atâtea decizii în mediul academic ca criterii de evaluare, vom permite ca unele întreprinderi comerciale să decidă unde ar trebui să-și prezinte documentele universitare pentru a fi considerate „cunoștințe științifice” cu operațiuni obscure. Mă întreb cu adevărat dacă asta ar trebui să fie știința.
(* Vedeți, de exemplu, cea a Lancet. Eu personal văd că multe informații despre editori sunt cerințe minime.)

Captarea impactului

Poate că răspunsul este cel mai bine reprezentat cu numărul folosit mai ales ca proxy pentru acest lucru: Journal Impact Factors (JIFs). Evident, după cum îi spune și numele, se pare că JIF-urile evaluează impactul jurnalelor. Lasă deoparte îndoiala cu privire la ce înseamnă acest impact, se pare că impactul jurnalelor este în mare legătură cu citările, deoarece JIF-urile sunt calculate cu graficele de citare. (JIF este numărul mediu de citate primite de publicațiile revistei de interes în doi ani precedenți din toate publicațiile indexului din acest an. A se vedea Wikipedia pentru mai multe descrieri)

Nu pot ucide mai multe păsări cu o piatră simplă

Este într-adevăr confuz ce înseamnă acest impact. Un lucru pe care îl putem spune clar. Înseamnă o citare medie. Fie că este vorba de impact, valoare, avansare, contribuție sau orice altceva, o simplă metrică simplistă nu poate (și nu ar trebui) să reprezinte aspectele complexe și diverse ale cunoașterii. La fel de bine descrisă de procesele de incluziune pe indici, există o contribuție la domeniu, scopuri și domenii de aplicare și conformitatea și calitatea acestora, situându-se printre domenii, originalitatea ideilor, audiența, etica, transparența ... pentru a numi foarte puține. Nimeni nu va găsi vreodată o modalitate de a surprinde aceste valori cu o singură măsură.

Utilizarea unei metrici simpliste și unice provoacă un prejudiciu grav academiei: duce la legea puterii *. Această lege a puterii este descrisă de Robert Merton ca „Efectul lui Matthew”, prin expresia „Bogați devin mai bogați, săraci devin mai săraci”. Această lege a puterii în mediul academic este nedorită din două motive majore. i) Cercetătorii emergenți din cariera lor timpurie li se oferă mai puține oportunități. ii) Mai puține autorități sunt date autorităților decât comunitatea, care este împotriva „scepticismului organizat” al științei moderne. Știința se realizează prin cercetare de către semeni, nu de către autoritățile celor puțini.
(* Evidențele acestei legi privind puterea includ: Legea prețurilor, Lotka, Zipf, Bradford)

„Unde” nu înlocuiește niciodată „Ce”

Pe lângă preocupările privind utilizarea unei singure metrici, există critici asupra JIF în sine. Mai presus de toate, pentru că este calculat din citări, moștenește cele mai multe critici cu privire la citări. De exemplu, citările pot fi jucate în joc, numărul real poate varia semnificativ în funcție de indicele de citare utilizat și, cel mai important, numărarea de citări nu reprezintă valoarea unei publicații. La fel și JIF-urile. Mai multe despre acest aspect vor fi tratate într-o postare ulterioară care va discuta despre Citate.

De asemenea, se menționează că JIF-urile nu trebuie utilizate pentru evaluarea publicațiilor individuale. Semnificația mediei este interpretată în mod obișnuit ca o măsură predictivă, dar este raportat că nu puteți prezice citările unei publicații într-un jurnal cu JIF-ul său. Acest lucru se datorează în principal distribuției înclinate a citițiilor. JIF-urile sunt foarte afectate de valorile exterioare. Să presupunem că avem un jurnal cu JIF = 40, alegem publicații aleatorii din ea pentru a vedea numărul de citări și, cel mai probabil, vom vedea numere mult mai mici decât 40. Descriind această informație, Nature Materials a sugerat într-un editorial că revistele au dezvăluit mai bine. distribuțiile lor de citare.

Cel mai important, valoarea unei publicații este Universal (U de la CUDOS). Nu ar trebui să se schimbe la locul unde este plasat. Ați experimentat A, a colectat setul de date B, a analizat metoda C, ați obținut rezultatul D. Fie că l-ați introdus pe fluxul dvs. de Facebook, l-ați retușat, l-ați blocat, l-ați arxivat sau l-ați publicat într-un jurnal cu JIF exorbitant de ridicat, valoarea acestuia nu trebuie nu se schimbă.

Copleșirea puterii

Pe măsură ce cercetătorii sunt evaluați la locul în care publică, unii actori în legătură cu acest „loc” ajung să influențeze foarte mult mediul academic. Așa cum s-a descris mai sus, definiția virtuală a științei (sau „unde trebuie să publicăm pentru a fi considerată știință”) este controlată de puțini furnizori de indici.

Editorii și revistele câștigă și putere autoritară. Deoarece majoritatea revistelor au decizii binare privind manuscrisele depuse (adică acceptă sau resping), cercetătorii sunt supuși acestor decizii. Multe edituri și jurnale nu „acceptă în mod formal arhivarea” * (adică imprimate și depozite). Deși există locuri alternative de publicat care pot susține arhivarea, cercetătorii sunt încă predispuși să nu utilizeze imprimeuri dacă un jurnal cu impact ridicat în domeniul lor nu îl acceptă. Acesta este singurul lucru care împiedică cercetătorii să arhiveze înainte de publicare și să pună în alte direcții, acesta este motivul pentru care editorii și revistele pot decide să nu o susțină.
(** conform SHERPA / RoMEO, 487 din 2566 editori (19%) nu „acceptă formal arhivarea”. Extinderea acestei statistici la nivelul jurnalului va crește cu siguranță porțiunea. *)

Debordarea publicării

Editorii cu putere autoritară pot conduce la mai multe publicații și nu la cunoștințe mai bune și solide. Întrucât modelul de afaceri al majorității editorilor este recoltarea profiturilor prin abonamente și APC-uri (autorii plătesc acest lucru atunci când transmit manuscrise pentru Open Access), este evident că ar favoriza mai multe publicații. La nivel de jurnal individual, acest lucru poate să nu fie valabil, deoarece mai multe publicații pot scădea JIF. (este în numitor) Dar, la nivel de editor, acest lucru poate fi coordonat prin creșterea numărului de publicații, generând în același timp mai multe citații în jurnalele lor. Într-adevăr, numărul total de publicații a crescut drastic de zeci de ani, dar trebuie să ne întrebăm dacă a dus și la o mai bună cunoaștere.

Pericole morale

Un alt element aici este faptul că editorii și jurnalele pot afecta direcția generală a comunităților și tendințelor de cercetare. După cum s-a discutat deja în postarea anterioară, sunt predispuși să stabilească politici care ar duce la creșterea JIF-ului, cum ar fi acceptarea unor reclamații atrăgătoare, la modă sau chiar greșită și respingerea unor studii incrementale, negative sau de replicare.

Și mai rău sunt comportamentele incorecte care urmăresc creșterea metricii. Jurnalele, în special redactorii săi, își pot forța în mod neautic autorii care trimit să citeze lucrări în acea revistă. Redactorii și autorii din jurul mai multor reviste pot forma carteluri de citare, în care își cită documentele celuilalt pentru a crește în mod intenționat impactul acestora. Aceste practici incorecte nu sunt doar rele, deoarece sunt lipsite de etică, dar, de asemenea, depreciează în continuare fiabilitatea JIF ca metrică. Ca atare, acestea contamină literatura de ansamblu, generând citate mai puțin relevante, sau uneori chiar lipsite de sens, în publicații. La sfârșitul zilei, acestea deteriorează încrederea în mediul academic.

Pentru a îmbunătăți, nu pentru a determina

Vor rămâne întotdeauna aspecte discutabile cu privire la situațiile în care ar trebui împărtășite rezultatele cercetării. Ca parte esențială a comunicării savantului, diseminarea conținutului savant va implica întotdeauna transferul informațiilor de cercetare valoroase de la un jucător la altul. Mai mult, evaluarea efectuată de JIF (sau unde publică) are acest avantaj față de numărul de citări, citările pentru o publicație individuală durează serios mult timp, în timp ce un proxy cu jurnalul poate fi folosit imediat. Cu toate acestea, ar trebui îmbunătățite practicile actuale de evaluare a cercetătorilor și conținutul acestora în funcție de locul în care publică.

Întrucât o metrică simplistă pune întrebări cu privire la ceea ce captează, ar trebui cercetate mijloace mai cuprinzătoare pentru a capta mai bine aspecte diverse ale cunoștințelor. Ar trebui să se țină cont întotdeauna că o cunoaștere și valoarea ei nu se schimbă în cazul în care este publicată, în timp ce amintim că este încă important să ne întrebăm cui i se va comunica.

Defecțiunile pot apărea de câțiva jucători având prea multă putere autoritară cu interese departe de a genera cunoștințe autentice. Mai exact, transparența este imperativă pentru a nu lăsa funcționarea opacă a unui număr mic de jucători orientați spre profit să decidă ceea ce va fi considerat cercetare.

URMATORUL

În următoarea postare, se va discuta despre o altă instanță de stimulare neplăcută, pe baza numărului de publicări ca criterii de evaluare, cea mai de bază problemă a „publicării sau pierderii”.

Vă mulțumim întotdeauna pentru susținere și vă rugăm CLAP & SHARE povestea cu semenii, prietenii și familiile pentru a invita mai multe discuții.

[Serie Pluto] # 0 - Academia, structurată în sus
[Serie Pluto] # 1 - Cercetare, industria creatoare de cunoștințe
[Serie Pluto] # 2 - Academia, Editura și Comunicarea Savantă
[Seria Pluto] # 3 - Publică, dar pierde cu adevărat?
[Serie Pluto] # 4 - Publică sau Perisează și Pierde în Vain
[Serie Pluto] # 5 - Pe unde publică
[Serie Pluto] # 6 - Pe numărul de publicații
[Serie Pluto] # 7 - Aspecte fundamentale despre citare
[Serie Pluto] # 8 - Pe practicile de citare
[Serie Pluto] # 9 - Pe urmărirea citărilor
[Serie Pluto] # 10 - Recenzii de la egal la egal
[Serie Pluto] # 11 - Încheierea seriei

Rețeaua Pluto
Pagina de pornire / Github / Facebook / Twitter / Telegram / Mediu
Scinapse: motor de căutare academic
E-mail: team@pluto.network