Proiectul Sistematizarea încrederii în Cercetarea și Dovezile Deschise -- SCORE, finanțat de Agenţia de Proiecte de. Cercetare Avansată de Apărare, sau DARPA, a fost numit în mod tradițional un proiect de cercetare. El a imaginat o soluție complexă pentru a evalua credibilitatea științei, prin generarea unui scor de credit pentru studii. Ideea a venit de la Adam Russell, apoi un manager de program pentru agenția DARPA. În ceea ce priveşte implementarea proiectului, au fost Dar acum şapte ani, o echipă de sute de. oameni de ştiinţă a început să găsească o cale mai rapidă de a judeca noile publicaţii ştiinţifice. ## Ce s-a întâmplat Oamenii de ştiinţă publică anual peste 10 milioane de studii şi alte publicaţii. Unele dintre aceste descoperiri vor adăuga la depozitul umanității de cunoștințe. Pentru a evalua un studiu, oamenii de ştiinţă îl pot replica pentru a vedea dacă au acelaşi rezultat. Acum este publicarea o plută de lucrări pe aceste eforturi. "Nu am ajuns încă acolo," a declarat Brian Nosek, directorul executiv al Centrului pentru Ştiinţe Deschise şi liderul proiectului. Deocamdată, un scor de credit ştiinţific rămâne un vis, spun cercetătorii. Inteligenţa artificială nu poate face preziceri de încredere. "Oamenii pot spune, "Hei, acest lucru este probabil să fie robust, putem premisa o politică pe ea," a spus Dr. " Echipa SCORE a inspectat sute de studii, rulând din nou multe dintre ele, pentru a înțelege mai bine ce face ca cercetarea să reziste. Russell, care este acum la Universitatea din California de Sud. Nu, acest lucru ar putea face pentru o carte în aeroport. "Se recepţionează un fel de semnal, dar ar trebui să fie mult mai precis de utilizat de unul singur." Dar, pe parcurs,. experţii externi au declarat, echipa SCORE a făcut o scufundare remarcabilă în procesul ştiinţific, descoperind indicii care ar putea ajuta la îmbunătăţirea acestuia. În 1953, oamenii de ştiinţă au fost surprinşi când Clair Patterson, geochimistă la Caltech, a folosit o nouă tehnică pentru a. determina că Pământul are o vechime de 4,5 miliarde de ani -- cu 1,2 miliarde de ani mai mare decât estimările anterioare. "Nu cred că a mai existat vreodată ceva pe această scară," a declarat. Dorothy Bishop, psiholog la Universitatea din Oxford, care nu făcea parte din efort. Replicarea cercetării a fost o bază a ştiinţei de generaţii întregi. "Am avut unii dintre cei mai buni, cei mai capabili critici din lume încercând să-mi distrugă numărul," a reamintit dr. În 1976, arheologii au descoperit o veche tabără de vânătoare în Monte Verde, Chile, şi au stabilit că avea. aproximativ 14 500 de ani, mult mai în vârstă decât au descoperit în trecut dovezi ale oamenilor din Americi. "Ei au lucrat inimile lor pentru a dovedi că am greșit." Oricât de mult ar încerca, numărul lui s-a blocat. Dar uneori replicile nu sunt de acord. Cel puţin aşa ar trebui să funcţioneze. Aproape 50 de ani au trecut înainte ca o echipă independentă de cercetători să reproducă studiul. Luna trecută, au ajuns la o concluzie foarte diferită: Oamenii locuiau la Monte Verde cândva de la 4.200 la 8.200 de ani în urmă. Autorii studiului iniţial contestă noua constatare; probabil va fi nevoie de mai multe cercetări pentru rezolvarea conflictului. Dar replicarea cercetărilor anterioare necesită timp și bani pe care cercetătorii ar putea prefera să-și petreacă pe propriile studii. Şi nu a reuşit să se potrivească cu rezultatele originale. Și editori jurnal de multe ori căsca la replicare. Melanie Mitchell, cercetător în domeniul inteligenţei artificiale la Institutul Santa Fe din New Mexico, a replicat recent o lucrare A.I. Un jurnal i-a respins lucrarea pe motiv că îi lipsea noutatea. De peste 15 ani, unii oameni de ştiinţă încearcă să schimbe cultura. Au început documentând amploarea problemei. "Urăsc acest tip de cultură," a declarat dr Mitchell unui public de la Yale luna trecută. La începutul anilor 2010, Dr. Nosek a făcut echipă cu biologii de cancer pentru a replica 50 de experimente pe animale și celule umane. Nosek și colegii săi au replicat 100 de lucrări de psihologie -- și s-au potrivit cu rezultatele originale doar 39 la sută din timp. Mai puţin de jumătate din rezultate au rezistat controlului lor. Russell, la DARPA, se întreba dacă oamenii de știință ar putea folosi inteligența artificială pentru a prezice fiabilitatea unui studiu. Proiectul SCORE a început în 2019 și a crescut la 865 de cercetători. Dar primii oameni de ştiinţă ar trebui să adune mai multe date despre replicare. "Ştiam că e o problemă gravă," a spus el. Pentru studii bazate pe statistici guvernamentale, membrii echipei SCORE au obţinut propriile date şi le-au analizat. Ei au analizat 3 900 de lucrări publicate din 2009 până în 2018 din domeniile științelor sociale, cum ar fi criminologia, economia, psihologia și sociologia. Într-o singură linie de cercetare, echipa SCORE a replicat 164 de studii. Membrii echipei au refăcut câteva experimente, recrutând voluntari pentru a face testele originale din nou. Doar aproximativ jumătate din studiile replicate au dat aceleași rezultate ca și originalele. "Şi sper că oamenii care nu au fost convinşi de dovezile empirice anterioare vor fi mai convinşi de acest lucru." Dr. Tim Parker, un biolog de la Whitman College care nu a fost implicat în cercetare,. a declarat că rata scăzută a fost în conformitate cu studiile mai devreme, mai mici. "Cred că sunt rezultate foarte convingătoare," a afirmat el. Parker și alți cercetători și-au exprimat îngrijorarea cu privire la modul în care oamenii de știință folosesc metode diferite pentru a studia aceleași date. Membrii au ales 100 de lucrări și au alocat cel puțin cinci echipe de experți fiecăruia. Chiar dacă metodele sunt legitime, ele ar putea duce la rezultate contradictorii, argumentează. Echipa SCORE a măsurat cât de solide au fost rezultatele cercetării atunci când oamenii de știință au folosit metode diferite. Fiecare echipă a aplicat propriile metode pentru a analiza datele originale. ## Context și Impact În doar aproximativ 57% din studiile SCORE, toate cele cinci echipe au obţinut aproximativ acelaşi rezultat ca şi studiul original. Ei au obținut exact același rezultat doar o treime din timp. "De multe ori, aceste alegeri sunt consecinţe," a afirmat dr. Echipa SCORE a analizat și modul în care datele problematice, precum și problemele. din programele de calculator utilizate pentru analiză, pot duce la eșecuri de replicare. Cercetătorii au analizat datele din 143 de lucrări utilizând acelaşi cod folosit de autorii originali. Aproximativ 9% din rezultatele SCORE au fost complet diferite de cele originale; alte 14% au fost doar aproximativ aceleași. Abel Brodeur, economist la Universitatea din Ottawa, a declarat că a întâmpinat probleme similare în cadrul propriului său proiect de testare ştiinţifică, Institutul de Replicaţii. Aceste eșecuri pot apărea atunci când oamenii de știință fac greșeli în timp ce își formează datele sau își scriu programele. Când echipa SCORE a trebuit să-și scrie propriul cod pentru a analiza datele, a reprodus exact aceleași rezultate mai puțin de jumătate din timp. "Uneori erorile de codificare sunt nebun," a spus el. Problema poate fi mai gravă decât sugerează studiul SCORE, deoarece oamenii de știință nu reușesc adesea să-și împărtășească datele și codul. Russell a sperat că sistemele de inteligență artificială ar putea instrui pe descoperirile de la SCORES. pentru a afla semnele martor de o hârtie care va sau nu se va reproduce cu succes. "Dar ar putea fi unele acolo." Asta nu înseamnă că experţii pot avea încredere în propriile instincte. Dar misterul replicării pare încă prea profund; predicțiile de la AI nu sunt. în întregime aleatorii, dar sunt departe de a fi perfecte, echipa SCORE găsită. "Încă nu este atât de impresionant," a declarat Andrew Tyner, cercetător principal la Centrul pentru Ştiinţe Deschise şi autor al noilor studii. Proiectul SCORE a înrolat sute de experţi pentru a prezice dacă documentele se vor replica cu succes. Analizând 132 de replici, echipa SCORE a constatat că experţii au ghicit corect despre trei sferturi din timp. De exemplu, oamenii de știință pot anunța planul pentru un experiment în avans, ceea ce îi. descurajează să-și modifice ipoteza pentru a se potrivi datelor pe care le primesc în cele din urmă. Nosek, valoarea principală a SCORE a fost de a demonstra cât de complex este procesul științific, și de a evidenția modalități de îmbunătățire a acestuia. Brodeur a spus că jurnalele pot ajuta prin solicitarea autorilor să împărtășească date și coduri originale. "Scienţa determină ceea ce este adevărat bazat pe replicare," a spus el. "Oamenii şi-au curăţat mizeria," a spus el. Jay Bhattacharya, directorul Institutului Naţional de Sănătate, a declarat într-un interviu că agenţia lucrează la modalităţi de îmbunătăţire a replicării. "Nu simt că funcţionează bine acum." Începând din acest an, agenția intenționează să partajeze noi instrumente pentru schimbul de date și coduri. Bhattacharya l-a descris ca fiind "un loc unde vă puteţi publica eforturile de replicare şi puteţi obţine credit pentru el." Jeremy Berg,. biochimist la Universitatea din Pittsburgh School of Medicine, precum şi fost director al Institutului Naţional de Ştiinţe Medicale Generale şi critic al Dr. Totodată, va identifica idei cheie în diferite