Poate prezice știința când un studiu nu va rezista?

Cel puțin așa ar trebui să funcționeze!

Proiectul Sistematizarea încrederii în Cercetarea și Dovezile Deschise — SCORE, finanțat de Agenția de Proiecte de. Cercetare Avansată de Apărare, sau DARPA, a fost numit în mod tradițional un proiect de cercetare. El a imaginat o soluție complexă pentru a evalua credibilitatea științei, prin generarea unui scor de credit pentru studii.

Ideea a venit de la Adam Russell, apoi un manager de program pentru agenția DARPA. În ceea ce privește implementarea proiectului, au fost Dar acum șapte ani, o echipă de sute de. oameni de știință a început să găsească o cale mai rapidă de a judeca noile publicații științifice.

Oamenii de știință publică anual peste 10 milioane de studii și alte publicații. Unele dintre aceste descoperiri vor adăuga la depozitul umanității de cunoștințe.

Pentru a evalua un studiu, oamenii de știință îl pot replica pentru a vedea dacă au același rezultat.

Acum este publicarea o plută de lucrări pe aceste eforturi. executiv al Centrului pentru Științe Deschise și liderul proiectului.

Deocamdată, un scor de credit științific rămâne un vis, spun cercetătorii.

Inteligența artificială nu poate face preziceri de încredere. „Oamenii pot spune, ” Hei, acest lucru este probabil să fie robust, putem premisa o politică pe ea,„ a spus Dr.” Echipa SCORE a inspectat sute de studii, rulând din nou multe dintre ele, pentru a înțelege mai bine ce face ca cercetarea să reziste.

Russell, care este acum la Universitatea din California de Sud.

Nu, acest lucru ar putea face pentru o carte în aeroport. „Se recepționează un fel de semnal, dar ar trebui să fie mult mai precis de utilizat de unul singur.” Dar, pe parcurs,. experții externi au declarat, echipa SCORE a făcut o scufundare remarcabilă în procesul științific, descoperind indicii care ar putea ajuta la îmbunătățirea acestuia.

În 1953, oamenii de știință au fost surprinși când Clair Patterson, geochimistă la Caltech, a folosit o nouă tehnică pentru a. determina că Pământul are

o vechime de 4,5 miliarde de ani — cu 1,2 miliarde de ani mai mare decât estimările anterioare. „Nu cred că a mai existat vreodată ceva pe această scară,” a declarat.

Dorothy Bishop, psiholog la Universitatea din Oxford, care nu făcea parte din efort.

Replicarea cercetării a fost o bază a științei de generații întregi. „Am avut unii dintre cei mai buni, cei mai capabili critici din lume încercând să-mi distrugă numărul,” a reamintit dr.

În 1976, arheologii au descoperit o veche tabără de vânătoare în Monte Verde, Chile, și au stabilit că avea. aproximativ 14 500 de ani, mult mai în vârstă decât au descoperit în trecut dovezi ale oamenilor din Americi. „Ei au lucrat inimile lor pentru a dovedi că am greșit.” Oricât de mult ar încerca, numărul lui s-a blocat.

Dar uneori replicile nu sunt de acord.

Cel puțin așa ar trebui să funcționeze. Aproape 50 de ani au trecut înainte ca o echipă independentă de cercetători să reproducă studiul. Luna trecută, au ajuns la o concluzie foarte diferită: Oamenii locuiau la Monte Verde cândva de la 4.200 la 8.200 de ani în urmă.

Autorii studiului inițial contestă noua constatare; probabil va fi nevoie de mai multe cercetări pentru rezolvarea conflictului. Dar replicarea cercetărilor anterioare necesită timp și bani pe care cercetătorii ar putea prefera să-și petreacă pe propriile studii. i editori jurnal de multe ori căsca la replicare.

Melanie Mitchell, cercetător în domeniul inteligenței artificiale la Institutul Santa Fe din New Mexico, a replicat recent o lucrare A. I. Un jurnal i-a respins lucrarea pe motiv că îi lipsea noutatea.

De peste 15 ani, unii oameni de știință încearcă să schimbe cultura.

Au început documentând amploarea problemei. „Urăsc acest tip de cultură,” a declarat dr Mitchell unui public de la Yale luna trecută. La începutul anilor 2010, Dr. Nosek a făcut echipă cu biologii de cancer pentru a replica 50 de experimente pe animale și celule umane.

Nosek și colegii săi au replicat 100 de lucrări de psihologie — și s-au potrivit cu rezultatele originale doar 39 la sută din timp. Mai puțin de jumătate din rezultate au rezistat controlului lor. Russell, la DARPA, se întreba dacă oamenii de știință ar putea folosi inteligența artificială pentru a prezice fiabilitatea unui studiu.

Proiectul SCORE a început în 2019 și a crescut la 865 de cercetători. Dar primii oameni de știință ar trebui să adune mai multe date despre replicare. „Știam că e o problemă gravă,” a spus el.

Pentru studii bazate pe statistici guvernamentale, membrii echipei SCORE au obținut propriile date și le-au analizat.

018 din domeniile științelor sociale, cum ar fi criminologia, economia, psihologia și sociologia. Într-o singură linie de cercetare, echipa SCORE a replicat 164 de studii. Membrii echipei au refăcut câteva experimente, recrutând voluntari pentru a face testele originale din nou.

Ce a constatat echipa SCORE după analiza celor 132 de replici?

Doar aproximativ jumătate din studiile replicate au dat aceleași rezultate ca și originalele.„Și sper că oamenii care nu au fost convinși de dovezile empirice anterioare vor fi mai convinși de acest lucru.” Dr.

Tim Parker, un biolog de la Whitman College care nu a fost implicat în cercetare,. a declarat că rata scăzută a fost în conformitate cu studiile mai devreme, mai mici. „Cred că sunt rezultate foarte convingătoare,” a afirmat el.

Parker și alți cercetători și-au exprimat îngrijorarea cu privire la modul în care oamenii de știință folosesc metode diferite pentru a studia aceleași date. Membrii au ales 100 de lucrări și au alocat cel puțin cinci echipe de experți fiecăruia. Chiar dacă metodele sunt legitime, ele ar putea duce la rezultate contradictorii, argumentează.

Echipa SCORE a măsurat cât de solide au fost rezultatele cercetării atunci când oamenii de știință au folosit metode diferite. Fiecare echipă a aplicat propriile metode pentru a analiza datele originale. În doar aproximativ 57% din studiile SCORE, toate cele cinci echipe au obținut aproximativ același rezultat ca și studiul original.

Ei au obținut exact același rezultat doar o treime din timp. „De multe ori, aceste alegeri sunt consecințe,” a afirmat dr. Echipa SCORE a analizat și modul în care datele problematice, precum și problemele. din programele de calculator utilizate pentru analiză, pot duce la eșecuri de replicare.

Cercetătorii au analizat datele din 143 de lucrări utilizând același cod folosit de autorii originali. Aproximativ 9% din rezultatele SCORE au fost complet diferite de cele originale; alte 14% au fost doar aproximativ aceleași. Abel Brodeur, economist la Universitatea din Ottawa, a declarat că a întâmpinat probleme similare în cadrul propriului său proiect de testare științifică, Institutul de Replicații.

Aceste eșecuri pot apărea atunci când oamenii de știință fac greșeli în timp ce își formează datele sau își scriu programele. Când echipa SCORE a trebuit să-și scrie propriul cod pentru a analiza datele, a reprodus exact aceleași rezultate mai puțin de jumătate din timp. „Uneori erorile de codificare sunt nebun,” a spus el.

Problema poate fi mai gravă decât sugerează studiul SCORE, deoarece oamenii de știință nu reușesc adesea să-și împărtășească datele și codul.