Varasemalt avaldatud teadustulemusi peetakse tihti faktideks, millele muretult toetuda saab. Enamasti aga selgub, et uute andmetega tehtud kontrollkatsed ei anna enam kaugeltki nii selgeid vastuseid kui algsed uuringud. Kordusuuringuid tegevad teadlased eeldavadki juba tavaliselt eos, et tugevana paistnud seosed muutuvad neid täiendavalt proovile pannes nõrgemateks. Teised teadlasrühmad ei pruugi suuta matkida täpselt algseid katsetingimusi. Samas on inimesed koos ühiskonnaga sedavõrd keerukad, et tehtud tähelepanekuid ei saagi mõnikord teistele laiendada.

Probleemi ulatuse hindamiseks algatas USA kaitseministeeriumi teaduslike uuringute agentuur (DARPA) teadusprogrammi SCORE. Avatud Teaduse Keskuse (Center for Open Science) teadlase Andrew Tyneri juhitud uurimisrühm võttis projekti raames luubi alla 164 aastatel 2009–2018 ilmunud teadusartiklit. Kokku kontrollisid teadlased neis töödes esitatud 274 väidet, kus algsete uuringute autorid olid leidnud nähtuste vahel mingi mõõdetava ja selge seose.

Valitud väidete kontrollimiseks püüdis uurimisrühm algseid katseid uute andmete või varasemalt kogutud, kuid algsest uuringust sõltumatute andmestike toel uuesti läbi teha. Tulemused näitasid, et iseseisvad töörühmad jõudsid algse uuringu väitega samale järeldusele umbes 55 protsendil juhtudest. Nende seoste puhul sai olla ühtlasi kindel, et tegu polnud pelgalt kokkusattumusega. Teisisõnu ei õnnestunud ligi pooli varasemalt avaldatud järeldusi uuel katsel kinnitada.

Sotsiaal- ja käitumisteaduste harud ei erinenud korratavuse osas seejuures üksteisest märkimisväärselt. Vaadeldud teadusharudes – majandus-, haridus-, politoloogia-, psühholoogia-, sotsioloogia- ja äriteadustes – suutsid uurijad varasemaid leide uuel katsel kinnitada vaid 42–63 protsendil juhtudest. Uuringu autorid järeldasid analüüsi põhjal, et ükski neist erialadest pole ekslike tulemuste avaldamise suhtes puutumatu.

Vaevumärgatavad seosed

Eduka kordamine ei peegelda samas tingimata leitud seoste tegelikku tugevust. Keskmine efekti suurus, mis kirjeldab kahe nähtuse vahelise matemaatilise seose ulatust, langes kordusuuringutes tuntavalt. Originaaltekstides hindasid teadlased nähtustevahelise seose tugevuseks Pearsoni korrelatsioonikordajat aluseks võttes keskmiselt 0,25, uutel katsetel kahanes sama näitaja aga 0,10 peale.

Praktikas tähistab algne näitaja 0,25 nõrka kuni keskmist seost, mis selgitab küll osa uuritavast nähtusest, kuid jätab palju juhuse hooleks. Korduskatsetes leitud väärtus 0,10 viitab juba väga vaevumärgatavale seosele, mis muudab varasemate järelduste praktilise väärtuse küsitavaks. Teadlaste arvutuste kohaselt kahanes korduskatsetes nähtuste tegelik seotus – ehk see, kuivõrd üks asi teist seletab – algsega võrreldes keskmiselt koguni 82 protsenti.

Seoste tugevuse võrdluse kõrval rakendasid teadlased kordusuuringute hindamiseks veel 13 erinevat statistilist mõõdikut. Sõltuvalt valitud metoodikast ja selle aluseks olevatest matemaatilistest eeldustest kõikus edukate kordamiste osakaal 28 ja 75 protsendi vahel. Leebemad põhimõtted andsid tulemuseks kõrgema korratavuse, rangem lävend langetas aga edukusemäära tublisti.

Probleem läbipaistvusega

Otsese korratavusmäära kõrval paljastas projekt tõsiseid puudusi avaldatud tööde analüütilises läbipaistvuses. Eraldiseisvas analüüsis uuris teadlase Olivia Miske juhitud teadlasrühm 600 teadusartikli andmete kättesaadavust. Analüütikud leidsid, et 72 protsenti luubi alla võetud artiklite autoritest polnud teinud oma algseid andmeid ega analüüsikoodi teistele kättesaadavaks.

Täpsemalt suutsid sõltumatud ekspertide rühmad hankida vajaliku materjali uuringu proovile panemiseks vaid igal kolmandal juhul. Kui materjalidele ligipääs puudub, on teistel uurijatel raskem rakendada algse andmestiku peal samu matemaatilisi meetodeid. Andmelünkade tõttu muutub avaldatud tulemuste numbrilise õigsuse tagantjärele kinnitamine faktiliselt võimatuks.

Eri teadusharude võrdluses joonistusid andmete jagamisel välja aga selged käärid. Majandus- ja politoloogiauuringutes osutusid alusandmed kättesaadavamaks, kuna neis valdkondades kehtivad selgemad kirjutamata reeglid. Teadlased leidsid ühtlasi, et teadustööde läbipaistvust kasvatab otseselt see, kui andmete avalikustamist nõuavad teadusajakirja reeglid.

Alusandmete kättesaadavus ei tähenda aga automaatselt, et teine töörühm jõuab identsete järeldusteni. Sama suurprojekti raames osutas Balazs Aczeli juhitud rühm, et teadlaste analüütilised otsused mõjutavad lõpptulemust märkimisväärselt. Täpselt samu andmeid analüüsides jõudsid erinevad teadlasrühmad lahknevatele järeldustele veerandil kordadest.

Teaduse loomulik osa

Projekti eestvedajad tõdesid võimalikke kitsaskohti lahates, et ebaõnnestunud korduskatse ei muuda algset teaduslikku väidet tingimata valeks. Uuringus osalenute erinev taust või teised keskkonnatingimused võivad tulemusi teadlaste teadmata kallutada. Samuti möönsid teadlased, et ka edukas korduskatse ei tõesta lõpuni algse oletuse paikapidavust, kuivõrd mõlemad tööd võivad põhineda samadel küsitavatel eeldustel.

Olukorra parandamiseks soovitavad uuringu autorid kehtestada teadussüsteemis ranged reeglid, mis kohustavad andmeid ja analüüsikoodi avalikustama. Teadlaste hinnangul aitab korduvaid vigu vältida ka see, kui uurijad panevad oma plaanid üksikasjalikult kirja juba enne seda, kui nad hakkavad tegelikult andmeid koguma. Autorid usuvad, et säärased institutsionaalsed muudatused ohjeldavad teaduslikku ebakindlust ja loovad eeldused ajale vastupidavamate teadmiste tekkeks.

Kuigi tegu on laiaulatusliku projektiga, ei pruugi analüüs anda samas sotsiaalteaduste olukorrast täielikku pilti. Uurijad võtsid algselt vaatluse alla 3900 uuringut, mis ilmusid aastatel 2009–2018 kokku 62 tuntud teadusajakirjas. Seejärel sõelusid teadlased neist korduskatsete tegemiseks välja 1500 sobivat tööd.

Kuigi algne valim oli juhuslik, siis korduskatseteni jõudnud artiklite puhul see juhuslikkus kadus. Lõplikult valiti kordamiseks need uuringud, mille jaoks leidus vastava erialase pädevusega uurimisrühm. Seetõttu jõudsidki analüütikud lõpuks vaid 164 artiklist pärit 274 väite kontrollimiseni.

Ühtlasi jätsid teadlased kõrvale kvalitatiivsed uuringud ja teadustööd, mis otsitud seoseid ei tuvastanud. Vähemtuntud väljaannete või nulltulemusega uuringute korduskatsed võivad anda teistsuguseid tulemusi. 

Töörühmad kirjeldavad oma tulemusi ajakirjas Nature (1, 2, 3).