Ongeveer 50% van de wetenschappelijke experimenten bleek NIET-reproduceerbaar te zijn

2024 Auteur: Seth Attwood | [email protected]. Laatst gewijzigd: 2023-12-16 16:13

Bij toeval kwam ik in een stroom van nieuws en informatie een artikel tegen in Nature Scientific Reports. Het presenteert gegevens uit een onderzoek onder 1.500 wetenschappers over de reproduceerbaarheid van wetenschappelijke onderzoeksresultaten. Als dit probleem eerder werd gesteld voor biologisch en medisch onderzoek, waar het enerzijds verklaarbaar is (valse correlaties, de algemene complexiteit van de bestudeerde systemen, soms zelfs wetenschappelijke software wordt beschuldigd), heeft het aan de andere kant een fenomenologische karakter (muizen hebben bijvoorbeeld de neiging zich anders te gedragen met wetenschappers van verschillende geslachten (1 en 2)).

Niet alles is echter soepel en met meernatuurwetenschappen zoals natuurkunde en techniek, scheikunde, ecologie. Het lijkt erop dat juist deze disciplines zijn gebaseerd op "absoluut" reproduceerbare experimenten die zijn uitgevoerd onder de meest gecontroleerde omstandigheden, helaas, een verbluffend - in elke zin van het woord - het resultaat van het onderzoek: tot 70%onderzoekers geconfronteerd Niet reproduceerbaarexperimenten en resultaten die niet alleen door andere groepen wetenschappers zijn verkregen, MAAR en door de auteurs / co-auteurs van gepubliceerde wetenschappelijke werken!

Prijst elke strandloper zijn moeras?

Hoewel 52% van de respondenten wijst op een reproduceerbaarheidscrisis in de wetenschap, vindt minder dan 31% de gepubliceerde gegevens fundamenteel onjuist en geeft de meerderheid aan dat ze het gepubliceerde werk nog steeds vertrouwen.

Je moet natuurlijk niet de schouder uit de mouwen steken en alle wetenschap als zodanig lynchen alleen op basis van dit onderzoek: de helft van de respondenten waren nog wetenschappers die op de een of andere manier verbonden waren met biologische disciplines. Zoals de auteurs opmerken, is in de natuurkunde en scheikunde het niveau van reproduceerbaarheid en het vertrouwen in de verkregen resultaten veel hoger (zie onderstaande grafiek), maar nog steeds niet 100%. Maar in de geneeskunde gaat het heel slecht in vergelijking met de rest.

Er komt een grap in me op:

Marcus Munafo, een biologisch psycholoog aan de Universiteit van Bristol, Engeland, is al lang geïnteresseerd in de reproduceerbaarheid van wetenschappelijke gegevens. Terugdenkend aan zijn studententijd zegt hij:

Op een keer probeerde ik een experiment uit de literatuur te reproduceren dat me eenvoudig leek, maar het lukte gewoon niet. Ik had een vertrouwenscrisis, maar toen realiseerde ik me dat mijn ervaring niet zo zeldzaam was.

Breedte- en lengtegraad diepte probleem

Stel je voor dat je een wetenschapper bent. Je komt een interessant artikel tegen, maar de resultaten/experimenten zijn niet reproduceerbaar in het laboratorium. Het is logisch om hierover te schrijven aan de auteurs van het originele artikel, om advies te vragen en verhelderende vragen te stellen. Volgens de enquête is minder dan 20%hebben dit ooit in hun wetenschappelijke carrière gedaan!

De auteurs van de studie merken op dat dergelijke contacten en gesprekken misschien te moeilijk zijn voor de wetenschappers zelf, omdat ze hun incompetentie en inconsistentie in bepaalde kwesties onthullen of te veel details van het huidige project onthullen.

Bovendien probeerde een absolute minderheid van wetenschappers om een weerlegging van niet-reproduceerbare resultaten te publiceren, terwijl ze stuitten op tegenstand van redacteuren en recensenten die eistevergelijking met origineel onderzoek bagatelliseren. Is het een wonder dat de kans om de niet-reproduceerbaarheid van wetenschappelijke resultaten te rapporteren ongeveer 50% is.

Misschien loont het dan om in ieder geval een reproduceerbaarheidstest in het laboratorium uit te voeren? Het meest trieste is dat een derde van de respondenten zelfs NOOITen niet nagedacht over het creëren van methoden om gegevens te verifiëren op reproduceerbaarheid. slechts 40%aangegeven dat ze dergelijke technieken regelmatig gebruiken.

Een ander voorbeeld, een biochemicus uit het Verenigd Koninkrijk, die haar naam niet wilde vrijgeven, zegt dat pogingen om werk voor haar laboratoriumproject te herhalen, te reproduceren simpelweg de tijd en materiaalkosten verdubbelen, zonder iets nieuws aan het werk toe te voegen of toe te voegen. Alleen bij innovatieve projecten en ongebruikelijke resultaten worden aanvullende controles uitgevoerd.

En natuurlijk de eeuwige Russische vragen die buitenlandse collega's begonnen te kwellen: wie is de schuldige en wat te doen?

Wie is er schuldig?

De auteurs van het werk identificeerden drie hoofdproblemen met de reproduceerbaarheid van resultaten:

• Druk van superieuren om het werk op tijd gepubliceerd te krijgen
• Selectieve rapportage (blijkbaar betekent dit de onderdrukking van sommige gegevens, die het hele plaatje "verpesten")
• Onvoldoende data-analyse (inclusief statistische)

Wat te doen?

Van de 1.500 ondervraagden spraken meer dan 1.000 specialisten zich uit voor het verbeteren van de statistieken bij het verzamelen en verwerken van gegevens, het verbeteren van de kwaliteit van het toezicht door bazen en het strenger plannen van experimenten.

Conclusie en wat persoonlijke ervaring

ten eerste, zelfs voor mij, als wetenschapper, zijn de resultaten verbluffend, hoewel ik gewend ben aan een zekere mate van niet-reproduceerbaarheid van de resultaten. Dit is vooral duidelijk in de werken uitgevoerd door de Chinezen en Indiërs zonder externe "audit" in de vorm van Amerikaanse / Europese professoren. Het is goed dat het probleem is onderkend en is nagedacht over de oplossing(en). Ik zal tactvol zwijgen over de Russische wetenschap, in verband met het recente schandaal, hoewel velen eerlijk hun werk doen.

ten tweede, negeert het artikel (of liever, houdt het geen rekening met) de rol van wetenschappelijke metrieken en peer-reviewed wetenschappelijke tijdschriften bij het ontstaan en de ontwikkeling van het probleem van de niet-reproduceerbaarheid van onderzoeksresultaten. Bij het nastreven van de snelheid en frequentie van publicaties (lees, verhoging van citatie-indexen) gaat de kwaliteit sterk achteruit en is er geen tijd voor aanvullende verificatie van de resultaten.

Zoals ze zeggen, zijn alle personages fictief, maar gebaseerd op echte gebeurtenissen. Op de een of andere manier kreeg een student de kans om een artikel te recenseren, omdat niet elke professor de tijd en energie heeft om de artikelen aandachtig te lezen, dus de mening van 2-3-4 studenten en artsen wordt verzameld, waaruit de beoordeling wordt gevormd. Er werd een recensie geschreven, die de onherhaalbaarheid van de resultaten aangaf volgens de methode die in het artikel wordt beschreven. Dat werd de professor duidelijk gedemonstreerd. Maar om de relaties met "collega's" niet te verpesten - ze slagen tenslotte in alles - werd de recensie "gecorrigeerd". En er zijn 2 of 3 van dergelijke artikelen gepubliceerd.

Het blijkt een vicieuze cirkel. De wetenschapper stuurt het artikel naar de redacteur van het tijdschrift, waar hij aangeeft “ gewenst"En vooral," ongewenst »Recensenten, dat wil zeggen, in feite laten alleen degenen over die positief staan tegenover het team van auteurs. Ze beoordelen het werk, maar ze kunnen niet "in de reacties schijten" en proberen de minste van twee kwaden te kiezen - hier is een lijst met vragen die moeten worden beantwoord, en dan zullen we het artikel publiceren.

Een ander voorbeeld, waar de redacteur van Nature nog maar een maand geleden over sprak, zijn de zonnepanelen van Grazel. Vanwege de enorme interesse in dit onderwerp in de wetenschappelijke gemeenschap (ze willen tenslotte nog steeds een artikel in Nature!), moesten de redacteuren een speciale vragenlijst maken waarin ze veel parameters moeten aangeven, apparatuurkalibraties, certificaten, enz. om te bevestigen dat de methode voor het meten van efficiëntiepanelen in overeenstemming is met enkele algemene principes en normen.

EN, derde, als je weer eens hoort over een wondervaccin dat alles en iedereen overwint, een nieuw verhaal over Jobs in een rokje, nieuwe batterijen of de gevaren/voordelen van GGO's of de straling van smartphones, zeker als het gepromoot werd door gele journalisten, behandel dan met begrip en trek geen overhaaste conclusies. Wacht op de bevestiging van de resultaten door andere groepen wetenschappers, de accumulatie van de array en gegevensmonsters.

PS:Het artikel is haastig vertaald en geschreven, over alle fouten en onnauwkeurigheden die zijn opgemerkt, schrijf alstublieft in het LAN.