Aproximadament el 50% dels experiments científics van resultar NO reproduïbles

2024 Autora: Seth Attwood | [email protected]. Última modificació: 2023-12-16 16:00

Per casualitat, en un corrent de notícies i informació, em vaig trobar amb un article a Nature Scientific Reports. Presenta dades d'una enquesta a 1.500 científics sobre la reproductibilitat dels resultats de la investigació científica. Si abans aquesta problemàtica es plantejava per a la investigació biològica i mèdica, on d'una banda és explicable (falses correlacions, la complexitat general dels sistemes en estudi, de vegades fins i tot s'acusa el programari científic), d'altra banda, té un caràcter fenomenològic. caràcter (per exemple, els ratolins tendeixen a comportar-se de manera diferent amb els científics de diferents gèneres (1 i 2)).

No obstant això, no tot és suau i amb mésciències naturals com la física i l'enginyeria, la química, l'ecologia. Sembla que aquestes mateixes disciplines es basen en experiments "absolutament" reproduïbles realitzats en les condicions més controlades, per desgràcia, un sorprenent -en tots els sentits de la paraula- el resultat de l'enquesta: fins a un 70%s'enfrontaven els investigadors No reproduïbleexperiments i resultats obtinguts no només per altres grups de científics, PERÒ i pels autors/coautors dels treballs científics publicats!

Cada flauter lloa el seu pantà?

Tot i que el 52% dels enquestats apunten a una crisi de reproductibilitat en la ciència, menys del 31% considera que les dades publicades són fonamentalment incorrectes i la majoria indica que encara confien en el treball publicat.

Per descomptat, no s'hauria de trencar l'espatlla i linxar tota la ciència com a tal només a partir d'aquesta enquesta: la meitat dels enquestats encara eren científics associats, d'una manera o altra, a disciplines biològiques. Com assenyalen els autors, en física i química, el nivell de reproductibilitat i confiança en els resultats obtinguts és molt superior (vegeu el gràfic següent), però encara no és del 100%. Però en medicina les coses estan molt malament comparades amb la resta.

Ve al cap una broma:

Marcus Munafo, psicòleg biològic de la Universitat de Bristol, Anglaterra, té un interès des de fa temps en la reproductibilitat de les dades científiques. Recordant els dies dels seus dies d'estudiant, diu:

Una vegada vaig intentar reproduir un experiment de la literatura que em va semblar senzill, però no vaig poder fer-ho. Vaig tenir una crisi de confiança, però després em vaig adonar que la meva experiència no era tan rara.

Problema de profunditat de latitud i longitud

Imagina que ets un científic. Trobeu un article interessant, però els resultats/experiments no es poden reproduir al laboratori. És lògic escriure sobre això als autors de l'article original, demanar consell i fer preguntes aclaridores. Segons l'enquesta, menys del 20%ho han fet mai en la seva carrera científica!

Els autors de l'estudi assenyalen que, potser, aquests contactes i converses són massa difícils per als mateixos científics, perquè revelen la seva incompetència i inconsistència en determinades qüestions o revelen massa detalls del projecte actual.

A més, una minoria absoluta de científics va intentar publicar una refutació de resultats irreproducibles, mentre s'enfrontava a l'oposició dels editors i revisors que demanavaminimitzar la comparació amb la investigació original. És d'estranyar que la possibilitat d'informar de la no reproductibilitat dels resultats científics sigui al voltant del 50%.

Potser, doncs, val la pena fer almenys una prova de reproductibilitat dins del laboratori? El més trist és que un terç dels enquestats iguala MAIi no va pensar en crear mètodes per verificar la reproductibilitat de les dades. Només el 40%van indicar que utilitzen habitualment aquestes tècniques.

Un altre exemple, una bioquímica del Regne Unit, que no ha volgut revelar el seu nom, diu que els intents de repetir, reproduir el treball per al seu projecte de laboratori simplement duplica el temps i els costos de material, sense donar ni afegir res de nou al treball. Es realitzen comprovacions addicionals només per a projectes innovadors i resultats inusuals.

I, per descomptat, les eternes preguntes russes que van començar a torturar els col·legues estrangers: qui té la culpa i què fer?

Qui és el culpable?

Els autors del treball van identificar tres problemes principals de reproductibilitat dels resultats:

• Pressió dels superiors perquè l'obra es publiqui a temps
• Informes selectius (aparentment, significa la supressió d'algunes dades, que "arruïnen" tota la imatge)
• Anàlisi de dades insuficient (incloses les estadístiques)

Què fer?

Dels 1.500 enquestats, més de 1.000 especialistes es van pronunciar a favor de la millora de les estadístiques en la recollida i el processament de dades, la millora de la qualitat de la supervisió dels caps i una planificació més rigorosa dels experiments.

Conclusió i alguna experiència personal

En primer lloc, fins i tot per a mi, com a científic, els resultats són impressionants, tot i que estic acostumat a un cert grau d'irreproducibilitat dels resultats. Això és especialment evident en els treballs realitzats pels xinesos i els indis sense "auditoria" de tercers en forma de professors americans/europeus. És bo que es reconegués el problema i es pensava en la seva(s) solució(es). Amb tacte callaré sobre la ciència russa, en relació amb l'escàndol recent, encara que molts fan la seva feina sincerament.

En segon lloc, l'article ignora (o millor dit, no té en compte) el paper de la mètrica científica i les revistes científiques revisades per parells en l'aparició i desenvolupament del problema de la irreproducibilitat dels resultats de la recerca. A la recerca de la velocitat i la freqüència de les publicacions (llegir, augment dels índexs de citacions), la qualitat disminueix bruscament i no hi ha temps per a una verificació addicional dels resultats.

Com diuen, tots els personatges són ficticis, però es basen en fets reals. D'alguna manera, un estudiant va tenir l'oportunitat de revisar un article, perquè no tots els professors tenen el temps i l'energia per llegir els articles amb deteniment, de manera que es recull l'opinió de 2-3-4 estudiants i metges, a partir dels quals es forma la revisió. Es va escriure una revisió, va indicar la irreproducibilitat dels resultats segons el mètode descrit a l'article. Això ho va demostrar clarament al professor. Però per no fer malbé les relacions amb els "col·legues" -al cap i a la fi, ho aconsegueixen tot-, la revisió es va "corregir". I hi ha 2 o 3 articles publicats.

Resulta un cercle viciós. El científic envia l'article a l'editor de la revista, on indica “ desitjat"I, principalment," no desitjats »Revisors, és a dir, de fet, queden només aquells que estan disposats positivament cap a l'equip d'autors. Revisen el treball, però no poden "cagar-se als comentaris" i intentar triar el menor dels dos mals: aquí teniu una llista de preguntes que cal respondre, i després publicarem l'article.

Un altre exemple, del qual va parlar l'editor de Nature fa tot just un mes, són els panells solars de Grazel. A causa de l'enorme interès per aquest tema a la comunitat científica (després de tot, encara volen un article a Nature!), els editors van haver de crear un qüestionari especial en el qual havien d'indicar molts paràmetres, proporcionar calibracions d'equips, certificats., etc. per confirmar que el mètode de mesura dels panells d'eficiència s'ajusta a alguns principis i estàndards generals.

I, tercer, quan torna a sentir parlar d'una vacuna miracle que ho conquista tot i tothom, una nova història sobre Jobs en faldilla, noves piles o els perills/beneficis dels transgènics o la radiació dels telèfons intel·ligents, sobretot si va ser promoguda per escriptors grocs del periodisme., després tractar amb comprensió i no treure conclusions. Espereu la confirmació dels resultats per part d'altres grups de científics, l'acumulació de la matriu i les mostres de dades.

PS:L'article va ser traduït i escrit de pressa, sobre tots els errors i inexactituds observats, si us plau, escriu a la LAN.