Es va trobar que els estudis psicològics eren falsos en més del 50% dels casos

2024 Autora: Seth Attwood | [email protected]. Última modificació: 2023-12-16 16:00

Hi ha "postures fortes" que generen confiança i redueixen les hormones de l'estrès. Quan la gent té una tassa de beguda calenta a les mans, es torna més amable amb els que l'envolten. La força de voluntat és un recurs que gastem quan resistim la temptació. La capacitat de posposar la recompensa determina l'èxit futur del nen.

Aquestes afirmacions són molt semblants entre elles: darrere hi ha conegudes investigacions psicològiques, best-sellers de divulgació científica, columnes a revistes de divulgació i xerrades TED.

També tenen una cosa més en comú: tots van resultar equivocats.

La crisi de la reproductibilitat ha posat en dubte camps sencers de la ciència. Molts dels resultats, que van ser molt citats als mitjans de comunicació, ara es consideren exagerats o falsos. Quan els científics van intentar replicar experiments psicològics clàssics i recents, els resultats van ser sorprenentment consistents, amb aproximadament la meitat dels casos reeixits i l'altra meitat fracassant.

La crisi finalment es va fer evident el 2015, quan els científics liderats per Brian Nosek van comprovar 100 estudis psicològics. Només en 36 casos van poder aconseguir resultats inicials. L'editor en cap de The Lancet, Richard Horton, va declarar aviat:

Les acusacions contra la ciència són bastant senzilles: almenys la meitat de la literatura científica està simplement equivocada. Patint d'estudis amb poca mida de mostra, efecte escàs i anàlisis incorrectes, així com una obsessió per les tendències de la moda de dubtosa importància, la ciència ha fet un gir cap a la ignorància.

La reproductibilitat és un dels requisits clau per al coneixement científic. Com millor es reprodueixi el resultat, més fiable serà: aquesta és l'única manera de separar els patrons reals de les simples coincidències

Però va resultar que aquest requisit no sempre es compleix.

La crisi va començar amb la medicina, però la majoria va afectar la psicologia. L'estiu del 2018, els científics van intentar replicar una selecció d'estudis psicològics publicats a Science and Nature, les revistes científiques més prestigioses del món. De 21 experiments, només 13 es van confirmar, i fins i tot en aquests casos, els resultats originals van ser exagerats en un 50%.

Sovint, la prova de reproductibilitat és fallada per aquells estudis que van ser àmpliament replicats als mitjans i van aconseguir influir en la consciència pública. Per exemple, les obres que els cercadors perjudiquen la memòria, i la lectura de ficció desenvolupa la capacitat d'empatia. Si els experiments repetits fracassen, això no vol dir que les hipòtesis originals no tinguin valor. Però ara cal investigar millor per demostrar-los.

Com predir el futur amb les estadístiques

El 2011, el famós psicòleg nord-americà Daryl Boehm va publicar un article que demostrava la possibilitat de la clarividència. Aquesta conclusió no va ser producte de la seva imaginació violenta, sinó que es va basar en dècades d'investigació, que van implicar centenars de persones. Molts van sospitar que Boehm va decidir organitzar alguna cosa com l'estafa de Sokal i exposar la psicologia amb un article fals amb conclusions deliberadament absurdes. Però per tots els estàndards metodològics, l'article era molt convincent.

En un dels experiments de Behm, es van col·locar dues pantalles davant dels participants: havien d'endevinar quina imatge s'amagava darrere. La imatge es va generar aleatòriament immediatament després de fer la selecció. Si els participants fessin una bona feina, indicaria que d'alguna manera poden anticipar el futur. L'experiment va utilitzar dos tipus d'imatges: neutres i pornogràfiques.

Boehm va suggerir que si el sisè sentit existeix, probablement té un origen evolutiu antic. Si és així, és més probable que estigui en sintonia amb les nostres necessitats i impulsos més antics

Els participants van endevinar imatges pornogràfiques el 53% del temps, una mica més sovint del que haurien de ser si fossin pura casualitat. Donat el gran nombre d'experiments, Boehm podria afirmar que existeix la previsió.

Més tard, els experts van descobrir que en analitzar els resultats, utilitzava mètodes no del tot correctes. Per regla general, un resultat d'investigació es considera fiable si la probabilitat que s'hagi obtingut per accident no supera el 5%. Però hi ha moltes maneres de reduir aquest valor al nivell requerit: canviar els paràmetres inicials de l'anàlisi, afegir o eliminar el nombre necessari d'exemples de la mostra, utilitzar hipòtesis més reeixides després de recollir les dades.

El problema és que no només Boehm, sinó també molts altres científics van utilitzar les mateixes tècniques. Segons una enquesta del 2011, gairebé la meitat dels psicòlegs ho van admetre

Quan va sortir l'article clarivident, els científics socials Joseph Simmons, Leaf Nelson i Uri Simonson es van adonar que la ciència anava cap a la seva pròpia ruïna. Van construir diversos models informàtics i van trobar que utilitzant tècniques estadístiques bastant estàndard, podeu augmentar el nivell de resultats falsos positius diverses vegades. Això vol dir que els mètodes que són formalment científics poden portar fàcilment a conclusions completament absurdes.

Per il·lustrar-ho, els científics van fer un experiment que va confirmar que escoltar la cançó "When I'm Sixty-four" fa que l'oient sigui un any i mig més jove.

"Tothom sabia que era incorrecte utilitzar aquestes tècniques, però pensaven que això era una violació del seu significat, com creuar la carretera al lloc equivocat. Va resultar ser més com un robatori a un banc ", va concloure Simmons.

Com distingir la mala investigació de la bona

Aviat es va fer evident que els problemes de reproductibilitat no es limitaven a la psicologia. En la investigació del càncer, l'evidència científica es recolza en un 10-25% dels casos. En economia, 7 de cada 18 experiments de laboratori no es van poder replicar. La investigació sobre intel·ligència artificial també mostra signes de crisi.

Però perdre la fe en la ciència, sembla, encara no val la pena. Els científics ja han ideat diverses maneres que han millorat molt la fiabilitat i la qualitat de les noves investigacions

Fa uns quants anys, gairebé ningú publicava els resultats d'experiments repetits, encara que es fessin. Això no va ser acceptat, no va aportar beques i no va contribuir a una carrera científica d'èxit. Segons una enquesta de Nature, més del 70% dels psicòlegs han intentat i no han aconseguit reproduir les investigacions d'altres persones, aproximadament la meitat no han pogut repetir les seves, i gairebé ningú ha volgut donar a conèixer aquests resultats.

Quan va sorgir la crisi de la reproductibilitat, moltes coses han canviat. La investigació repetida es va convertir gradualment en un lloc habitual; les dades experimentals van començar a publicar-se cada cop més sovint en el domini públic; les revistes van començar a publicar resultats negatius i a registrar el pla general de recerca fins i tot abans de començar.

La investigació s'ha fet més extensa: una mostra de 30 a 40 persones, que era bastant estàndard en psicologia, ara s'adapta a molt poca gent. Grans organitzacions internacionals, com el Psychological Science Accelerator, estan provant les mateixes hipòtesis en diversos laboratoris d'arreu del món.

Abans de comprovar els articles de Nature and Science, dels quals vam escriure al principi, es va demanar als científics que apostessin al sorteig. Van haver de predir quina investigació passaria la prova i quina fallaria. En general, les tarifes eren molt precises. "Això significa, en primer lloc, que la comunitat científica pot predir quines obres es podran repetir i, en segon lloc, que la impossibilitat de replicar l'estudi no va ser una mera coincidència", diuen els organitzadors de l'experiment.

En general, els científics són bons per distingir la investigació fiable de la poc fiable, és una bona notícia. Ara els experts del Center for Open Science, juntament amb l'agència DARPA, estan intentant crear un algorisme que faci la mateixa tasca sense intervenció humana.

Hi ha massa articles publicats cada any per tornar a comprovar manualment fins i tot una petita fracció d'ells. Si la intel·ligència artificial es posa en marxa, tot serà molt més fàcil.

Ja en les primeres proves, la IA va fer front amb èxit a les prediccions en el 80% dels casos.

Què fa que la investigació sigui poc fiable? Petites mostres, incoherències en nombres, confirmació massa bella d'hipòtesis. I també - el desig de sensacions i respostes massa senzilles a preguntes difícils.

Massa bo per ser veritat

La manera més fàcil de crear una investigació sensacional és mitjançant l'engany. El famós psicòleg social Diederik Stapel va utilitzar dades fabricades en diverses desenes d'articles científics. La recerca de Stapel es va estendre a través de diaris i revistes amb gran rapidesa, va rebre diversos premis científics de prestigi, va ser publicat a Science i va ser considerat un dels majors especialistes en el seu camp.

Una vegada va resultar que durant molt de temps Stapel no va fer cap investigació, sinó que simplement va inventar dades i les va donar als estudiants perquè les analitzessin.

Això és molt rar en la ciència. Molt més sovint, les declaracions sonores, però incorrectes sorgeixen per altres motius. La gent busca desesperadament respostes senzilles, entenedores i efectives a preguntes interessants. Pot ser molt fàcil tenir la temptació de pensar que tens aquestes respostes, encara que realment no en tinguis. La recerca de la simplicitat i la certesa és una de les principals raons per les quals molts estudis no aconsegueixen provar la reproductibilitat. Aquí teniu alguns exemples notables.

Experiment amb marshmallow

En un experiment, es va demanar als nens que escollissin entre una petita recompensa, com ara marshmallows, que es podien rebre immediatament i una doble recompensa si podien esperar una mica. Més tard va resultar que els nens que van rebre el segon premi van tenir més èxit en l'edat adulta. L'estudi es va fer molt popular i va influir en alguns currículums escolars.

El 2018, l'experiment es va repetir en una mostra més àmplia. Va resultar que la riquesa de la família és un factor molt més important, del qual també depèn el nivell d'autocontrol.

"Poses de força" i "Poses de debilitat"

Els participants de l'experiment van prendre una de les dues posicions durant dos minuts: es van recolzar en una cadira i van llançar les cames a la taula ("postura de força") o es van creuar els braços sobre el pit ("postura de debilitat"). Com a resultat, els participants del primer grup es van sentir més segurs i més sovint van acceptar arriscar-se en els jocs d'atzar. Els que es van asseure en una posició forta van augmentar els seus nivells de testosterona, i els que es van asseure en una posició feble van augmentar el cortisol. En experiments repetits, només es va reproduir un efecte: "les postures de força" van ajudar els participants a sentir-se més segurs, però no van canviar el seu comportament ni els paràmetres hormonals.

Les associacions amb la vellesa et fan avançar més lentament

Es va demanar als participants de l'experiment que resolguessin diversos trencaclosques. Si s'hi introduïen paraules relacionades amb la vellesa -"oblit", "anciana", "solitària"-, els participants van sortir de la sala a un ritme més lent.

En assaigs recents, l'experiment es va reproduir amb èxit només en un cas: si els mateixos experimentadors sabien que en les proves els participants insinuaven la vellesa. L'efecte en si es va mantenir, però els motius ja eren diferents.

Els objectes càlids fan que la gent sigui més amable

Els participants de l'experiment se'ls va permetre agafar una tassa de cafè calent o fred durant un temps curt i després se'ls va demanar que avaluessin la personalitat de la persona mitjançant una breu descripció. Els participants que van prendre una tassa de cafè calent van valorar la persona com a més agradable. En un altre experiment, els participants van rebre un article en un paquet calent o fred i després se'ls va demanar que el guardessin o el regalessin a un amic. Si l'article s'embolicava en un paquet càlid, els participants tenien més probabilitats de triar la segona opció. Els experiments repetits amb una mostra més àmplia no van produir aquests resultats. Sembla que la roba d'abric no et convertirà en un altruista.

La força de voluntat s'esgota quan resistim les temptacions

Davant dels participants en l'experiment es van col·locar dos plats, amb galetes i raves. En el primer grup, els participants podien menjar galetes, i en el segon, només raves. A continuació, es va demanar a cada participant que resolgués un trencaclosques impossible. Els participants que van menjar només raves a la primera part de l'experiment es van rendir molt abans que els altres. En experiments repetits, els resultats no es van confirmar.

En alguns casos, la capacitat d'autocontrol no es va esgotar, sinó que fins i tot es va intensificar amb el temps. Molts psicòlegs consideren ara el concepte de "força de voluntat" massa simplista.

Ja s'ha fet molt en la psicologia mundial per fer que la recerca sigui més fiable i reproduïble. A Rússia, aquest problema encara no s'ha entès.

"A la psicologia russa, els problemes de la crisi es relacionen principalment amb la joventut científica, que està orientada en gran mesura a la ciència occidental", va dir Ivan Ivanchey, professor associat de RANEPA, al Knife. - El control sobre la qualitat de les publicacions en rus generalment no és molt elevat. Les revistes rarament rebutgen articles, de manera que es publiquen moltes investigacions de baixa qualitat. Sovint s'utilitzen mostres petites, la qual cosa també redueix la probabilitat d'èxit de la reproducció. Hi ha la sospita que, si s'aborda seriosament la qüestió de la reproductibilitat de les obres en rus, es poden descobrir molts problemes. Però ningú està directament implicat en això".

El gener de 2019, es va saber que el govern rus ampliarà significativament els requisits per als científics pel que fa al nombre de publicacions: el nombre mínim d'articles publicats a l'any hauria de créixer entre un 30 i un 50%.

Científics de l'influent acadèmic "July 1 Club" van criticar la iniciativa: "La tasca de la ciència no és produir el màxim nombre de publicacions, sinó explorar l'univers i beneficiar-se dels coneixements adquirits per a la humanitat". Molt probablement, els nous requisits només augmentaran l'escala del problema.

La història sobre la crisi de la reproductibilitat no és una història sobre l'apocalipsi que s'acosta i la invasió dels bàrbars. Si no s'hagués produït la crisi, tot hauria estat molt pitjor: encara ens referiríem a investigacions errònies amb plena confiança que coneixem la veritat. Potser el temps dels titulars atrevits com "Els científics britànics han demostrat" està arribant a la seva fi. Però els rumors que la ciència ha mort s'han de considerar una mica exagerats.