La scienza precaria e la crisi della riproducibilità

“For my first work-related tweet of 2020, I am totally bummed to announce that we have retracted last year’s paper on enzymatic synthesis of beta-lactams. The work has not been reproducible.”

“It is painful to admit, but important to do so. I apologize to all. I was a bit busy when this was submitted, and did not do my job well.”

Questo è ciò che ha scritto Frances H. Arnold, Linus Pauling Professor of Chemical Engineering, Bioengineering and Biochemistry al California Institute of Technology, nonché Premio Nobel per la Chimica nel 2018, in un tweet del 2 gennaio 2020.
La reazione a questa dichiarazione è stata sostanzialmente positiva, e la maggior parte degli utenti e dei commentatori ha apprezzato il coraggio di ritrattare il paper e di ammettere pubblicamente l’errore. Al di là dei commenti su Twitter, anche molte testate online hanno ripreso la notizia concentrandosi sulla crisi di riproducibilità che vive la scienza.

Anche se all’osservatore esterno spesso sfugge, chi segue le vicende del mondo accademico o ha mai lavorato in un laboratorio sa che da anni c’è una nebbia fitta che avvolge la ricerca moderna.

Da un sondaggio condotto da Nature nel 2016 su un campione di 1500 scienziati è emerso che più del 70% dei ricercatori ha fallito nel tentativo di replicare l’esperimento di qualcun altro e più del 50% non è riuscito a replicare nemmeno il proprio lavoro. Soffermandoci sulla chimica, i risultati raggiungono livelli ancora più allarmanti, con più dell’80% dei ricercatori che hanno dichiarato di non essere stati capaci di riprodurre almeno un esperimento e più del 60% incapace di riprodurre i propri esperimenti.

Questo problema è noto da anni e lunghe discussioni occupano le pagine di molte riviste nel tentativo di capire come superare questa crisi di riproducibilità. Ciò che purtroppo sembra sfuggire è l’inutilità di rattoppare un sistema che fa acqua da tutte le parti, perché semplicemente inadeguato alla società moderna.

Prendendo per esempio il caso della prof. Arnold, da una veloce lettura dell’elenco dello staff del suo laboratorio risulta che vi lavorano 24 persone. Di queste, una persona è descritta come “Lab manager”, 14 sono dottorandi e i rimanenti sono post-doc. In parole povere, c’è un tecnico di laboratorio – che è l’unico che possiamo assumere abbia un contratto stabile – e altri 23 ricercatori precari, dei quali 14 alla loro prima esperienza nella ricerca. Tutte queste persone sono coinvolte in una serrata competizione tra di loro: nel poco tempo che hanno a disposizione devono infatti pubblicare più che possono, nella speranza di poter così elemosinare ulteriori sei mesi o un altro anno di contratto.
Questa situazione non è colpa della Prof. Arnold. È un fatto accertato che nel mondo accademico ci sia un fortissimo squilibrio tra il numero di posizioni permanenti e il numero di posizioni precarie, tanto che Nature – che a onor del vero da anni ospita interventi e discussioni sulla precarietà nel mondo della ricerca e sulle sue conseguenze disastrose – nel 2015 ha descritto questo fenomeno in un articolo titolato appropriatamente “La fabbrica dei dottorandi”.

Secondo un altro sondaggio, sempre di Nature, solo il 3.5% di chi ottiene un PhD ha successo nell’ottenere una posizione stabile, e solo lo 0.5% riesce a diventare professore. Questi numeri non sono dovuti a un abbandono volontario. Ci viene in aiuto sempre un sondaggio condotto da Nature su un campione di 5700 dottorandi che ha rivelato che il 52% dei dottorandi sogna l’accademia, mentre solo il 22% è orientato verso posizioni nell’industria, ai quali bisogna aggiungere un 9% che mira al settore medico e un 9% a un impiego governativo.

Un mondo precario

Il sistema moderno della ricerca accademica è un ibrido tra una piantagione di cotone sudista e una fabbrica inglese di fine Ottocento. È basato su una sterminata schiera di lavoratori sottopagati – o addirittura paganti in certe occasioni – che sono costretti a lavorare giorno e notte nella speranza di riuscire a rientrare in quel 3.5% di fortunati che alla fine possono ambire a una posizione stabile.

Ci sono quindi tutti gli ingredienti necessari per un disastro perfetto. C’è un solo professore che deve gestire da solo il lavoro di una moltitudine di precari, deve trovare i fondi per poter continuare a pagare questi precari e comprare gli strumenti e materiali necessari alla ricerca, il tutto mentre gira il mondo per presentare il lavoro alle varie conferenze, mentre corregge gratuitamente gli articoli che arrivano dalle varie riviste scientifiche per essere revisionati (peer-review) e mentre deve assolvere ai suoi compiti di docente.

Al tempo stesso, i ricercatori precari (consideriamo così dottorandi, post-doc ma anche i tenure-track) che eseguono il vero lavoro di ricerca sanno che devono pubblicare, e pubblicare tanto. Metà di questi precari sono alla prima esperienza nel mondo della ricerca (i dottorandi). Dei precari senior (i post-doc), la maggior parte è probabilmente nuova in quel laboratorio: la maggior parte dei contratti di post-doc durano tra i sei mesi e i due anni ed il movimento tra più gruppi di ricerca è incoraggiato e apprezzato.

È il sistema stesso a promuovere la continua sostituzione di chi ha già esperienza con nuove risorse meno esperte in quell’ambito, quando non addirittura completamente inesperte. Esistono anche dei veri e propri paletti temporali, che variano a seconda del paese e dell’università, che limitano gli anni massimi di post-doc generalmente a 5. Questo vuol dire che dopo 5 anni di lavoro precario e di contratti rinnovati di anno in anno, quando non di mese in mese, il post-doc medio è costretto a fare le valigie. Questi limiti servono in teoria per proteggere il post-doc dalla spirale della precarietà spingendolo a riconoscere il suo “fallimento accademico” e cercare lavoro altrove. In realtà, spesso è possibile prolungare l’agonia con nuovi contratti ugualmente precari, nei quali cambia semplicemente la definizione della posizione assegnata. Alla fine, comunque le porte si chiuderanno definitivamente, vuoi per la mancanza di fondi o per il pensionamento del protettore (ops, professore).

Anche senza voler ammettere alcuna malizia o alcun comportamento deliberatamente fraudolento nella condotta scientifica, è evidente che questa è un’organizzazione del lavoro illogica, disordinata e naturalmente prona all’errore, oltre che ingiusta e indegna di una società moderna. Nessun professore, nemmeno il più integerrimo e dedito ai suoi collaboratori, ha il tempo materiale di eseguire alcun esperimento per conto proprio o di rifare gli esperimenti dei suoi sottoposti, né può avere il tempo di analizzare tutti i quaderni di laboratorio, analizzare tutti i risultati strumentali o verificare l’elaborazione statistica dei dati. Può solo fidarsi di ciò che viene riferito, indirizzare la ricerca in una certa direzione e, al massimo, notare lacune o errori che sono grossolani o manifesti.

Una tale situazione sarebbe assolutamente inaccettabile in qualsiasi altro contesto lavorativo, privato o pubblico. Non soltanto perché è moralmente discutibile accettare un sistema che si basa interamente sul lavoro precario o gratuito, ma proprio per la sua intrinseca inefficienza.
Ma la verità è che questa è solo la punta dell’iceberg. L’elefante nella stanza ha un nome preciso: conflitto di interesse.

Non tutti i dati sono uguali

L’origine di questo conflitto di interesse è abbastanza chiara una volta che si riflette sulle dinamiche interne alla ricerca. Da una parte, il professore che gestisce il gruppo ha la necessità di avere sempre dati straordinari e nuovi risultati rivoluzionari da parte dei suoi collaboratori. Questi risultati andranno poi rielaborati, confezionati, impacchettati e imbellettati per essere rivenduti a caro prezzo alle conferenze (dove sono pagati in visibilità – unico caso nel quale la visibilità è davvero una moneta di scambio corrente) o alle commissioni che elargiscono fondi, dove sono pagati invece con moneta sonante necessaria per continuare il proprio lavoro.

Al tempo stesso i precari hanno bisogno di presentare i dati di cui sopra, per rendere felice il professore e per ottenerne in cambio un articolo, che è necessario per poter sperare di avere uno stipendio anche il giorno dopo. Questo impedisce qualsiasi valutazione oggettiva dei risultati sperimentali. A chi fa scienza piace dire che un risultato negativo è sempre un risultato, ma non è così. Un risultato negativo è una perdita di tempo, un danno alla carriera e una macchia sull’onore.
Sempre il solito Nature ha pubblicato un’interessante rassegna dei vari bias, più o meno consci, che impediscono al ricercatore di approcciarsi con oggettività alla natura: non si parla qui di fabbricare dati falsi o di palesi inganni, ma di meccanismi molto più subdoli che agiscono a un livello più profondo e moralmente indifeso.

È ingenuo pensare che per un ricercatore i numeri siano solo numeri e i dati solo dati, che l’uno sia uguale al due, e il due sia uguale al tre. La verità è che l’uno ti fa perdere il lavoro, e il due ti fa pubblicare. E se il risultato dell’esperimento è 1.3, basta un attimo a dare la colpa allo strumento calibrato male, al tempo atmosferico o a uno spiffero d’aria e arrotondarlo a 2. Basta poco per rifare altre cinque volte la misura finché non esce quell’1.5 tanto desiderato e necessario per arrotondare a due. E quando quel finto 2 arriva sul tavolo del prof., chi ha interesse a verificare che sia davvero un due? D’altronde, era già stato annunciato in tre conferenze che il risultato di quell’esperimento sarebbe stato due. Qualcuno aveva chiesto dei finanziamenti per ottenere quel due. E ora che quel due è stato finalmente trovato, può essere rimodellato e trasformato in una nuova richiesta di fondi.

Un modo per mettere un freno a questo sistema sarebbe democratizzare i risultati sperimentali, cioè rendere completamente neutra e obiettiva l’analisi e raccolta dei dati. Ma sembra impossibile farlo se non scollegando e anonimizzando il ruolo di chi propone l’esperimento, di chi lo esegue, di chi lo interpreta e di chi lo finanzia. Ma questo sarebbe inaccettabile, perché vorrebbe dire privare tutti i soggetti coinvolti del diritto di vedere riconosciuti i risultati del proprio lavoro.
Un modo più semplice sarebbe cambiare il paradigma con il quale si valuta il lavoro di un ricercatore: il bravo ricercatore è quello che ottieni i dati desiderati o i dati-e-basta, qualunque essi siano? Il bravo ricercatore è quello che ottiene i risultati migliori o quello che ottiene i risultati più solidi, anche se negativi?
Rispondere a questa domanda non è per nulla banale. Ottenere un risultato negativo non vuole per questo dire che tutto il lavoro che ci sta dietro sia da buttare, è in molte occasioni è necessario insistere per andare a capire qual è l’origine di un fallimento e se è possibile rimediare. Se dovessimo accettare ogni dato negativo come un punto fermo, la scienza si arenerebbe velocemente!

Ciò vuol dire che un sistema più equo dovrebbe comunque premiare i risultati positivi, ma senza per questo scoraggiare quelli negativi.

L’articolo della Prof. Arnold è stato ritirato perché lo studio del quaderno di laboratorio del primo autore dell’articolo aveva mostrato delle grosse irregolarità. Anche se sarebbe facile liquidare il problema come il cattivo comportamento di uno scienziato disonesto, è molto più interessante chiedersi se quelle irregolarità sarebbero esistite in un mondo nel quale fosse riconosciuto che i dati negativi non sono lo specchio di un ricercatore incapace, quanto il normale procedere della scienza.

Lo scienziato influencer

La comunità scientifica sembra in questo sempre più vicina alla comunità social di Facebook e Instagram, e possiamo delineare un inquietante parallelismo tra la finta vita glamour che ognuno di noi tenta disperatamente di propugnare ai nostri followers nelle stories (si veda a questo proposito l’interessante lavoro di Ethan Kross) e il bisogno di professori e ricercatori di mostrare sempre una scienza perfetta, innovativa e tirata a lucido ai propri pari. La scienza sporca e reale, quella che non funziona, quella che sbatte contro un muro, è motivo di vergogna e di imbarazzo. La differenza è che mentre per la maggior parte di noi i social sono solo un diversivo pomeridiano, uno sfogo, un’evasione dalla vita reale – e solo per una piccolissima percentuale di utenti i social network costituiscono il fulcro della giornata e dell’attività lavorativa -, ogni ricercatore e ogni professore è, in pratica, un influencer della scienza, e dalla sua visibilità e capacità di imbellettare il suo lavoro dipenderà il peso della busta della spesa quando tornerà a casa dopo lavoro.

Questa enorme pressione che schiaccia sia professori che precari è dovuta all’architettura a due livelli del mondo della ricerca: un esercito di precari contrapposto a un piccolissimo numero di professori, separati da un enorme quasi invalicabile gradino. All’interno del mondo accademico non esiste una figura professionale stabile e intermedia, ovvero quella del ricercatore professionista. Volendo fare un paragone, sarebbe come gestire un reparto ospedaliero tramite una sola figura stabile, quella del primario, mentre tutti gli altri medici sono o specializzandi o specialisti con contratto annuale o semestrale. E in questo scenario il primario non solo non ha più contatti con i pazienti, ma non controlla nemmeno l’operato dei suoi sottoposti – se non attraverso dei saltuari colloqui -, poiché è costretto a passare le giornate a elemosinare fondi per il reparto.

È evidente come l’introduzione di una scala gerarchica ben definita nel mondo della ricerca accademica, in cui tra il professore e il dottorando esistono dei gradi intermedi di professionisti non-precari, non è soltanto una misura di equità e salvaguardia dei diritti dei lavoratori (se ne parla molto bene sempre su Nature), ma è anche l’unica vera soluzione alla crisi della riproducibilità.

Perché il mondo accademico continua allora a resistere imperterrito, mantenendo una suddivisione del lavoro così tremendamente ingiusta e inefficiente? Per due motivi, tra loro strettamente collegati: un motivo economico e un motivo di facciata. Stabilizzare i precari della ricerca costa soldi in termini diretti, ovvero in stipendi. E quando i soldi mancano, sono le risorse umane le prime a pagarne le conseguenze.

Non è una gara

Prima si parlava di scienza social, ovvero del fatto che anche nella scienza la forma sta prendendo il sopravvento sulla sostanza. Il sistema attuale in questo è perfetto: i precari lavorano 70-80 ore alla settimana – ufficiosamente e senza straordinari, ça va sans dire – e hanno interesse a generare dati che siano i più belli possibile – belli, non accurati – in modo da poter pubblicare su una rinomata rivista e ottenere tanti likes e tante condivisioni (citazioni), che saranno necessari come moneta di scambio per poter rinnovare il loro contratto e fare la spesa anche il giorno dopo. Il professore riceve questi dati così belli ed è ben contento di pubblicarli, perché così non solo può continuare a ricevere anche lui likes e condivisioni, ma può portarli in bella mostra a talk e conferenze – e magari vedere anche un bel trafiletto con il suo nome in grassetto su un quotidiano nazionale-, può tramutarli in premi e award vari e, grazie a tutto questo, può continuare a ricevere le sponsorizzazioni che servono (leggasi “fondi per la ricerca”) per continuare a mandare avanti il lavoro del proprio gruppo.

Questo trionfo dell’apparenza difficilmente potrebbe sopravvivere senza la spinta della fame e della precarietà. Un sistema gerarchico è un sistema meno incline all’errore ma più lento, e la rapidità è indispensabile in un ambiente così iper-competitivo come quello accademico. Un lavoratore stabile non ha alcun interessa a lavorare gratuitamente due volte più di quanto stabilito nel contratto. Un lavoratore stabile è contentissimo se la sua ricerca funziona e se gli fa ottenere una promozione e più prestigio, ma sa che anche se non funzionasse avrebbe comunque il pane in tavola per i figli.

Rendere il mondo scientifico meno competitivo avrebbe anche un altro vantaggio diretto sulla qualità delle pubblicazioni, perché meno competizione vuole dire più trasparenza. C’è un motivo se le parte sperimentale dei lavori scientifici si va accorciando ed abbreviando man mano che passa il tempo: perché rendere la vita più facile a chi è in competizione con me? Perché diffondere gratuitamente ai quattro venti esperienza e know-how, quando sono la chiave per emergere dalla folla?

Una scienza meno competitiva è una scienza più aperta, più giusta e più solida.

Forse è arrivato il momento di smetterla di nascondere la testa sotto la sabbia. Che ci sia un problema è una cosa nota, ma ora è arrivato il momento di avere il coraggio di dire ad alta voce qual è la soluzione: smetterla di trattare la scienza come un social network e i ricercatori come influencer, accettare che la qualità ha un prezzo e passa attraverso professionisti attenti a svolgere il proprio lavoro con dedizione e rigore, senza dover essere costretti a photoshoppare i brufoli delle loro ricerche pur di avere ancora un lavoro il giorno dopo.