Come l’IA condiziona le fonti
Un’amica, giovane e promettente storica, è una convinta sostenitrice del fatto che sia necessario fare attenzione a “non inquinare le fonti”, ovvero a far sì che, in tempi di fake news, di relativismo epistemologico su come sono andate certe cose nella storia recente del nostro Paese, bisogna, in caso di dubbio, rifarsi alle fonti. In mancanza di quelle orali – i testimoni di questa storia recente per questioni anagrafiche stanno via via scomparendo – bisogna individuare quali sono i testi di cui si ha certezza e a quelli riferirsi, in caso di disputa.
L’analogia si fa ancora più forte se si pensa ai tumultuosi sviluppi dell’intelligenza artificiale (IA) e a contesti come quello dell’ecosistema editoriale che vede una crescente automatizzazione della scrittura scientifica e, soprattutto, un’erosione del concetto stesso di “letteratura affidabile”.
Citazioni scientifiche false o inventate
Un recente articolo di Nature parla di un’impennata delle citazioni false o inventate nella letteratura biomedica: un audit su circa 2,5 milioni di articoli e 97 milioni di citazioni ha trovato che il fenomeno è esploso dopo il 2023. La cosa interessante è che non si tratta semplicemente di “errori bibliografici”. Il problema è più strutturale e ha le caratteristiche che abbiamo tutti – chi più chi meno – sperimentato con quelle mail generate automaticamente che sono tentativi di phishing e di frode: molte citazioni negli articoli sembrano generate automaticamente da LLM o sistemi semi-automatici e spesso i riferimenti “sembrano plausibili” ma non esistono. In altri casi esiste l’autore ma non il paper oppure esiste il tema ma sono sbagliati anno, volume o DOI ma, cosa più importante di tutte: queste citazioni passano i controlli editoriali.
I rischi per la letteratura scientifica
Da un punto di vista strettamente epistemologico la questione – oltre a costituire una piccola grande tragedia – è interessante perché la bibliografia, nella scienza moderna, non è un accessorio: è di fatto la rete di verificabilità del sapere. Se quella rete si degrada, la letteratura scientifica smette lentamente di essere un sistema cumulativo affidabile e diventa una specie di “testo statisticamente coerente” – e qui ogni riferimento non è casuale, ma causale. Questo di fatto è il rischio implicito nell’uso massiccio e incontrollato – cioè senza vincoli e senza regole – dell’IA generativa.
La questione epistemologica (quella che Quattrociocchi ha giustamente battezzato epistemia) è problematica perché qui non ci interessa tanto il fatto che l’IA “sbagli”, quanto piuttosto che produca contenuti formalmente convincenti. Una citazione inventata ma plausibile è molto più pericolosa di una citazione palesemente assurda.
Le carenze della peer review
In questo ambito si innesta, per altro, un altro fenomeno che questo articolo di Nature sfiora soltanto, vale a dire: l’automazione della scrittura scientifica sta accelerando oltre la capacità del sistema di peer review di verificarne realmente i contenuti.
Questo significa in soldoni che scrivere paper è diventato drasticamente più facile, mentre revisionarli seriamente no, perché la verifica delle citazioni richiede tempo umano. Si assiste quindi a uno sbilanciamento, a un collo di bottiglia per il quale il volume di manoscritti cresce esponenzialmente, mentre le capacità di gestirli non nella stessa misura, innescando quella che tecnicamente si chiama “trust by default”, ovvero: mi fido del fatto che tu, autore, abbia citato/scritto correttamente.
Non che il passato dell’informatica sia immune da queste dinamiche, ma qui il “derivato tossico” è la citazione e, un passo più in là, la credibilità della conoscenza che viene prodotta.
C’è poi un dettaglio quasi ironico: per decenni la bibliometria ha incentivato quantità, velocità e interconnessione citazionale. Ora gli strumenti generativi ottimizzano esattamente quelle metriche. È come se il sistema avesse selezionato artificialmente il proprio exploit.
Una deriva di sistema
Ma perché analizzare l’ambito biomedico? In realtà neppure ci deve sorprendere troppo. Tra le scienze le discipline biomediche sono quelle che hanno un enorme volume produttivo e contemporaneamente una pressione estrema sull’incentivo a pubblicare. Questo porta “fisiologicamente” a una proliferazione di riviste e a un’alta presenza di “paper mills”, a seguito del forte incentivo economico e di carriera che il ricercatore ha. In questo senso l’ambito biomedicale è il “canarino nella miniera” dell’editoria scientifica.
A chi dare fiducia?
In questo scenario la questione più profonda è un’altra: stiamo entrando in un’epoca in cui la fiducia nella letteratura scientifica non potrà più essere implicita. Serviranno sistemi automatici di verifica delle fonti, tracciabilità dei workflow, probabilmente persino watermark semantici o “catene di provenienza” dei contenuti. Paradossalmente, servirà altra IA per difendersi dall’IA.
Che poi è, anche questa, una dinamica già vista e abbastanza tipica: ogni tecnologia dell’informazione produce simultaneamente strumenti di conoscenza e strumenti di adulterazione della conoscenza. La stampa ha prodotto sia la scienza moderna sia la propaganda di massa; internet ha prodotto sia l’accesso universale sia la disinformazione su scala industriale; gli LLM producono sia una accelerazione cognitiva sia una “letteratura sintetica”.
Linee guida per l’uso dell’IA
Ma c’è un secondo articolo, su Science, che su questi argomenti si rivela interessante proprio perché mostra il tentativo del sistema scientifico di reagire prima che il problema diventi ingestibile, sebbene l’impressione è che si stia cercando di curare una trasformazione strutturale con una soluzione soprattutto procedurale. L’idea di fondo è creare linee guida universali per dichiarare l’uso dell’IA nei lavori scientifici, secondo i parametri che seguono:
- quando è stata usata;
- per fare cosa;
- con quale livello di intervento umano;
- e con quale responsabilità autoriale residua.
In pratica: una sorta di “metadato di provenienza” del testo scientifico. È un tentativo comprensibile, e probabilmente inevitabile. Ma il problema – come suggerisce il titolo stesso dell’articolo – è che “the devil is in the details”, il diavolo sta nei dettagli, perché appena provi a rendere concreta la regola, tutto si complica.
Cosa è lecito fare con l’IA?
Poniamo domande concrete, per esempio: usare Grammarly è IA? E tradurre con DeepL? Fare editing stilistico con ChatGPT è permesso? E chiedere un riassunto? E far generare un abstract? Oppure, far riscrivere la discussione? Ma anche “fare brainstorming” con l’IA per proporre ipotesi? E far fare coding statistico?
Insomma l’impressione è che a un certo punto la distinzione tra “strumento” e “coautore funzionale” diventi sfumata. Ed è qui che emerge una questione molto più profonda di quanto sembri: stiamo cercando di preservare categorie nate quando la scrittura era esclusivo appannaggio dell’umanità all’interno di un ecosistema cognitivo ibrido uomo-macchina; i tentativi di fornire norme e linee guida sembrano risentire molto di questo presente che nei fatti è già un passato.
Qualche forma di disclosure
Questo articolo evidenzia l’esistenza di almeno tre approcci in competizione: il primo potremmo definirlo di “disclosure minimale”, ovvero: “dichiaro di aver usato l’IA in qualche forma”. Il secondo di “disclosure granulare”: “dichiaro di aver usato il tool X per il task Y” e, infine, una vera e propria “certificazione di responsabilità”, dove “l’autore umano si assume integralmente la responsabilità finale”. Quest’ultimo sembra essere l’unico realisticamente sostenibile, perché i primi due rischiano rapidamente di diventare una sorta di teatrino burocratico, in cui si cercano i limiti e i confini del lecito, un po’ come i cookie banner che sono formalmente trasparenti ma praticamente irrilevanti. Oppure certe dichiarazioni di trasparenza nei paper industriali dove si dichiara: “nessun conflitto significativo” magari all’interno di ecosistemi pieni di conflitti strutturali.
Il punto non è se usare l’IA ma come
Il vero nodo infatti non è “se” sia stata usata IA, perché fra poco la risposta sarà quasi sempre sì, quanto piuttosto fare “le domande giuste”, ovvero: il lavoro è verificabile? I dati esistono? L’analisi è riproducibile? Le citazioni sono reali? E di questo parleremo ancora in chiusura di articolo.
La scienza moderna, in fondo, non si basa sull’assenza di strumenti automatici. Si basa sulla responsabilità epistemica.
Anche perché – e questo è il punto che l’articolo di Science lascia un po’ sullo sfondo – l’IA non entrerà solo nella scrittura. Entrerà nella generazione di ipotesi, nella revisione, nella ricerca bibliografica, nella valutazione statistica, perfino nella peer review.
Quindi le procedure di disclosure che vengono indicate rischiano semplicemente di essere insufficienti per la semplice ragione di non riuscire a descrive il grado di dipendenza cognitiva di quanto viene proposto nell’articolo.
Potremmo arrivare a situazioni limite in cui due articoli scientifici potrebbero dichiarare entrambi “AI-assisted”, ma nel primo l’autore usa un LLM per correggere inglese e sintassi; mentre nel secondo il modello costruisce una struttura argomentativa, una revisione bibliografica e una interpretazione. Formalmente sono “identici”, ma da un punto di vista epistemico diversissimi.
Generare fiducia o normalizzare l’uso di IA?
Infine c’è poi un altro aspetto quasi paradossale: queste linee guida nascono per aumentare la fiducia, ma potrebbero anche produrre l’effetto opposto, cioè quello di normalizzare implicitamente il fatto che una parte crescente della letteratura sia IA-mediata. In altri termini se oggi leggere “AI-assisted” su un articolo scientifico suscita attenzione, ci sta che fra cinque anni potrebbe equivalere a leggere “controllato per l’aspetto ortografico” e a quel punto la dichiarazione di trasparenza diventa rumore di fondo.
La direzione più interessante, ma anche più difficile da perseguire, sarebbe quella di spostare l’attenzione dalle dichiarazioni sull’uso dell’IA alla verificabilità radicale del processo scientifico.
Quindi fare uso di dati “aperti”, di workflow tracciabili, di notebook riproducibili, del “versioning”, di un controllo (automatico?) sulle citazioni e altre verifiche mirate. In altre parole: meno “dimmi se hai usato IA” e più “fammi vedere come hai costruito il risultato”.
Ma, ci si rende conto, siamo un po’ al “wishful thinking”, perché siamo di fronte non tanto al rischio reale che gli articoli scientifici siano scritti da macchine (questo rischio è in molti casi già una certezza: in un certo numero di casi, sempre crescenti, lo sono già), quando piuttosto che questi paper diventino impossibili da controllare da esseri umani.
Sanzioni per chi “inventa” con IA
Nel frattempo, per tutelarsi e “porre rimedio” – un rimedio sempre un po’ draconiano e chissà se efficace – la celebre repository preprint arXiv fa, secondo quanto dice quest’altro articolo di Nature, un “salto di qualità” introducendo sanzioni formali contro gli autori che inseriscono riferimenti “allucinati” o altri segni evidenti di uso incontrollato di LLM negli articoli lì depositati. L’essere bandito dalla piattaforma dura un anno, ma soprattutto, dopo questo periodo di “purgatorio”, l’autore potrà pubblicare solo lavori già accettati da una rivista peer reviewed “autorevole”; quindi non è solo una punizione, ma una sorta di perdita temporanea di fiducia epistemica. Questo il salto di qualità.
La piattaforma arXiv motiva la scelta dicendo esplicitamente che, se in un paper compaiono segnali evidenti di output LLM non verificato (“here is a 200-word summary… would you like edits?” oppure riferimenti inesistenti), allora “non ci si può fidare di nulla” nel manoscritto e il nodo quindi non è tanto la presenza dell’IA, ma il fatto che l’uso non controllato diventi un indicatore generale di inaffidabilità metodologica; in sostanza: “se non hai verificato le citazioni, cos’altro non hai verificato?”.
Un dibattito sempre più attuale
Ancora una volta emerge fortemente anche il tema dei “paper mills”, cioè produzioni semi-industriali di articoli, citazioni e autorialità, che l’IA sta rendendo ancora più scalabili. Diversi ricercatori criticano la misura, sostenendo che arXiv stia “curando il sintomo e non la causa”: vietare di depositare gli articoli prima della loro definitiva pubblicazione non elimina il problema sistemico dell’iperproduzione e degli incentivi distorti.
A conferma inoltre di quanto detto fin qui è il punto sollevato da Richard Sever (bioRxiv/medRxiv): paradossalmente i riferimenti allucinati sono quasi il problema “facile” e il male minore; il vero rischio sono i contenuti AI-generated di bassa qualità ma con citazioni perfettamente legittime, perché molto più difficili da individuare.
Verso una crisi della comunicazione della scienza?
C’è di più: quando gli LLM smetteranno di produrre errori grossolani, potrebbe diventare necessario chiedere agli autori di dimostrare di aver davvero svolto gli esperimenti descritti e siamo quindi arrivati davvero alla sfiducia perché in questo contesto non si parla più solo di “trasparenza”, disclosure o linee guida, ma di una possibile crisi del principio di fiducia implicita nella comunicazione scientifica. Cioè: per secoli il paper scientifico ha funzionato anche come attestazione sociale di un lavoro realmente svolto. Qui invece si affaccia uno scenario in cui il testo scientifico potrebbe non essere più sufficiente come prova dell’attività scientifica stessa.
Ne vedremo ancora delle belle.
Immagine di copertina: Vecteezy
