L'intelligenza artificiale sta trasformando la ricerca scientifica, ma senza una guida adeguata potrebbe fare più male che bene.
Questa è la conclusione puntuale di un nuova carta pubblicato su Science Advances da un team interdisciplinare di 19 ricercatori guidati dagli informatici dell'Università di Princeton Arvind Narayanan e Sayash Kapoor.
Il team sostiene che l'uso improprio dell'apprendimento automatico in tutte le discipline scientifiche sta alimentando una crisi di riproducibilità che minaccia di minare le basi stesse della scienza.
"Quando si passa dai metodi statistici tradizionali a quelli di apprendimento automatico, i modi per darsi la zappa sui piedi sono molto più numerosi". ha detto Narayananche dirige il Centro per la politica della tecnologia dell'informazione di Princeton.
"Se non abbiamo un intervento per migliorare i nostri standard scientifici e di reporting quando si tratta di scienza basata sul machine learning, rischiamo che non solo una disciplina, ma molte discipline scientifiche diverse riscoprano queste crisi una dopo l'altra".
Secondo gli autori, il problema è che l'apprendimento automatico è stato rapidamente adottato da quasi tutti i settori scientifici, spesso senza standard chiari per garantire l'integrità e la riproducibilità dei risultati.
Essi evidenziano che il tSono già stati pubblicati migliaia di articoli che utilizzano metodi di apprendimento automatico errati.
Ma il team guidato da Princeton sostiene che c'è ancora tempo per evitare questa crisi imminente. Ha presentato una semplice lista di controllo di buone pratiche che, se ampiamente adottate, potrebbero salvaguardare l'affidabilità dell'apprendimento automatico nella scienza.
La lista di controllo, chiamata REFORMS (Recommendations for Machine-learning-based Science), è composta da 32 domande in otto aree chiave:
- Obiettivi dello studio: Indicare chiaramente l'affermazione scientifica che si sta facendo e il modo in cui l'apprendimento automatico verrà utilizzato per sostenerla. Giustificare la scelta dell'apprendimento automatico rispetto ai metodi statistici tradizionali.
- Riproducibilità computazionale: Fornire il codice, i dati, le specifiche dell'ambiente di calcolo, la documentazione e uno script di riproduzione necessari per consentire ad altri di riprodurre i risultati dello studio in modo indipendente.
- Qualità dei dati: Documentare le fonti dei dati, la struttura di campionamento, le variabili di esito, la dimensione del campione e la quantità di dati mancanti. Giustificare che il set di dati è appropriato e rappresentativo del quesito scientifico.
- Preelaborazione dei dati: Riportare il modo in cui i dati sono stati puliti, trasformati e suddivisi in set di addestramento e test. Fornire una motivazione per tutti i dati che sono stati esclusi.
- Modellazione: Descrivere e giustificare tutti i modelli provati, il metodo utilizzato per selezionare i modelli finali e il processo di regolazione degli iperparametri. Confrontare le prestazioni con le linee di base appropriate.
- Perdita di dati: Verificare che il processo di modellazione non abbia utilizzato inavvertitamente informazioni provenienti dai dati di prova e che le caratteristiche di input non abbiano causato perdite nel risultato.
"Si tratta di un problema sistematico con soluzioni sistematiche", spiega Kapoor.
Tuttavia, i costi dell'errore potrebbe essere immenso. Una scienza sbagliata potrebbe affossare ricerche promettenti, scoraggiare i ricercatori ed erodere la fiducia del pubblico nella scienza.
Ricerche precedenti, come L'indagine su larga scala di Nature di accademici sull'IA generativa nella scienza, ha indicato che l'integrazione più profonda e progressiva dell'IA nei flussi di lavoro scientifici è inevitabile.
I partecipanti hanno evidenziato numerosi vantaggi: 66% hanno notato che l'IA consente un'elaborazione più rapida dei dati, 58% ritengono che migliori i calcoli e 55% hanno affermato che fa risparmiare tempo e denaro.
Tuttavia, 53% ritenevano che i risultati potessero essere irreplicabili, 58% erano preoccupati per i pregiudizi e 55% ritenevano che l'IA potesse consentire ricerche fraudolente.
Ne abbiamo osservato la prova quando i ricercatori ha pubblicato un articolo con diagrammi senza senso generati dall'intelligenza artificiale nella rivista Frontiers - un ratto con testicoli giganti, nientemeno. Comico, ma ha mostrato come la revisione paritaria possa non cogliere nemmeno gli usi più evidenti dell'IA.
In definitiva, come ogni strumento, l'IA è sicura ed efficace quanto l'uomo che la utilizza. Un uso incauto, anche se non intenzionale, può portare la scienza fuori strada.
Le nuove linee guida mirano a mantenere "oneste le persone oneste", come ha detto Narayanan.
L'adozione diffusa da parte di ricercatori, revisori e riviste potrebbe stabilire un nuovo standard per l'integrità scientifica nell'era dell'IA.
Tuttavia, costruire il consenso sarà una sfida, soprattutto perché la crisi della riproducibilità è già sotto gli occhi di tutti.
