A IA está a transformar a investigação científica, mas sem uma orientação adequada, pode fazer mais mal do que bem.
Esta é a conclusão apontada por um novo documento publicada na revista Science Advances por uma equipa interdisciplinar de 19 investigadores liderada pelos cientistas informáticos da Universidade de Princeton Arvind Narayanan e Sayash Kapoor.
A equipa argumenta que a utilização indevida da aprendizagem automática nas disciplinas científicas está a alimentar uma crise de reprodutibilidade que ameaça minar os próprios fundamentos da ciência.
"Quando passamos dos métodos estatísticos tradicionais para os métodos de aprendizagem automática, há um número muito maior de formas de dar um tiro no pé". afirmou Narayananque dirige o Centro de Política de Tecnologia da Informação de Princeton.
"Se não houver uma intervenção para melhorar as nossas normas científicas e as normas de comunicação no que diz respeito à ciência baseada na aprendizagem automática, arriscamo-nos a que não seja apenas uma disciplina, mas muitas disciplinas científicas diferentes voltem a descobrir estas crises, uma após outra".
Segundo os autores, o problema reside no facto de a aprendizagem automática ter sido rapidamente adoptada por quase todos os domínios científicos, muitas vezes sem normas claras que garantam a integridade e a reprodutibilidade dos resultados.
Salientam que tJá foram publicados milhares de artigos que utilizam métodos de aprendizagem automática incorrectos.
Mas a equipa liderada por Princeton afirma que ainda há tempo para evitar esta crise iminente. Apresentaram uma lista de verificação simples de boas práticas que, se forem amplamente adoptadas, poderão salvaguardar a fiabilidade da aprendizagem automática na ciência.
A lista de controlo, denominada REFORMS (Recommendations for Machine-learning-based Science), é composta por 32 perguntas em oito áreas-chave:
- Objectivos do estudo: Indicar claramente a afirmação científica que está a ser feita e a forma como a aprendizagem automática será utilizada para a apoiar. Justificar a escolha da aprendizagem automática em vez dos métodos estatísticos tradicionais.
- Reprodutibilidade computacional: Fornecer o código, os dados, as especificações do ambiente de computação, a documentação e um guião de reprodução necessários para que outros possam reproduzir os resultados do estudo de forma independente.
- Qualidade dos dados: Documentar as fontes de dados, a base de amostragem, as variáveis de resultados, a dimensão da amostra e a quantidade de dados em falta. Justificar que o conjunto de dados é adequado e representativo da questão científica.
- Pré-processamento de dados: Informe como os dados foram limpos, transformados e divididos em conjuntos de treino e de teste. Forneça uma justificação para quaisquer dados que tenham sido excluídos.
- Modelação: Descrever e justificar todos os modelos experimentados, o método utilizado para selecionar o(s) modelo(s) final(is) e o processo de afinação dos hiperparâmetros. Comparar o desempenho com as linhas de base adequadas.
- Fuga de dados: Verificar se o processo de modelação não utilizou inadvertidamente informações provenientes dos dados de teste e se as características de entrada não dão origem a fugas no resultado.
"Este é um problema sistemático com soluções sistemáticas", explica Kapoor.
No entanto, os custos de um erro poderá ser imenso. Uma ciência deficiente pode afundar a investigação promissora, desencorajar os investigadores e corroer a confiança do público na ciência.
Investigações anteriores, tais como Inquérito em grande escala da natureza de académicos sobre a IA generativa na ciência, indicou que a integração mais profunda e progressiva da IA nos fluxos de trabalho científicos é inevitável.
Os participantes destacaram muitos benefícios - 66% observaram que a IA permite um processamento de dados mais rápido, 58% acreditam que melhora os cálculos e 55% afirmaram que poupa tempo e dinheiro.
No entanto, 53% consideraram que os resultados poderiam não ser reproduzíveis, 58% preocuparam-se com a parcialidade e 55% consideraram que a IA poderia permitir investigação fraudulenta.
Observámos provas deste facto quando os investigadores publicou um artigo com diagramas sem sentido gerados por IA na revista Frontiers - um rato com testículos gigantes, nada menos. Foi cómico, mas mostrou como a revisão por pares pode nem sequer detetar utilizações de IA claramente óbvias.
Em última análise, como qualquer ferramenta, a IA só é tão segura e eficaz quanto o ser humano que a utiliza. Uma utilização descuidada, mesmo que não intencional, pode desviar a ciência do seu objetivo.
As novas directrizes têm como objetivo manter "as pessoas honestas honestas", como disse Narayanan.
A adoção generalizada por investigadores, revisores e revistas poderá estabelecer um novo padrão de integridade científica na era da IA.
No entanto, a construção de um consenso será um desafio, especialmente porque a crise da reprodutibilidade já está a passar despercebida.
