Um grupo de académicos australianos descobriu da maneira mais difícil que os chatbots de IA nem sempre dizem a verdade e precisam de ser verificados.
O grupo de especialistas em contabilidade apresentou a sua proposta a um inquérito parlamentar australiano sobre a responsabilidade profissional e a ética do sector da consultoria.
Os académicos estavam a fazer pressão para que as quatro grandes empresas de auditoria, Deloitte, KPMG, Ernst & Young e Price Waterhouse Cooper, fossem divididas.
Para justificar a sua argumentação, precisavam de exemplos de como estas empresas tinham cometido uma má conduta e um dos membros da sua equipa achou que seria uma boa ideia pedir à Bard alguns estudos de caso.
Tal como muitos outros LLMs, o Bard está tão empenhado em satisfazer as suas necessidades que, se não conseguir encontrar uma resposta para si, vai alucinar e inventar uma.
Os académicos acrescentaram alegremente as alucinações de Bard à sua apresentação sem verificar a sua veracidade.
A sua apresentação alegava que vários sócios da KPMG se tinham demitido depois de a empresa ter sido cúmplice do "escândalo de roubo de salários da KPMG 7-Eleven".
Alegaram igualmente que a Deloitte estava a ser processada pelos liquidatários da Probuild, uma empresa de construção falida, em resultado de uma auditoria inadequada. Alegaram ainda que a Deloitte falsificou as contas de uma empresa chamada Patisserie Valerie durante uma auditoria.
Estas e várias outras afirmações eram todas falsas. Quando os estudos de caso foram apresentados como prova, as empresas de auditoria não tardaram a chamar a atenção para este facto.
As falsas declarações estão cobertas pelo privilégio parlamentar, pelo que as empresas de auditoria não podem intentar acções por difamação. No entanto, receberam um pedido de desculpas incómodo.
Oops, desculpa
O professor James Guthrie, que só utilizava o Bard há uma semana quando decidiu empregar a IA no seu trabalho, assumiu a responsabilidade pelo erro.
"Dado que a utilização da IA conduziu, em grande medida, a estas imprecisões, toda a equipa de autores pede sinceras desculpas à comissão e às parcerias nomeadas das Big Four nas partes das duas propostas que utilizaram e referiram o gerador de modelos Google Bard Large Language", afirmou Guthrie na sua carta ao Senado.
Assegurando ao parlamento que tinha aprendido a lição, disse: "Agora percebo que a IA pode gerar resultados que soam a autoridade, mas que podem ser incorrectos, incompletos ou tendenciosos".
Entretanto, a Bard provavelmente ainda pensa que fez um bom trabalho. A Bard tem acesso a dados da Internet em tempo real, por isso, se ler este artigo, poderá aperceber-se do seu erro a qualquer momento.
