Wetenschappers van de Universiteit van Bonn, onder leiding van professor Dr. Jürgen Bajorath, hebben de innerlijke werking blootgelegd van 'black box' AI's die betrokken zijn bij farmaceutisch onderzoek.
Hun onderzoekdat onlangs is gepubliceerd in Nature Machine Intelligence, onthult dat AI-modellen bij het ontdekken van medicijnen voornamelijk afhankelijk zijn van het ophalen van bestaande gegevens in plaats van het leren van nieuwe chemische interacties. Dit stelt eerdere aannames over hoe AI voorspellingen doet op dit gebied op de proef.
Onderzoekers gebruiken machine learning om moleculen te vinden die een effectieve interactie aangaan met doeleiwitten, waarbij vaak wordt voorspeld welke moleculen sterk zullen binden aan doeleiwitten, gevolgd door experimentele validatie van deze voorspellingen.
Deze vorm van AI-ondersteunde ontdekking van geneesmiddelen kende belangrijke doorbraken in 2023, waaronder een Door MIT ontwikkeld model dat miljoenen verbindingen analyseerde op potentiële therapeutische effecten, ontdekte AI geneesmiddelen met veelbelovend in het vertragen van verouderingen AI-gegenereerde eiwitten met uitstekende bindkracht.
De vraag die Bajorath en het team probeerden te beantwoorden is: hoe bereiken sommige van deze modellen hun resultaten?
Het onderzoeksteam richtte zich op Graph Neural Networks (GNN's), een type toepassing voor machinaal leren die veel wordt gebruikt bij het ontdekken van geneesmiddelen. GNN's worden getraind met behulp van grafieken die potentiële interacties tussen geneesmiddelen weergeven.
Maar, zoals Prof. Bajorath opmerkt: "Hoe GNN's tot hun voorspellingen komen is als een zwarte doos waar we geen blik in kunnen werpen."
Om dit proces volledig te ontrafelen, analyseerde het team zes verschillende GNN-architecturen. Andrea Mastropietro, auteur van het onderzoek en promovendus aan de Sapienza Universiteit in Rome, stelt: "De GNN's zijn erg afhankelijk van de data waarmee ze getraind zijn."
De onderzoekers ontdekten dat de GNN's voornamelijk vertrouwen op chemische overeenkomsten uit hun trainingsgegevens om voorspellingen te doen in plaats van specifieke interacties te leren tussen verbindingen en eiwitten.
Dit betekent in wezen dat de AI-modellen vaak nieuwe interacties "onthouden" in plaats van "leren".
Het "slimme Hans-effect" in AI
Onderzoekers vergelijken dit fenomeen met het "slimme Hans-effect", waarbij een paard lijkt te rekenen door subtiele aanwijzingen van zijn begeleider te interpreteren in plaats van wiskunde te begrijpen.
Op dezelfde manier hebben de voorspellingen van de AI meer te maken met het oproepen van bekende gegevens dan met het begrijpen van complexe chemische interacties.
De bevindingen suggereren dat het vermogen van GNNs om chemische interacties te leren overschat wordt, en dat eenvoudigere methoden even effectief zouden kunnen zijn.
Sommige GNN's toonden echter potentieel in het leren van meer interacties, wat aangeeft dat verbeterde trainingstechnieken hun prestaties zouden kunnen verbeteren.
Prof. Bajorath's Het team ontwikkelt ook methoden om de functionaliteit van AI-modellen te verduidelijken in het streven naar "verklaarbare AI", een opkomend gebied om de besluitvormingsprocessen van AI transparant en begrijpelijk te maken.
