Des chercheurs du MIT ont découvert comment l'exploitation du concept de symétrie dans les ensembles de données peut réduire le volume de données nécessaires à la formation des modèles.
Cette découverte, documentée dans une étude récupérable via ArXiv par Behrooz Tahmasebi, doctorant au MIT, et sa conseillère, Stefanie Jegelka, professeur associé au MIT, trouve son origine dans une intuition mathématique issue d'une loi centenaire connue sous le nom de loi de Weyl.
La loi de Weyl, formulée à l'origine par le mathématicien allemand Hermann Weyl il y a plus de 110 ans, a été conçue pour mesurer la complexité des informations spectrales, telles que les vibrations des instruments de musique.
Inspiré par cette loi alors qu'il étudiait les équations différentielles, Tahmasebi a vu son potentiel pour réduire la complexité des données introduites dans les réseaux neuronaux. En comprenant les symétries inhérentes à un ensemble de données, un modèle d'apprentissage automatique pourrait être rendu plus efficace et plus rapide sans ajouter de données numériques supplémentaires.
L'article de Tahmasebi et Jegelka explique comment l'exploitation des symétries, ou "invariances", dans les ensembles de données peut simplifier les tâches d'apprentissage automatique, ce qui nécessite moins de données de formation.
Cela semble très complexe, mais le principe est relativement simple. Par exemple, pensez à la lettre "X" : que vous la fassiez pivoter ou que vous la retourniez, elle ressemble toujours à un "X". Dans le domaine de l'apprentissage automatique, lorsque les modèles comprennent cette idée, ils peuvent apprendre plus efficacement. Ils se rendent compte que même si l'image d'un chat est retournée ou reflétée, elle représente toujours un chat.
Cela permet au modèle de mieux utiliser ses données, d'apprendre de chaque exemple de multiples façons et de réduire la nécessité de disposer d'une grande quantité de données pour obtenir des résultats précis.
Toutefois, cette étude va plus loin que la symétrie au sens conventionnel du terme. Les invariances de la régression Kernel Ridge (KRR) englobent les transformations symétriques telles que les rotations, les réflexions et d'autres caractéristiques des données qui restent inchangées dans le cadre d'opérations spécifiques.
"À ma connaissance, c'est la première fois que la loi de Weyl est utilisée pour déterminer comment l'apprentissage automatique peut être amélioré par la symétrie", a déclaré M. Tahmasebi.
La recherche a été initialement présentée lors de la conférence Neural Information Processing Systems de décembre 2023.
Cela est particulièrement important dans des domaines tels que la chimie computationnelle et la cosmologie, où les données de qualité sont limitées. Les données éparses sont courantes dans des domaines où les ensembles de données sont exceptionnellement vastes, alors qu'en réalité, les données utiles contenues dans ces ensembles sont très limitées.
Par exemple, dans l'immensité de l'espace, vous pourriez trouver une minuscule parcelle de données utiles dans une mer de néant d'une taille insondable - Il faut donc faire en sorte que ce point de données fonctionne - et la symétrie est un outil utile pour y parvenir.
Soledad Villar, mathématicienne appliquée à l'université Johns Hopkins, a déclaré à propos de l'étude : "Les modèles qui satisfont aux symétries du problème sont non seulement corrects, mais ils peuvent également produire des prédictions avec des erreurs plus faibles, en utilisant un petit nombre de points d'entraînement."
Avantages et résultats
Les chercheurs ont identifié deux types d'améliorations résultant de l'utilisation des symétries : un gain linéaire, où l'efficacité augmente proportionnellement à la symétrie, et un gain exponentiel, qui offre un avantage disproportionné lorsqu'il s'agit de symétries couvrant plusieurs dimensions.
"Il s'agit d'une nouvelle contribution qui nous dit essentiellement que les symétries de dimension supérieure sont plus importantes parce qu'elles peuvent nous apporter un gain exponentiel", a expliqué M. Tahmasebi.
Voyons cela plus en détail :
- Utiliser les symétries pour améliorer les données: En reconnaissant des modèles ou des symétries dans les données (comme l'aspect identique d'un objet même lorsqu'il est tourné ou retourné), un modèle d'apprentissage automatique peut apprendre comme s'il disposait de plus de données qu'il n'en a en réalité. Cette approche accroît l'efficacité du modèle, lui permettant d'apprendre davantage à partir de moins de données.
- Simplifier la tâche d'apprentissage: Leur deuxième découverte consiste à faciliter les fonctions du modèle en se concentrant sur ces symétries. Comme le modèle apprend à ignorer les changements qui n'ont pas d'importance (comme la position ou l'orientation d'un objet), il doit traiter des informations moins compliquées. Cela signifie que le modèle peut obtenir de bons résultats avec moins d'exemples, ce qui accélère le processus d'apprentissage et améliore les performances.
Haggai Maron, informaticien au Technion et chez NVIDIA, a salué le travail pour sa nouvelle perspective, dire au MITCette contribution théorique apporte un soutien mathématique au sous-domaine émergent de l'"apprentissage profond géométrique".
Les chercheurs soulignent directement l'impact potentiel sur la chimie computationnelle, où les principes de leur étude pourraient accélérer les processus de découverte de médicaments, par exemple.
En exploitant les symétries des structures moléculaires, les modèles d'apprentissage automatique peuvent prédire les interactions et les propriétés avec moins de points de données, ce qui rend le criblage de composés médicamenteux potentiels plus rapide et plus efficace.
Les symétries pourraient également faciliter l'analyse des phénomènes cosmiques, où les ensembles de données sont extrêmement vastes mais peu peuplés de données utiles.
On peut citer comme exemple l'exploitation des symétries pour étudier le rayonnement cosmique de fond ou la structure des galaxies afin d'obtenir davantage d'informations à partir de données limitées.
