I ricercatori del MIT hanno scoperto come, sfruttando il concetto di simmetria all'interno dei set di dati, si possa ridurre il volume di dati necessari per l'addestramento dei modelli.
Questa scoperta, documentata in uno studio recuperabile tramite ArXiv di Behrooz Tahmasebi, uno studente di dottorato del MIT, e del suo consulente, Stefanie Jegelka, professore associato del MIT, è radicata in un'intuizione matematica di una legge secolare nota come legge di Weyl.
La legge di Weyl, formulata originariamente dal matematico tedesco Hermann Weyl oltre 110 anni fa, è stata concepita per misurare la complessità delle informazioni spettrali, come le vibrazioni degli strumenti musicali.
Ispirato da questa legge mentre studiava le equazioni differenziali, Tahmasebi ne ha visto il potenziale per ridurre la complessità dei dati immessi nelle reti neurali. Comprendendo le simmetrie insite in un insieme di dati, un modello di apprendimento automatico potrebbe essere reso più efficiente e veloce senza aggiungere altri dati numerici.
L'articolo di Tahmasebi e Jegelka spiega come sfruttare le simmetrie, o "invarianze", all'interno degli insiemi di dati possa semplificare le attività di apprendimento automatico, richiedendo a sua volta meno dati di addestramento.
Sembra molto complesso, ma il principio è relativamente semplice. Si pensi, ad esempio, alla lettera "X": che la si ruoti o la si capovolga, continua a sembrare una "X". Nell'apprendimento automatico, quando i modelli comprendono questa idea, possono imparare in modo più efficiente. Si rendono conto che anche se l'immagine di un gatto viene capovolta o specchiata, mostra comunque un gatto.
Questo aiuta il modello a fare un uso migliore dei suoi dati, imparando da ogni esempio in più modi e riducendo la necessità di un'enorme quantità di dati per ottenere risultati accurati.
Tuttavia, questo studio va oltre la simmetria in senso convenzionale. Le invarianze della Kernel Ridge Regression (KRR) comprendono trasformazioni simmetriche come rotazioni, riflessioni e altre caratteristiche dei dati che rimangono invariate con operazioni specifiche.
"Per quanto ne so, questa è la prima volta che la legge di Weyl viene utilizzata per determinare come l'apprendimento automatico possa essere potenziato dalla simmetria", ha dichiarato Tahmasebi.
La ricerca è stata inizialmente presentata alla conferenza Neural Information Processing Systems del dicembre 2023.
Questo è particolarmente importante in campi come la chimica computazionale e la cosmologia, dove i dati di qualità sono limitati. I dati sparsi sono comuni in campi in cui gli insiemi di dati sono eccezionalmente grandi, ma in realtà i dati utili all'interno degli insiemi sono molto limitati.
Per esempio, nell'immensità dello spazio, si può trovare un minuscolo granello di dati utili in un mare insondabilmente grande di nulla. - quindi bisogna far funzionare quel granello di dati e la simmetria è uno strumento utile per raggiungere questo obiettivo.
Soledad Villar, matematico applicato della Johns Hopkins University, ha commentato lo studio: "I modelli che soddisfano le simmetrie del problema non solo sono corretti, ma possono anche produrre previsioni con errori minori, utilizzando una piccola quantità di punti di addestramento".
Vantaggi e risultati
I ricercatori hanno identificato due tipi di miglioramenti derivanti dall'utilizzo delle simmetrie: un incremento lineare, in cui l'efficienza aumenta in proporzione alla simmetria, e un guadagno esponenziale, che offre un vantaggio sproporzionato quando si tratta di simmetrie che abbracciano più dimensioni.
"Questo è un nuovo contributo che ci dice sostanzialmente che le simmetrie di dimensioni più elevate sono più importanti perché possono darci un guadagno esponenziale", ha spiegato Tahmasebi.
Analizziamo ulteriormente la questione:
- Utilizzare le simmetrie per migliorare i dati: Riconoscendo schemi o simmetrie nei dati (come l'aspetto identico di un oggetto anche se ruotato o capovolto), un modello di apprendimento automatico può imparare come se avesse più dati di quanti ne abbia in realtà. Questo approccio aumenta l'efficienza del modello, consentendogli di imparare di più da meno dati.
- Semplificare il compito di apprendimento: La seconda scoperta consiste nel facilitare le funzioni del modello concentrandosi su queste simmetrie. Poiché il modello impara a ignorare i cambiamenti che non hanno importanza (come la posizione o l'orientamento di un oggetto), deve gestire informazioni meno complicate. Ciò significa che il modello può ottenere buoni risultati con un minor numero di esempi, accelerando il processo di apprendimento e migliorando le prestazioni.
Haggai Maron, scienziato informatico del Technion e di NVIDIA, ha lodato il lavoro per la sua prospettiva innovativa, raccontando al MITQuesto contributo teorico fornisce un supporto matematico al sottocampo emergente del "Geometric Deep Learning".
I ricercatori sottolineano direttamente l'impatto potenziale nella chimica computazionale, dove i principi del loro studio potrebbero accelerare i processi di scoperta dei farmaci, ad esempio.
Sfruttando le simmetrie delle strutture molecolari, i modelli di apprendimento automatico possono prevedere interazioni e proprietà con un minor numero di dati, rendendo più rapido ed efficiente lo screening di potenziali composti farmacologici.
Le simmetrie potrebbero anche aiutare ad analizzare i fenomeni cosmici, dove le serie di dati sono estremamente grandi ma scarsamente popolate da dati utili.
Gli esempi potrebbero includere lo sfruttamento delle simmetrie per lo studio della radiazione cosmica di fondo a microonde o della struttura delle galassie per estrarre maggiori informazioni da dati limitati.
