Os investigadores do MIT descobriram como a utilização do conceito de simetria nos conjuntos de dados pode reduzir o volume de dados necessários para treinar modelos.
Esta descoberta, documentada num estudo recuperável via ArXiv por Behrooz Tahmasebi, um estudante de doutoramento do MIT, e a sua orientadora, Stefanie Jegelka, professora associada do MIT, tem origem num insight matemático de uma lei centenária conhecida como lei de Weyl.
A lei de Weyl, originalmente formulada pelo matemático alemão Hermann Weyl há mais de 110 anos, foi concebida para medir a complexidade da informação espetral, como as vibrações dos instrumentos musicais.
Inspirado por esta lei enquanto estudava equações diferenciais, Tahmasebi viu o seu potencial para reduzir a complexidade da introdução de dados nas redes neuronais. Ao compreender as simetrias inerentes a um conjunto de dados, um modelo de aprendizagem automática poderia tornar-se mais eficiente e mais rápido sem adicionar mais dados numericamente.
O artigo de Tahmasebi e Jegelka explica como a exploração de simetrias, ou "invariâncias", em conjuntos de dados pode simplificar as tarefas de aprendizagem automática, exigindo, por sua vez, menos dados de treino.
Isto parece muito complexo, mas o princípio é relativamente simples. Por exemplo, pense na letra "X" - quer a rode ou inverta, continua a parecer um "X". Na aprendizagem automática, quando os modelos compreendem esta ideia, podem aprender de forma mais eficiente. Percebem que, mesmo que uma imagem de um gato seja virada ao contrário ou espelhada, continua a mostrar um gato.
Isto ajuda o modelo a utilizar melhor os seus dados, aprendendo com cada exemplo de várias formas e reduzindo a necessidade de uma grande quantidade de dados para obter resultados exactos.
No entanto, este estudo vai mais longe do que a simetria num sentido convencional. As invariâncias do Kernel Ridge Regression (KRR) abrangem transformações simétricas como rotações, reflexões e outras características dos dados que permanecem inalteradas sob operações específicas.
"Tanto quanto sei, esta é a primeira vez que a lei de Weyl é utilizada para determinar como a aprendizagem automática pode ser melhorada pela simetria", afirmou Tahmasebi.
A investigação foi inicialmente apresentada na conferência Neural Information Processing Systems de dezembro de 2023.
Isto é particularmente importante em domínios como a química computacional e a cosmologia, em que os dados de qualidade são limitados. Dados esparsos são comuns em domínios em que os conjuntos de dados são excecionalmente grandes, mas, na realidade, os dados úteis dentro desses conjuntos são muito limitados.
Por exemplo, na vastidão do espaço, pode encontrar-se uma pequena partícula de dados úteis num mar insondavelmente grande de nada - por isso, é preciso fazer com que essa partícula de dados funcione - e a simetria é uma ferramenta útil para o conseguir.
Soledad Villar, matemática aplicada da Universidade Johns Hopkins, referiu-se ao estudo: "Os modelos que satisfazem as simetrias do problema não só estão correctos como também podem produzir previsões com erros menores, utilizando uma pequena quantidade de pontos de treino".
Benefícios e resultados
Os investigadores identificaram dois tipos de melhorias decorrentes da utilização de simetrias: um aumento linear, em que a eficiência aumenta proporcionalmente à simetria, e um ganho exponencial, que oferece um benefício desproporcionalmente grande quando se trata de simetrias que abrangem várias dimensões.
"Esta é uma nova contribuição que basicamente nos diz que as simetrias de dimensão superior são mais importantes porque podem dar-nos um ganho exponencial", explicou Tahmasebi.
Vamos analisar melhor esta questão:
- Utilizar simetrias para melhorar os dados: Ao reconhecer padrões ou simetrias nos dados (por exemplo, o facto de um objeto ter o mesmo aspeto mesmo quando rodado ou invertido), um modelo de aprendizagem automática pode aprender como se tivesse mais dados do que tem na realidade. Esta abordagem aumenta a eficiência do modelo, permitindo-lhe aprender mais com menos.
- Simplificar a tarefa de aprendizagem: A sua segunda descoberta tem a ver com o facto de facilitar as funções do modelo, concentrando-se nestas simetrias. Uma vez que o modelo aprende a ignorar as alterações que não interessam (como a posição ou a orientação de um objeto), tem de lidar com informações menos complicadas. Isto significa que o modelo pode obter bons resultados com menos exemplos, acelerando o processo de aprendizagem e melhorando o desempenho.
Haggai Maron, um cientista informático do Technion e da NVIDIA, elogiou o trabalho pela sua perspetiva inovadora, informando o MITEsta contribuição teórica dá apoio matemático ao subcampo emergente da "Aprendizagem Profunda Geométrica".
Os investigadores destacam diretamente o potencial impacto na química computacional, onde os princípios do seu estudo poderiam acelerar os processos de descoberta de medicamentos, por exemplo.
Ao explorar as simetrias das estruturas moleculares, os modelos de aprendizagem automática podem prever interacções e propriedades com menos pontos de dados, tornando o rastreio de potenciais compostos medicamentosos mais rápido e eficiente.
As simetrias também podem ajudar na análise de fenómenos cósmicos, onde os conjuntos de dados são extremamente grandes, mas escassamente povoados por dados úteis.
Os exemplos podem incluir a utilização de simetrias para estudar a radiação cósmica de fundo em micro-ondas ou a estrutura das galáxias para extrair mais conhecimentos a partir de dados limitados.
