Het trainen van AI-modellen zoals GPT-4 is voornamelijk gebaseerd op datasets die bestaan uit tekst en afbeeldingen. Meta's Ego-Exo4D multimodale waarnemingsdataset biedt datawetenschappers een rijke nieuwe set trainingsgegevens.
Je kunt een nieuwe vaardigheid leren door een boek te lezen, maar het is zoveel makkelijker als iemand je laat zien hoe je iets moet doen terwijl hij het je uitlegt. Dit is het doel dat het FAIR-team (Fundamental Artificial Intelligence Research) van Meta heeft voor Ego-Exo4D.
De dataset bestaat uit video's met een eerste-persoonsperspectief (Ego) en een derde-persoonsperspectief (Exo) van mensen die verschillende vaardige menselijke activiteiten uitvoeren. Dit kan van alles zijn: koken, dansen, muziek maken of een fiets repareren. De gegevens werden verzameld in 13 steden wereldwijd door 839 cameradragers, die 1422 uur aan video vastlegden.
De video's, die gelijktijdig worden gefilmd, worden vervolgens aangevuld met extra gegevens dankzij de Project Aria-bril van Meta.
De Project Aria-bril is een draagbare computer in de vorm van een bril. De bril registreert video en audio van de drager, evenals oogvolg- en locatie-informatie. De bril registreert ook hoofdhoudingen en 3D puntenwolken van de omgeving.
Het resultaat is een dataset van gelijktijdige video's van een taak die wordt uitgevoerd, met eerstepersoonsvertellingen van de cameradragers die hun acties beschrijven en hoofd- en oogtracking van de persoon die de taak uitvoert.
Maak kennis met Ego-Exo4D - een fundamentele dataset en benchmarksuite gericht op vaardige menselijke activiteiten ter ondersteuning van onderzoek naar video-leren en multimodale perceptie. Het is de grootste publieke dataset ooit in zijn soort.
Meer informatie ➡️ https://t.co/82OR4msehv pic.twitter.com/NTI1kdj1RN
- AI bij Meta (@AIatMeta) 4 december 2023
Vervolgens voegde Meta play-by-play-beschrijvingen toe van de acties van elke cameradrager. Meta huurde ook experts in op verschillende gebieden om gesproken commentaar van experts toe te voegen over de manier waarop de persoon in de video de taak uitvoerde.
Door zowel egocentrische als exocentrische beelden te verzamelen, kan de Ego-Exo4D dataset onderzoekers laten zien hoe activiteiten er vanuit verschillende perspectieven uitzien. Dit zou hen uiteindelijk kunnen helpen bij het ontwikkelen van computervisie-algoritmen die vanuit elk perspectief kunnen herkennen wat een persoon aan het doen is.
Ego-Exo4D opent nieuwe leermogelijkheden
Een van de belangrijkste obstakels voor het bereiken van AGI of het efficiënter trainen van robots is het gebrek aan zintuiglijke waarneming dat computers hebben. Als mensen hebben we zoveel zintuiglijke input uit onze omgeving die we vaak als vanzelfsprekend beschouwen als we nieuwe vaardigheden leren.
Ego-Exo4D zal een zeer nuttige bron zijn om deze kloof te helpen overbruggen.
Dr. Gedas Bertasius, assistent-professor aan de faculteit computerwetenschappen van de Universiteit van North Carolina: "Ego-Exo4D gaat niet alleen over het verzamelen van gegevens, het gaat over het veranderen van de manier waarop AI begrijpt, waarneemt en leert. Met mensgericht leren en perspectief kan AI nuttiger worden in ons dagelijks leven en ons bijstaan op manieren die we ons alleen maar kunnen voorstellen."
Meta zegt te hopen dat Ego-Exo4D "robots van de toekomst in staat zal stellen inzicht te krijgen in complexe behendige manipulaties door te kijken naar vaardige menselijke experts in actie".
Deze dataset in combinatie met de Project Aria-bril zal binnenkort ook een echt meeslepende leerervaring voor mensen mogelijk maken. Stel je voor dat je een taak uitvoert terwijl je bril augmented reality (AR) gebruikt om een instructievideo over je heen te leggen of je door je taak heen te praten.
Je zou piano kunnen leren spelen en een visuele overlay krijgen die je laat zien waar je handen moeten bewegen met realtime audio-advies terwijl je het doet. Of je opent de motorkap van je auto en wordt begeleid bij het oplossen en repareren van een motorprobleem.
Het zal interessant zijn om te zien of Meta's Ego How-To leerconcept zal zorgen voor een betere adoptie van de Project Aria-bril dan die van het mislukte Google Glass-product. Er is echter nog niets bekend over wanneer ze te koop zullen zijn.
Meta maakt de Ego-Exo4D dataset beschikbaar voor download voor eind december.
