Onderzoekers van de Universiteit van Washington hebben een AI-systeem ontwikkeld waarmee hoofdtelefoons met ruisonderdrukking een enkele stem in een drukke, lawaaiige omgeving kunnen isoleren en versterken.
De technologie, genaamd Target Speech Hearing (TSH), stelt gebruikers in staat om een specifieke persoon te selecteren om naar te luisteren door simpelweg een paar seconden naar die persoon te kijken.
Het TSH-systeem pakt een veelvoorkomend probleem aan waar hoofdtelefoons met ruisonderdrukking mee te maken hebben: hoewel ze effectief omgevingsgeluid onderdrukken, doen ze dat lukraak, waardoor het voor gebruikers moeilijk is om specifieke geluiden te horen waarop ze zich misschien willen concentreren.
Zoals Shyam Gollakota, een professor aan de Universiteit van Washington en de hoofdonderzoeker van het project, legt uitLuisteren naar specifieke mensen is zo'n fundamenteel aspect van hoe we communiceren en hoe we omgaan met andere mensen. Maar het kan een hele uitdaging zijn, zelfs als je geen gehoorverlies hebt, om je in lawaaierige situaties op specifieke mensen te concentreren."
Hoe het werkt
De onderzoek combineert op slimme wijze ruisonderdrukkende hoofdtelefoons en AI om individuele stemmen op te sporen in luide en drukke omgevingen.
- Tijdens de "registratie"-fase kijkt de gebruiker een paar seconden naar de doelspreker, zodat de binaurale microfoons op de hoofdtelefoon een audiomonster kunnen opnemen met de stemkenmerken van de spreker, zelfs in de aanwezigheid van andere sprekers en geluiden.
- Het opgevangen binauraal signaal wordt verwerkt door een neuraal netwerk dat de karakteristieken van de doelspreker leert en zijn stem scheidt van storende sprekers met behulp van richtingsinformatie.
- De geleerde kenmerken van de doelspreker, voorgesteld als een inbeddingsvector, worden dan ingevoerd in een ander neuraal netwerk dat ontworpen is om de doelspraak te extraheren uit een kakofonie van sprekers.
- Zodra de kenmerken van de doelspreker zijn geleerd tijdens de aanmeldingsfase, kan de gebruiker in elke richting kijken, zijn hoofd bewegen of rondlopen terwijl hij de doelspreker blijft horen.
- Het TSH-systeem verwerkt continu de binnenkomende audio en gebruikt de geleerde luidsprekerinbedding om de stem van de doelspreker te isoleren en te versterken terwijl andere stemmen en achtergrondruis worden onderdrukt.
Het huidige prototype kan alleen effectief een gerichte spreker inschrijven wiens stem het luidst is in een bepaalde richting, maar het team werkt aan waardoor het systeem complexere scenario's met diverse, gevarieerde audiobronnen aankan.
Samuele Cornell, onderzoeker aan het Language Technologies Institute van de Carnegie Mellon University, prijst het onderzoek om de duidelijke toepassingen in de echte wereld: "Ik denk dat het een stap in de goede richting is. Het is een frisse wind."
Hoewel het TSH-systeem op dit moment nog een proof of concept is, zijn de onderzoekers in gesprek om de technologie in te bouwen in populaire merken ruisonderdrukkende oordopjes en om het beschikbaar te maken voor hoortoestellen.
Samen met verbeterde audio- en spraakanalyse, die een sprong voorwaarts maakte met GPT-4okunnen mensen met zowel visuele als auditieve beperkingen beter contact maken met de zintuiglijke wereld om hen heen.
