Forskere fra de britiske universitetene Durham University, University of Surrey og Royal Holloway University of London har utviklet en innovativ AI-støttet teknikk for å trekke ut tastetrykk fra akustiske opptak.
Den studie utviklet en teknikk for å kunne lese tastetrykk fra tastaturer ved hjelp av lydopptak.
Denne teknikken kan gjøre det mulig for hackere å analysere tastetrykk ved å ta over mikrofonen på en enhet og samle inn personlig informasjon som passord, private samtaler, meldinger og andre sensitive data.
Tastetrykk tas opp via en mikrofon og behandles og analyseres av en maskinlæringsmodell (ML) som bestemmer avstanden og plasseringen på tastaturet.
Modellen kan identifisere individuelle tastetrykk med en sjokkerende nøyaktighet på 95% når tastetrykkene tas opp via en telefonmikrofon i nærheten. Nøyaktigheten ble redusert til 93% når opptak gjort via Zoom ble brukt til å trene opp lydklassifiseringsalgoritmen.
Akustiske hackingangrep har blitt stadig mer sofistikerte på grunn av den utbredte tilgjengeligheten av enheter utstyrt med mikrofoner som kan ta opp lyd av høy kvalitet.
Hvordan fungerer modellen?
Angrepet begynner med å registrere tastetrykk på målets tastatur. Disse dataene er avgjørende for å trene opp den prediktive algoritmen.
Dette opptaket kan gjøres ved hjelp av en mikrofon i nærheten eller ved hjelp av målpersonens skadevareinfiserte telefon med tilgang til mikrofonen.
Alternativt kan en useriøs deltaker i en Zoom-samtale korrelere meldinger som er skrevet av målet, med lydopptaket deres. Det kan også være mulig å hacke datamaskinens mikrofon ved hjelp av skadelig programvare eller sårbarheter i programvaren.
Forskerne samlet inn treningsdata ved å trykke 25 ganger på hver av de 36 tastene på en moderne MacBook Pro, og registrere lyden som hvert tastetrykk genererte. Bølgeformer og spektrogrammer ble produsert fra disse opptakene, og visualiserte identifiserbare variasjoner for hver tast.
Ytterligere databehandling ble utført for å forbedre signalene som ble brukt til å identifisere tastetrykk.
Disse spektrogrammene ble brukt til å trene opp "CoAtNet", en bildeklassifiseringsmekanisme som tilordner ulike lydspektrogrammer til ulike tastetrykk.
I testene brukte forskerne en bærbar datamaskin med et tastatur som ligner på nyere bærbare Apple-maskiner. Mikrofoner og opptaksmetoder inkluderte en iPhone 13 Mini plassert 17 cm fra målet, Zoom og Skype.
CoANet-klassifiseringen viste en nøyaktighet på 95% fra smarttelefonopptak og 93% fra opptak gjort via Zoom. De testet også tastetrykk tatt opp via Skype, noe som ga en nøyaktighet på 91,7%.
Forskningsrapporten foreslår å endre skrivestil eller bruke randomiserte passord for å forhindre slike angrep, men det er langt fra praktisk gjennomførbart.
Andre mulige forsvarstiltak kan være å bruke programvare som reproduserer tastetrykkslyder, hvit støy eller programvarebaserte lydfiltre for tastetrykk. Studien viste imidlertid at selv et lydløst tastatur kunne analyseres for tastetrykk.
Dette er et annet nytt eksempel på hvordan maskinlæring kan muliggjøre sofistikerte svindelteknikker. A fersk undersøkelse fant at dype falske lydstemmer kunne lure så mange som 25% av mennesker.
Lydangrep kan rettes mot høyt profilerte personer som politikere og administrerende direktører for å stjele sensitiv informasjon eller starte løsepengevirusangrep basert på stjålne samtaler.
