Forskare från de brittiska universiteten Durham University, University of Surrey och Royal Holloway University of London har utvecklat en innovativ AI-stödd teknik för att extrahera tangenttryckningar från akustiska inspelningar.
Den studie utvecklat en teknik för att framgångsrikt läsa av tangenttryckningar från tangentbord med hjälp av ljudinspelningar.
Den här tekniken kan göra det möjligt för hackare att analysera tangenttryckningar genom att ta över en enhets mikrofon och samla in personlig information som lösenord, privata konversationer, meddelanden och andra känsliga uppgifter.
Tangenttryckningarna spelas in via en mikrofon och bearbetas och analyseras av en maskininlärningsmodell (ML) som bestämmer deras avstånd och placering på tangentbordet.
Modellen kan identifiera enskilda tangenttryckningar med en chockerande träffsäkerhet på 95% när tryckningarna spelas in via en närliggande telefonmikrofon. Prediktionsnoggrannheten minskade till 93% när inspelningar gjorda via Zoom användes för att träna ljudklassificeringsalgoritmen.
Akustiska hackingattacker har blivit alltmer sofistikerade tack vare den utbredda tillgången på enheter utrustade med mikrofoner som kan fånga upp högkvalitativt ljud.
Hur fungerar modellen?
Attacken börjar med att registrera tangenttryckningar på målets tangentbord. Dessa data är avgörande för att träna den prediktiva algoritmen.
Inspelningen kan göras med hjälp av en mikrofon i närheten eller med hjälp av en telefon som är infekterad med skadlig programvara och som har tillgång till mikrofonen.
Alternativt kan en oseriös deltagare i ett Zoom-samtal korrelera meddelanden som skrivs av målet med deras ljudinspelning. Det kan också finnas sätt att hacka datorns mikrofon med hjälp av skadlig kod eller sårbarheter i programvaran.
Forskarna samlade in träningsdata genom att trycka 25 gånger på var och en av de 36 tangenterna på en modern MacBook Pro och spela in det ljud som varje knapptryckning genererade. Vågformer och spektrogram producerades från dessa inspelningar, vilket visualiserade identifierbara variationer för varje tangent.
Ytterligare databehandling utfördes för att förbättra de signaler som användes för att identifiera tangenttryckningar.
Dessa spektrogrambilder användes för att träna "CoAtNet", en bildklassificerare som tillskriver olika ljudspektrogram till olika tangenttryckningar.
I sina tester använde forskarna en bärbar dator med ett tangentbord som liknar nyare Apple-bärbara datorer. Mikrofoner och inspelningsmetoder inkluderade en iPhone 13 Mini placerad 17 cm bort från målet, Zoom och Skype.
CoANet-klassificeringen visade 95% noggrannhet från smartphone-inspelningar och 93% från inspelningar via Zoom. De testade också tangenttryckningar som spelats in via Skype, vilket gav 91,7% noggrannhet.
I forskningsrapporten föreslås att man ändrar skrivstil eller använder slumpmässiga lösenord för att förhindra sådana attacker, men det är långt ifrån praktiskt.
Andra potentiella försvarsåtgärder är att använda programvara för att återskapa ljudet av tangenttryckningar, vitt brus eller programvarubaserade ljudfilter för tangenttryckningar. Studien visade dock att även ett tyst tangentbord kunde analyseras för tangenttryckningar.
Detta är ytterligare ett nytt exempel på hur maskininlärning kan möjliggöra sofistikerade bedrägeritekniker. A nyligen genomförd studie fann att djupa falska ljudröster kunde lura så många som 25% människor.
Ljudattacker kan riktas mot högprofilerade personer som politiker och VD:ar för att stjäla känslig information eller starta ransomware-attacker baserade på stulna konversationer.
