Des chercheurs des universités britanniques Durham University, University of Surrey et Royal Holloway University of London ont mis au point une technique innovante basée sur l'IA pour extraire les frappes de touches à partir d'enregistrements acoustiques.
Les étude a mis au point une technique permettant de lire les frappes sur les claviers à l'aide d'enregistrements audio.
Cette technique pourrait permettre aux pirates d'analyser les frappes au clavier en prenant le contrôle du microphone d'un appareil et en recueillant des informations personnelles telles que des mots de passe, des conversations privées, des messages et d'autres données sensibles.
Les frappes sont enregistrées par un microphone, puis traitées et analysées par un modèle d'apprentissage automatique qui détermine leur espacement et leur position sur le clavier.
Le modèle peut identifier les frappes individuelles avec un taux de précision choquant de 95% lorsque les frappes sont enregistrées par le microphone d'un téléphone proche. La précision de la prédiction est tombée à 93% lorsque les enregistrements effectués par Zoom ont été utilisés pour entraîner l'algorithme de classification des sons.
Les attaques par piratage acoustique sont devenues de plus en plus sophistiquées en raison de la disponibilité généralisée d'appareils équipés de microphones capables de capter des sons de haute qualité.
Comment fonctionne le modèle ?
L'attaque commence par l'enregistrement des frappes sur le clavier de la cible. Ces données sont cruciales pour l'entraînement de l'algorithme prédictif.
Cet enregistrement peut être réalisé à l'aide d'un microphone situé à proximité ou du téléphone de la cible infecté par un logiciel malveillant et ayant accès à son microphone.
Par ailleurs, un participant malhonnête à un appel Zoom pourrait établir une corrélation entre les messages tapés par la cible et leur enregistrement sonore. Il peut également y avoir des moyens de pirater le microphone de l'ordinateur en utilisant des logiciels malveillants ou des vulnérabilités logicielles.
Les chercheurs ont recueilli des données d'entraînement en appuyant 25 fois sur chacune des 36 touches d'un MacBook Pro moderne et en enregistrant le son produit par chaque pression. Des formes d'ondes et des spectrogrammes ont été produits à partir de ces enregistrements, permettant de visualiser les variations identifiables pour chaque touche.
Un traitement supplémentaire des données a été effectué afin d'améliorer les signaux utilisés pour identifier les frappes.
Ces images de spectrogrammes ont été utilisées pour entraîner "CoAtNet", un classificateur d'images qui attribue différents spectrogrammes audio à différentes frappes.
Pour leurs tests, les chercheurs ont utilisé un ordinateur portable doté d'un clavier similaire à celui des nouveaux ordinateurs portables d'Apple. Les microphones et les méthodes d'enregistrement comprenaient un iPhone 13 Mini placé à 17 cm de la cible, Zoom et Skype.
Le classificateur CoANet a démontré une précision de 95% à partir des enregistrements de smartphones et de 93% à partir de ceux capturés via Zoom. Ils ont également testé les frappes enregistrées via Skype, qui ont donné une précision de 91,7%.
Le document de recherche suggère de modifier les styles de frappe ou d'utiliser des mots de passe aléatoires pour prévenir de telles attaques, mais c'est loin d'être pratique.
D'autres mesures défensives potentielles comprennent l'utilisation d'un logiciel pour reproduire les sons de la frappe, le bruit blanc ou les filtres audio de la frappe basés sur un logiciel. Cependant, l'étude a montré que même un clavier silencieux pouvait être analysé avec succès pour détecter les frappes.
Il s'agit là d'un nouvel exemple de la manière dont l'apprentissage automatique peut permettre à l'Union européenne d'atteindre ses objectifs. des techniques de fraude sophistiquées. A étude récente a constaté que de fausses voix profondes pouvaient tromper jusqu'à 25% de personnes.
Les attaques audio pourraient viser des personnes très en vue, telles que des hommes politiques ou des PDG, afin de voler des informations sensibles ou de lancer des attaques par ransomware basées sur des conversations volées.
