dr. Arjan van Hessen
TelecatsIk zeg wat u denkt
Je herkent het wel: iemand zit je aan te kijken en zegt: volgens mij denk jij XX, waarna er een betoog komt waarin wordt verteld waar jij net aan zat te denken. Soms klopt dat, maar vaak ook niet en zat je met je gedachten heel ergens anders. Maar zou het nu niet mooi zijn als dit toch zou kunnen? Jij denkt ergens aan en de ander weet dat dan direct? Mmm… Ja, maar persoonlijk houd ik mijn gedachten toch liever voor mezelf, hoor ik u denken.
Luister hier het item terug
Het onderzoek

Spectogram, een rij opeenvolgende weergaves van de frequentieverdelingen in een geluidsignaal. Horizontaal staat de tijd, verticaal de frequenties. Klinkers hebben vooral veel energie in de lagere frequenties, sis-klanken (f,s) vooral veel energie in de hogere frequenties.
Spreekpatronen, Deep Neural Networks (DNNs) en VoCoderparameters
De constatering dat spraak, daadwerkelijk uitgesproken of alleen maar in gedachte uitgesproken, bepaalde patronen in onze hersenen opwekt, is al decennia bekend. Onderscheidende en herkenbare signaal-patronen komen ook naar voren als we naar iemand luisteren die spreekt, of als we ons het luisteren voorstellen. Maar het was tot nu niet gelukt om die patronen echt te vertalen naar begrijpelijk en verstaanbare spraak; dat bleek veel moeilijker dan gedacht.
Hersengolven bestaan deels uit lage en deels uit hoge neurale frequenties en het was de vraag welke de relevante informatie bevatten. De resultaten tonen aan dat een DNN-model dat de VoCoder-parameters direct schat uit alle neurale frequenties, de hoogste subjectieve en objectieve scores haalt op een herkenningstaak.
Het experiment
TOEKOMST
Van cijfers naar woorden naar zinnen
Droom
Het uiteindelijke doel ligt voor de hand: een soort implantaat waarop dit systeem is geïnstalleerd waarmee de verbale gedachten, dat wil zeggen de in gedachten uitgesproken spraak van de drager van zo’n implantaat direct vertaald worden in al-dan-niet uitgesproken woorden. Met dit implantaat zou iedereen die door letsel of ziekte zijn spreekvaardigheid heeft verloren, opnieuw mogelijkheid hebben om verbinding te maken met de wereld om zich heen.
Het uitspreken is handig in een gesprek met andere mensen, maar met dit systeem kun je ook andere dingen doen, zonder de stap van het uitspreken. Zo zou je jouw tekst direct op het scherm kunnen krijgen zonder tussenkomst van een spraakherkenner of zou je de domotica om je heen rechtstreeks opdrachten kunnen geven als “doe de gordijnen dicht” of “zet de thermostaat op 18 oC”.
Vragen
Bronnen
Het oorspronkelijke, nog niet gereviewde artikel "Towards reconstructing intelligible speech from the human auditory cortex" kan hier worden gedownload.
Deze blog is gebaseerd op het oorspronkelijke artikel en een blog hierover op Techxplorer.