Nicht-invasive Gehirn-Schnittstelle rekonstruiert Sprache aus MRT-Bildern

„Dieser Sprachdecoder arbeitet nicht-invasiv, das heißt, man braucht keine Elektroden ins Gehirn einzubringen (keine invasive Neurochirurgie notwendig wie beispielsweise bei Neuralink). Invasive Sprachdecoder (mit Elektroden im Gehirn) sind prinzipiell den nicht-invasiven Verfahren (fMRI, EEG/MEG, fNIRS) überlegen, da Elektroden-Ableitungen die beste raum-zeitliche Information erfassen können, nämlich direkt Spikes von Einzel-Neuronen oder die Messung von sehr lokalen elektrischen Feldpotenzialen in der Nachbarschaft einer Elektrode. Solche invasiven elektrischen Ableitungen haben sowohl eine extrem hohe zeitliche Auflösung (besser als Millisekunden) als auch eine extrem hohe räumliche Auflösung (Mikrometer bis Millimeter). Allerdings kann man Elektroden (noch?) nicht im ganzen Gehirn oder in sehr großen Teilen (wie den drei sprach-relevanten Regionen im Artikel) implantieren. Heute ist die Implantation von 1000 bis 10.000 Elektroden state-of-the-art und für große Hirnbereiche wären sicher Hunderttausende Elektroden notwendig.“

„Von den nicht-invasiven Verfahren liefert die fMRT die besten Daten für ,decoding‘-BCIs – wir verwenden es selbst in meinem Labor als unser Hauptverfahren für ‚wissenschaftliche‘ BCIs. FMRT-BCIs sind sehr wichtig für die Forschung, sie sind aber leider nicht ,alltagstauglich‘, da man dazu Patienten oder Probanden für jede BCI-Anwendung (Training oder Anwendung) jedes Mal in einen Scanner legen muss. Man kann solche BCIs also nicht am Krankenbett oder zu Hause verwenden.“

„Der in der Studie präsentierte Decoder muss zunächst die Beziehung zwischen Sprachsemantik und Gehirnaktivität lernen, um dann später bei neuen Texten die gemessene Gehirnaktivität den wahrscheinlichsten Phrasen zuordnen zu können. Da Gehirne zwar grob ähnlich aufgebaut sind, aber auf der Ebene einer Auflösung von ein paar Millimetern doch recht verschieden sind, muss die Relation zwischen Sprachsegmenten und Hirnaktivitätsmustern individuell für jeden Probanden erstellt werden und das braucht viele Stunden Training.“

„Der Decoder arbeitet nicht mit akustischer Information (gehörter Sprache) als Eingabe, sondern mit einer bereits umkodierten (aufbereiteten) semantischen Sprachinformation wozu ein Sprachmodell (GPT-1) verwendet wurde (invasive Decoder können direkt mit gehörter Sprachinformation arbeiten). Es werden demnach keine Wörter in den Decoder eingespeist, sondern Abfolgen von semantisch kodierten Wort-Repräsentationen (,Vektoren‘).“

„Eine zentrale Idee der Arbeit war es, ein KI-Sprachmodell zu benutzen, um die Anzahl der möglichen Phrasen, die mit einem Hirnaktivitätsmuster im Einklang stehen, stark zu reduzieren. Das ist ein bisschen wie ChatGPT: auf der Basis der vergangenen Wörter und Sätzen wird das Wort/die Phrase vorgeschlagen, die am besten zum semantischen Kontext passt. Man könnte vielleicht auch sagen, dass die Verwendung eines KI-Sprachmodells die Schwäche der fMRT – die geringe zeitliche Auflösung – ganz gut ,kaschieren‘ kann. Das ist ein bisschen so, als wenn man in Word falsch geschriebene Wörter auf der Basis einer Wortdatenbank korrigieren lässt.“

„Der Decoder war dahingehend erfolgreich, dass viele ausgewählte Phrasen bei neuen (nicht trainierten) Geschichten Wörter des Originaltextes enthielten, oder zumindest einen ähnlichen Bedeutungsgehalt aufwiesen. Es gab aber auch recht viele Fehler, was für ein vollwertiges BCI sehr schlecht ist, da es für kritische Anwendungen (zum Beispiel Kommunikation bei Locked-In-Patienten) vor allem darauf ankommt, keine falschen Aussagen zu generieren.“

Auf die Frage, inwiefern der Sprachdecoder in der Lage war, die Bedeutung von imaginären Geschichten und Stummfilmen vorherzusagen, und welche Bedeutung dies für die zukünftige Anwendung dieser Technologie hat:
„Dieser Teil war eher explorativ mit wenig Daten, die auch nicht sehr überzeugend sind (viel mehr Fehler). Hier müssen erst zukünftige volle Studien zeigen, ob ein fMRI-BCI für solche Anwendungen wirklich taugt (neben den praktischen Erwägungen der fMRT).“

„Wie zuvor dargelegt, ,passen‘ Gehirne auf der Ebene von Voxeln (3D-Pixel) im Bereich von Millimetern nicht gut ,aufeinander‘, sodass ein Decoder, der auf Proband A trainiert wurde, nicht sehr gut bei Proband B funktionieren wird (wie auch im Artikel gezeigt). Dies hat den Vorteil, dass man nicht ,ungewollt‘ Gedanken auslesen kann, denn ein neuer Proband muss sich erst mal bereit erklären, in einem fMRT-Scanner viele Stunden (in mehreren Sitzungen) Geschichten aktiv zuzuhören. Danach müsste er bereit sein – wieder in einem fMRT-Scanner –, aktiv mitzumachen und (leise) zu sprechen. Nur wenn das alles gegeben ist, könnten Außenstehende mehr oder wenige richtige Phrasen ,auslesen‘. Falls die Person augenscheinlich all das mitmacht, aber dann doch in Gedanken eine andere Aufgabe macht, würde das ,ungewollte Abhören‘ dennoch nicht funktionieren.“

„Anwendungen des nicht-invasiven Sprachdecoders benötigen daher die volle Bereitschaft an einer langen Serie unbequemer Experimente teilzunehmen, mit der Bereitschaft auch mental aktiv mitzuarbeiten. Es ist also quasi unmöglich, dass sich jemand heimlich mit dem nicht-invasiven Sprachdecoder Zutritt in die Gedankenwelt einer Person verschaffen kann.“

„Sicher sollten generell Regeln aufgestellt werden, wie wir BCIs in der Zukunft einsetzen möchten und wie wir unsere Privatsphäre dabei schützen können, aber potenzielle Gefahren werden sicher aus den invasiven Verfahren (wie sie Neuralink vorantreibt) kommen und sicher nicht aus nicht-invasiven, nicht portablen fMRI-BCIs.“

„Insgesamt halte ich den Artikel für interessant, da er zeigt, dass man auch zeitlich schnell aufeinanderfolgende Stimuli (Wörter/Phrasen) zu einem gewissen Grad mit der fMRT erfassen kann. Ein großer Kritikpunkt ist für mich aber, dass hier viel ,hand waving‘ stattfindet und zu viel versprochen wird durch den überzogen dargestellten Bezug zu BCI-Anwendungen: Man bekommt als Laie sicher den Eindruck, dass leistungsstarke nicht-invasive Sprachdekodierungs-BCIs bald Einzug in unseren Alltag halten werden. Die betreffenden Studien fehlen allerdings und die exemplarischen Resultate bei der Konvertierung von innerer Sprache oder beim Anschauen von Filmen sind zwar ,statistisch signifikant‘, aber zu schlecht, um als vertrauenswürdiges BCI zu taugen. Ich wage die Vorhersage, dass fMRT-basierte BCIs (leider) wohl auch in Zukunft auf Forschungsarbeiten mit wenigen Probanden – wie auch in dieser Studie – beschränkt bleiben werden.“

„Ein Unterschied dieses nicht-invasiven Sprachdecoders zu invasiven Decodern ist, dass nicht die Worte, Silben oder Buchstaben direkt aus der Hirnaktivität rekonstruiert werden, sondern mithilfe eines Sprachmodells basierend auf künstlichen neuronalen Netzen (hier GPT, ein vortrainiertes Modell, das auf ähnliche Geschichten getuned wurde, wie im Experiment verwendet) Sätze erstellt werden, deren Generierung von der gemessenen Hirnaktivierung beeinflusst wird. Einzelne Wörter zu dekodieren, ist mit fMRT nicht möglich, da das gemessene Signal sehr träge ist (laut Autoren circa zehn Sekunden für einen neuronalen Impuls, was dazu führt, dass ein einzelnes fMRT-Bild dem Einfluss von 20 gesprochenen Wörtern unterliegt) und gewöhnlich nur jede zweite Sekunde ein neues Bild aufgenommen werden kann. Die invasiven Techniken können dagegen mikrosekundenschnelle Änderungen und sogar einzelne Spikes erfassen, was eine Rekonstruktion des Spektrums eines Audiosignals erlaubt [1]. Die fMRT kann aber wiederum das ganze Gehirn gleichzeitig erfassen, was die Erfassung von vernetzter Aktivität über verschiedene Hirnareale ermöglicht, wohingegen implantierte Elektroden nur kleine gezielte Bereiche erfassen können, dafür aber sehr viel besser räumlich und zeitlich aufgelöst. Der hier vorgestellte Sprachdecoder versucht, Sätze zu bilden, die semantisch mit den präsentierten/vorgestellten/visuell wahrgenommenen ähnlich sind. Der ultimative Vorteil des fMRT ist die Unversehrtheit des Nutzers, ohne die Risiken einer OP einzugehen (Entzündungen, Abstoßen, Fehlplatzierung, Langzeitfunktionalität des Implantats).“

„Die Autoren benutzen in erster Linie ein Sprachmodell, wie wir es aus modernen KI-Anwendungen kennen. Das Modell sagt vorher, wie ein gegebener Text fortgesetzt werden könnte. Aus verschiedenen Vorschlägen bestimmt ein Algorithmus die wahrscheinlichste Variante, was anhand des Musters der gemessenen Hirnaktivierung erfolgt. Die Autoren nennen diese fMRT-Muster kortikale semantische Repräsentation. Wie erfolgreich der Decoder war, lässt sich schwer in Worte fassen. Die Autoren betrachten vier verschiedene Ähnlichkeitsmaße und zeigen für verschiedenste Bedingungen, dass der rekonstruierte Text signifikant mehr mit dem Original übereinstimmt als ein zufällig generierter Text (mit dem gleichen Sprachmodell aber ohne fMRT-Daten). Tabelle 1 zeigt, dass der rekonstruierte Text für alle Ähnlichkeitsmaße deutlich näher am Null-Level ist (Zufallstext) als an dem Level, das man erreichen würde, wenn man einen von einem Menschen von Englisch in Mandarin übersetzten Text von einem KI-Übersetzer zurück ins Englische übersetzen lässt. Das Ähnlichkeitsmaß, dass am besten semantische Übereinstimmung berücksichtigt, hat laut Tabellenbeschreibung 20 Prozent des Levels des Übersetzers erreicht.“

„Die Autoren haben gezeigt, dass das Sprachmodell auch signifikant semantisch sinnvollere Texte generiert als ohne fMRT, wenn die Teilnehmer sich den Text nur vorstellen oder einen Stummfilm anschauen. Bei dem vorgestellten Text hat die Ähnlichkeit immerhin ausgereicht, bei allen Teilnehmern die fünf verschiedenen sich vorgestellten Geschichten anhand der fMRT-Daten richtig zuzuordnen. Wenn man sich die gezeigten Beispiele des präsentierten und rekonstruierten Textes ansieht, wird schnell klar, dass diese Technik noch weit davon entfernt ist, einen ,gedachten‘ Text zuverlässig aus Gehirndaten zu generieren. Trotzdem deutet diese Studie an, was möglich werden kann, wenn sich die Messtechniken verbessern. Eine denkbare Anwendung dieser Technologie wäre die Kommunikation mit Menschen, die aufgrund einer kompletten Lähmung (Locked-In-Syndrom) nicht mehr kommunizieren können.“

„Die Autoren argumentieren, dass die Technologie nicht funktioniert, wenn das Modell bei anderen Menschen trainiert wurde oder wenn die Teilnehmer aktiv die Präsentation manipulieren (durch andere kognitive Prozesse). Sollte es tatsächlich einmal dazu kommen, dass sich Menschen Chips implantieren lassen, um Texte in ihr Smartphone zu diktieren, ist diese Argumentation nicht mehr ausreichend. So wie heute Gespräche mitgehört werden können, könnte man wahrscheinlich auch die Gedanken mitlesen. Meiner Meinung nach ist dieses Szenario jedoch nicht in greifbarer Zukunft, da sowohl die Messtechnik als auch die Methoden nicht hinreichend gut sind und Implantate in gesunden Menschen ohnehin keine Option sein sollten.“