Der Künstler Simon Senn wird von einem künstlich generierten Text angestrahlt – im Rahmen des Avignon-Kunst-Festivals im July 2022.
Clement MAHOUDEAU / AFP
Clement MAHOUDEAU / AFP
Gehirnaktivität

Computer verwandelt Gedanken in Sätze

Gedanken in Sprache umwandeln – dazu ist ein neuer Decoder aus den USA in der Lage: Gedankeninhalte werden damit in zusammenhängende Sätze verwandelt. Menschen, die nicht sprechen können, könnten so wieder verbal kommunizieren. Die Forscherinnen und Forscher warnen aber auch vor den Gefahren, die Geräte dieser Art bergen.

Schon seit Jahren wird in der Wissenschaft versucht, die Gedanken einer Person mit Hilfe von technischen Geräten zu analysieren und die gedachten Inhalte zu entschlüsseln. Mittlerweile ist das „Gedankenlesen“ durchaus machbar und Realität, wenn auch noch nicht immer exakt Wort für Wort.

Umfangreiche Forschungsarbeit

In bisherigen Untersuchungen wurden meist invasive Implantate genutzt – Neuroprothesen -, um die Gehirnaktivität der jeweiligen Person in Echtzeit zu messen, etwa in einer im November 2022 im Fachjournal „Nature Communications“ erschienenen Studie aus den USA. Das damals verwendete Programm wurde in fast 50 Trainingseinheiten mit Hilfe von „Deep Learning“ trainiert, während ein gelähmter Patient versuchte, eines von 50 vorgegebenen Wörtern zu artikulieren. Insgesamt wurde so ein Wortschatz von rund 1.000 Wörtern aufgebaut, die mit bestimmten Gedanken des Patienten korrelierten.

Aktivierte Gehirnregionen beim Dekodieren (pinke Bereiche besonders aktiv)

Andere Ansätze verzichten auf die implantierten Neuroprothesen, die Effektivität der Methoden leidet aber meist unter der geringeren Zahl der Daten zur Gehirnaktivität. Viele solcher Programme sind in der Lage, ein paar einzelne Wörter aus den Gedanken einer Person zu entschlüsseln – zusammenhängende Sätze schaffen sie aber meist nicht.

Einsatz in der Medizin

Ein Forschungsteam um den Neuro- und Computerwissenschaftler Alexander Huth von der Universität von Texas (USA) hat nun ebenfalls eine nicht invasive Methode genutzt, um die Gehirnaktivitäten von drei Probandinnen und Probanden zu messen.

Anders als bei bisherigen Versuchen ohne Implantate schafften die US-amerikanischen Forscherinnen und Forscher es aber tatsächlich, Gedankeninhalte in ganze Sätze und eine „kontinuierliche Sprache“ umzuwandeln, wie Jerry Lang am Donnerstag vor Journalistinnen und Journalisten erklärte. Lang ist Teil des Forschungslabors von Huth an der Universität von Texas und der Erstautor der aktuell im Fachjournal „Nature Neuroscience“ präsentierten Studie.

Die beteiligten Forscherinnen und Forscher hoffen, mit ihrer Methode jenen Menschen wieder eine Stimme zu geben, die zum Beispiel wegen eines Schlaganfalls oder einer Erkrankung des Nervensystems nicht mehr sprechen können. Dass keine Implantate nötig sind, erleichtere den Einsatz in der Praxis sehr. Trotzdem funktioniere das Programm nicht auf Anhieb.

Training unabdingbar

Die drei Probandinnen und Probanden mussten zuerst 16 Stunden lang Geschichten lauschen und Diskussionen folgen. Dabei wurden ihre Gehirnaktivitäten mit Hilfe von funktioneller Magnetresonanztomografie (fMRT) gescannt. Daraufhin erstellten die Forscher ein Sprachmodell aus Wortsequenzen, das vorhersagen sollte, wie das Gehirn auf bestimmte Wörter reagiert.

Beispiel, wie der Decoder den Inhalt eines von Probanden gesehenen Videoclips sinngemäß wiedergibt

Der programmierte Decoder trainierte damit zu unterscheiden, welche Gedankeninhalte mit welchen Wörtern und Gehirnaktivitäten zusammenhängen. Mit Hilfe von weiteren Modellen, die zum Teil auch auf künstlicher Intelligenz basierten, trainierte das Forschungsteam den Decoder dann darauf, Wörter und Sätze vorherzusagen, die im Gehirn der Probanden möglichst ähnliche Reaktionen verursachen sollten.

So konnte das Programm bald die Gehirnaktivitäten der jeweiligen Person, auf die es trainiert war, zu Wörtern und Sätzen umwandeln – und das sogar, wenn die Person eine Geschichte hörte, die im Training nicht vorkam. Die Probandinnen und Probanden mussten dabei nicht einmal aktiv einem Text lauschen, es reichte schon, wenn sie nur an die Inhalte der Geschichten dachten.

Inhalt meist sinngemäß erkannt

Der Decoder schaffte es in den meisten Fällen nicht, den Inhalt der gehörten, gedachten und auch in Stummfilmen gesehenen Geschichten exakt zu reproduzieren. Trotzdem konnte er den ungefähren Sinn der Gedankengänge wiedergeben. Als die Probandinnen und Probanden etwa den Satz „Ich habe meinen Führerschein noch nicht“ hörten, verarbeitete das der Decoder in einem der Versuche zu „Sie hat noch nicht damit angefangen, fahren zu lernen“.

Dass meist nur der ungefähre Sinn der Inhalte wiedergegeben werden konnte, lag laut Huth vor allem an der speziellen Methode des Forschungsteams. „Bisherige Ansätze haben fast immer versucht, die Signale zu analysieren, die im Gehirn entstehen, wenn eine Person versucht, ein Wort tatsächlich zu artikulieren“, erklärt er im Pressegespräch. Die Methode des Forschungsteams setze jedoch an anderen Bereichen des Gehirns an und analysiere tatsächlich die Gedanken der Person und nicht ihren mentalen Versuch, zu sprechen.

Das führe einerseits dazu, dass die Inhalte eben oft nur sinngemäß wiedergegeben werden, andererseits erlaube es auch das Verbalisieren von Inhalten, die nicht auf gesprochenen Wörtern basieren – etwa bei Stummfilmen oder Bildern. Die Methode könnte so bei einer Vielzahl von Problemen zum Einsatz kommen, vor allem in der Medizin.

Mentale Privatsphäre in Gefahr

Das „Gedankenlesen“ birgt aber auch Gefahren, darüber sind sich die Forscherinnen und Forscher im Klaren – etwa in Hinblick auf die Privatsphäre. Noch gibt das Team aber Entwarnung: Um zu funktionieren, muss der Decoder erst stundenlang an einer bestimmten Person trainiert werden – die Gedanken eines völlig fremden Menschen kann das Programm aktuell nicht deuten. Ohne die Kooperation der jeweiligen Person sei es also derzeit nicht möglich, ihre Gedanken mit Hilfe von Technik in Wörter und Sätze umzuwandeln.

Auch davon sei man theoretisch aber nicht mehr allzu weit entfernt. Der technische Fortschritt könnte in den kommenden Jahren dazu führen, dass auch Gedanken ohne das vorangegangene Training analysiert werden können – also eventuell auch ohne das Einverständnis der jeweiligen Person. Das Team fordert daher Maßnahmen in Form von eindeutigen Gesetzen, um auch die mentale Privatsphäre der Menschen in Zukunft rechtlich abzusichern und einen Missbrauch der Gedankendecoder zu vermeiden.

Einsatz (noch) unpraktisch

Auch um die Methode des US-amerikanischen Forschungsteams in der Medizin anzuwenden und Menschen mit Problemen beim Sprechen tatsächlich zu helfen, sei noch einiges an Arbeit notwendig. Aktuell sei der Decoder noch auf die umfangreichen Daten aus der Magnetresonanztomografie angewiesen. Durch die Größe der dafür nötigen Geräte und den kostspieligen Einsatz sei die Methode noch nicht alltagstauglich.

In einem nächsten Schritt wollen die Forscherinnen und Forscher daher klären, ob das Entschlüsseln der Gedanken nicht auch eventuell mit kleineren und günstigeren Sensoren funktioniert.