Die Patientin beim Betrachten des Bildschirms, auf dem ein Avatar ihre Gedanken in Sprache und Mimik ausdrückt
Noah Berger
Noah Berger
Technologie

Avatar ermöglicht Gelähmten Sprache und Mimik

Gehirn-Computer-Schnittstellen können Hirnsignale von gelähmten Personen in Sprache umwandeln. Zwei neue US-Studien berichten nun von spektakulären Fortschritten: Die computergenerierte Sprache nähert sich der natürlichen Sprache an – und ein Avatar drückt auch die Mimik von Gelähmten aus.

Beide Brain-Computer-Interfaces (BCI) sind invasiv, müssen also operativ implantiert werden. Ein Team um Francis Willett von der Universität Stanford entwickelte ein BCI, das die neuronale Aktivität einzelner Zellen mit feinen Elektroden erfasst, die in das Gehirn eingeführt werden. Mithilfe eines Sprachmodells werden die Hirnaktivitäten anschließend in Text übersetzt, wie die Fachleute im Magazin „Nature“ berichten.

Das BCI wurde einer 68-jährigen Patientin implantiert, die seit rund zehn Jahren unter amyotropher Lateralsklerose (ALS) leidet – einer neurodegenerativen Erkrankung, die zu Muskelschwund und Lähmungen führt. „Wenn man an ALS denkt, fallen einem Folgen für Arme und Beine ein“, so die Patientin in einem E-Mail-Interview. „Aber in einer Gruppe von ALS-Betroffenen beginnen die Schwierigkeiten mit der Sprache. Ich kann nicht sprechen.“

62 Wörter pro Minute

Die Patientin kann sich zwar noch bewegen und z. B. selbst ankleiden, aber nicht mehr Lippe, Zunge und andere an der Sprachbildung beteiligten Muskeln wie gewünscht verwenden. Mit Hilfe des BCI und vier Monate langem Training konnte sie wieder sprechen. Und zwar mit Hilfe eines Computers, der ihre Gedankenströme in Worte auf einem Bildschirm übersetzte – mit einer durchschnittlichen Geschwindigkeit von 62 Wörtern pro Minute.

Die 68-jährige Patientin beim Üben vor dem Bildschirm
Steve Fisch
Die 68-jährige Patientin beim Üben vor dem Bildschirm

Das ist laut dem Forschungsteam 3,4-mal so schnell wie der bisherige Rekord für ein ähnliches Gerät und nähert sich der Geschwindigkeit einer natürlichen Konversation an, bei der etwa 150 Wörter pro Minute gesprochen werden. Auch die Fehlerrate sei deutlich geringer gewesen als bei bisherigen BCIs. Bei einem – bisher unerreicht großen – Wortschatz von 125.000 Wörtern lag sie bei knapp einem Viertel, bei einem kleinen Vokabular von 50 Wörtern bei neun Prozent.

Übersetzung in Text, Sprache und Mimik

Eine zweite Arbeitsgruppe um Edward Chang von der University of California, entwickelte eine Art Silikonfolie mit Elektroden, die auf der Oberfläche des Gehirns aufliegt und die Aktivität vieler Zellen an verschiedenen Stellen des gesamten Sprachkortex erfasst. Dieses BCI entzifferte Gehirnsignale, um gleichzeitig Text, hörbare Sprache und einen sprechenden Avatar zu erzeugen.

Das BCI erreichte bei einer Patientin mit schwerer Lähmung, die durch einen Hirnstamm-Schlaganfall verursacht wurde, eine mittlere Übersetzungsgeschwindigkeit von 78 Wörtern pro Minute, was 4,3-mal so schnell ist wie der bisherige Rekord. Auch bei diesem BCI lagen die Fehlerraten unter den bisherigen Werten, wie es in der ebenfalls in „Nature“ erschienenen Studie heißt.

Die Gehirnsignale wurden mit der Methode auch direkt in künstliche, vom Computer generierte Sprachlaute übersetzt. Ungeübte Zuhörer und Zuhörerinnen konnten diese verstehen, für eine Gesamtmenge von knapp 530 Phrasen lag die Wortfehlerrate bei 28 Prozent. Das BCI übersetzte die Hirnsignale der Patientin zudem in Gesichtsbewegungen eines Avatars während des Sprechens sowie in nonverbale Ausdrücke (siehe Video).

Noch langer Weg bis zu breitem Einsatz

In einem „Nature“-Begleitartikel sprechen zwei unabhängige Experten von „einem Meilenstein der Neurotechnologie“ und einem Versprechen für Personen, die ihre Sprache aufgrund von Lähmungen verloren haben. Allerdings weisen sie auch auf sehr grundlegende Einschränkungen hin, zum Beispiel, dass bisher nur Fachleute diese BCIs bedienen können und die Apparatur noch sehr experimentell ist.

Die Probandinnen haben zudem einen sichtbaren Zugang auf dem Kopf, um den Computer daran anzuschließen. Auch wurden die Untersuchungen an einzelnen Personen getestet und es bleibt unklar, ob der angelernte Algorithmus bei anderen Patienten und Patientinnen anwendbar wäre.

„Es ist also noch ein langer Weg, bis der Einsatz dieser Technologien in der Breite vorstellbar ist“, urteilt deshalb Surjo Soekadar, Leiter der Arbeitsgruppe Klinische Neurotechnologie an der Charité Berlin. „Besonders relevant und ethisch geboten wäre der Einsatz solcher Systeme bei Personen im sogenannten complete locked-in state (CLIS), das heißt in einem Zustand, in dem bei vollem Bewusstsein keine Kommunikation mehr mit der Außenwelt möglich ist“, so der nicht an der Studie beteiligte Forscher.