sejournal.io

Пользователь интерфейса «мозг-компьютер» (BCI) Гэлен Баквалтер научился сочинять музыку силой мысли. Об этом он сообщил в интервью изданию Wired.

Баквалтер сотрудничает с аспирантом Калифорнийского технологического института Шоном Дарси. Тот разработал алгоритм, преобразующий нейронные сигналы в звуки.

Баквалтер много лет играет в лос-анджелесской панк-рок-группе Siggy. Часть сгенерированных мозгом звуков он уже использовал в треке Wirehead.

> «Еще до имплантации я видел на YouTube ролик про грибы: если к ним подключить электроды, можно услышать их звуки. […] Я подумал: если гриб может «пищать», я хочу узнать, как звучит мой мозг. С первого дня мы обсуждали это с исследователями, и аспирант Шон Дарси создал программу, которая переводит мысли в управление звуком», — рассказал Баквалтер.

Ученые определяют нейроны, которыми пациент может осознанно управлять, и назначают каждому из них определенную ноту. Когда нейрон активируется, высота тона повышается.

Пока Баквалтер может воспроизводить одновременно два тона.

> «В будущем я вижу целый DJ-пульт у себя в голове: можно создавать ритмы и накладывать мелодии», — поделился он планами.

Звук возникает, когда активность нейрона превышает заданный порог. Чтобы его создать, достаточно подумать о движении. Чтобы выключить звук, нужно сосредоточиться сильнее.

Баквалтер страдает квадриплегией (параличом всех четырех конечностей) после неудачного прыжка в воду в 16 лет. В 2024 году он согласился на операцию по установке BCI в рамках исследования Калифорнийского технологического института.

В его мозг вживлены шесть чипов компании Blackrock Neurotech. Они считывают активность нейронов и расшифровывают намерения. Система позволяет управлять компьютером, возвращать чувствительность пальцам, а теперь и создавать музыку.

Другие пользователи BCI также применяют имплантаты для создания цифрового искусства. В 2023 году свои работы на выставке в Вашингтоне представили Натан Коупленд, Джеймс Джонсон и Ян Шойерман.

Напомним, что в марте команда профессора Сюй Гуанхуа создала нейрогарнитуру для управления собакой-роботом силой мысли.

Два человека с параличом смогли печатать на виртуальной клавиатуре с помощью мозгового имплантата, который расшифровывает сигналы, соответствующие попыткам пошевелить пальцами. Согласно исследованию, опубликованному в Nature Neuroscience, один из пациентов печатал на 80% быстрее, чем здоровый человек.

Обычно интерфейсы «мозг-компьютер» (BCI) для людей с параличом используют отслеживание взгляда или распознавание нейронных паттернов речи. Но учёные из Mass General Brigham и Университета Брауна решили, что привычная QWERTY-клавиатура может быть удобнее для многих пользователей.

«Самое важное — иметь набор разных вариантов для каждого пациента, чтобы подобрать технологию под конкретное заболевание и ситуацию», — отметил ведущий автор работы Джастин Джуд.

В эксперименте участники мысленно представляли, как печатают на клавиатуре. Система успешно считывала мозговые сигналы, распознавая до 30 различных действий — по три на каждый палец.

В испытаниях устройства BCI от компании Blackrock Neurotech участвовали два человека:
* Пациент T17 (паралич ниже шеи из-за травмы спинного мозга) достиг скорости 47 символов в минуту с точностью 81%.
* Пациент T18 (с диагнозом БАС) показал результат 110 символов в минуту с точностью 95%.

Стабильные результаты у второго пациента сохранялись неделю, а у первого — два дня.

Джуд пояснил, что разница в производительности может быть связана с количеством и расположением электродов в мозге. У пациента T18 было установлено в три раза больше электродных матриц в двигательной коре, чем у T17.

Различия также могут объясняться тем, что травма спинного мозга и БАС по-разному влияют на мозг, хотя оба состояния приводят к параличу.

Учёный подчеркнул, что расшифровка сигналов движения пальцев — это шаг к восстановлению сложных функций руки, например, хватания предметов. В будущем эта технология может позволить пациентам управлять продвинутыми протезами.

Однако перед широким внедрением технологии предстоит преодолеть серьёзные регуляторные барьеры.

Напомним, что в марте китайские регуляторы впервые одобрили нейроимплант для коммерческого применения в стране.