БЛОГ

Нейрокомпьютерные интерфейсы для игр: что известно на сегодняшний день

Недавно сооснователь Valve Гейб Ньюэлл (Gabe Newell) заявил, что человечество уже намного ближе к “Матрице”, чем может показаться. Разбираемся, так ли это, и зачем Valve, Facebook и Илон Маск пытаются подключить мозг к компьютеру.

Иллюзия контроля


Нейрокомпьютерный интерфейс (НКИ) или интерфейс «мозг-компьютер» (Brain-computer interface, BCI) – система, созданная для обмена информацией напрямую между мозгом и компьютером. Концепция была описана Джозефом Ликлайдером еще в 1960 году в статье со звучным названием «Симбиоз человека и компьютера» (Man-Computer Symbiosis). Сейчас публикация представляет скорее историческую ценность, а вот активные попытки вступить в такой симбиоз предпринимаются с конца 2000-х годов.

Пожалуй, тогда больше других проявила себя компания NeuroSky, вместе со Square Enix представившая на Tokyo Game Show 2008 игру-доказательство концепта Judecca. В 2009 году NeuroSky даже выпустила коммерческие НКИ-настольные игры, купить которые можно до сих пор, но считывают ли они мозговую активность или только эксплуатируют феномен иллюзии контроля – вопрос открытый. Продукты остальных компаний в основном так и не вышли за пределы конференций, а лидеры игровой индустрии или отмалчивались, или говорили, что не занимаются разработками НКИ.

image
Игры Mindflex и StarWars Force Trainer от NeuroSky пока остаются наиболее успешными BCI-устройствами, несмотря на противоречия.


«Обучение» интерфейса и игрока: чтобы связать сигнал от мозга с определенной командой, пользователю требуется сначала подвигать рукой, а во время игры просто подумать об этом движении.

В 2012 году лаборатория нейрокомпьютерных интерфейсов в Грацком университете Австрии представила НКИ для World of Warcraft. Система работала, но заменить мышь с клавиатурой явно не могла.

Постепенно стало понятно, что революции не произойдет. Об НКИ подзабыли, но ровно до тех пор, пока знаменитый основатель Valve Гейб Ньюэлл (Gabe Newell) не заявил в вышедшем 18 марта 2020 года интервью, что в компании вовсю ведутся нейробиологические исследования, добавив, что мы намного ближе к «Матрице», чем многие думают. Почти одновременно вышел отчет, согласно которому рынок НКИ к 2027 году будет оцениваться в 2,96 млрд долларов.

О чём не сказал Гейб


Год назад сотрудник Valve, экспериментальный психолог доктор Майк Эмбиндер (Dr. Mike Ambinder), рассказал на Game Developers Conference 2019 о развитии и применениях НКИ. По сравнению с интервью Гейба, его выступление мало кто заметил, хотя он рассказал о планах компании намного больше.

image
Майк в ЭЭГ-хэдсете от OpenBCI – сообщества энтузиастов, разрабатывающих open-source решения для НКИ.

В Valve пока не идут по пути «Матрицы», подключаясь к мозгу напрямую, а используют специальный «шлем» для электроэнцефалографии (ЭЭГ). У этого подхода есть недостатки — а именно шумы и низкая пропускная способность, но Майк считает, что возможности метода еще не исчерпаны. Уже сейчас он позволяет оценить:
  • увлечен игрок событиями на экране или вот-вот умрет от скуки;
  • напряжен во время сложной миссии или расслаблен и уверен в себе;
  • способен ли концентрироваться и усваивать новую информацию.
Все-таки игровой процесс предполагает обучение игрока – управлению, специфике геймплея и т.п. вещам;
  • моторные сигналы – какими движениями и как интенсивно игрок реагирует на те или иные раздражители в игре.
И многие другие, более тонкие параметры. Активно развивающиеся алгоритмы машинного обучения постепенно дают извлечь из данных ЭЭГ все больше.

Не спешим выбрасывать клавиатуру


image
Скорее всего, путь НКИ в игровой индустрии начнется не с погружения в виртуальную реальность.

По словам Майка, сейчас НКИ в первую очередь позволяет получить от игрока новую обратную связь, способную улучшить качество игр. Майк считает, что технологии пройдут три стадии развития.

Каждый интерфейс является интерфейсом «мозг-компьютер». Отличается только промежуточное аппаратное звено, с помощью которого мы переводим наши намерения в нечто, пригодное для использования.
доктор Майк Эмбиндер (Dr. Mike Ambinder), 
экспериментальный психолог Valve.

В ближайшей перспективе НКИ найдут применение в разработке игр и сделают эффективнее процесс тестирования. Сейчас обычный метод определения эмоций тестера – опрос. При этом провести его можно только после прохождения игрового уровня, когда какие-то впечатления уже подзабыты, сглажены или переосмыслены. Считывание реакций мозга на внутриигровой стимул в реальном времени гораздо объективнее и поможет лучше проектировать уровни, точнее попадая в запланированные эмоции.

image
​Анализ движения глаз, биения сердца, напряжения мышц и даже осанки – способ оценить состояние игрока не «касаясь» мозга. Это может представлять не меньший интерес, чем ЭЭГ.

Постепенно НКИ станут доступнее и выйдут за пределы студий. На втором этапе доступ к данным получит уже сама игра. Это, по мнению Майка, полностью изменит понятие адаптивного геймплея. Традиционные уровни сложности устареют – игровой мир будет подстраиваться под конкретного игрока, определяя, какие враги вызывают у него больше проблем, хочет ли он расслабиться после тяжелого рабочего дня или скучает в ожидании сложной битвы.

image
​Готовы ли пользователи делиться своим состоянием и даже мыслями с игрой или это слишком личное?

В конечном итоге персонажи игры получат возможность реагировать на настрой игрока и его эмоциональное состояние, принимая решения на основе этих параметров.

​Мимика в L.A. Noir (2011) позволяет игроку угадать, лжет персонаж или говорит правду. С приходом НКИ роли могут поменяться.

Представьте шпионскую игру, в которой вам действительно нужно быть шпионом и обманывать с помощью голоса, слов, поведения и мыслей. Или RPG, в которой действительно нужно отыгрывать роль
Майк Эмбиндер (Mike Ambinder)
экспериментальный психолог Valve

«Истинный НКИ» – замена стандартных, «физических» интерфейсов управления станет последним шагом. Это решит проблемы современных интерфейсов: большое время реакции, необходимость запоминать клавиши, невозможность нажать сразу множество клавиш. Но добавит новые: например, отсутствие тактильной обратной связи. Промахнувшись мимо клавиши «прыжок», понять, почему персонаж не подпрыгнул, не составляет труда. С отданной мысленно командой та же ситуация уже не так однозначна.

Конечный этап развития НКИ – создание той самой «Матрицы»: устройств вывода данных напрямую в мозг, минуя мониторы, VR-шлемы и аудиосистемы. По словам Гейба, теоретические исследования уже идут и приносят много сюрпризов: внешне «сложные» задачи – «подключение» к моторной коре – оказываются относительно простыми, в то время как другие – например, имитация ощущения холода – невероятно сложны.

image
НКИ будущего: нужны ли будут дырки в черепе?

Оказывается, что у мозга есть очень хорошие встроенные интерфейсы для одних вещей, и очень плохие – для других.
Гейб Ньюэлл (Gabe Newell)
один из основателей и генеральный директор Valve

Мозговые импланты. Как тебе такое, Гейб?


Многое из того, что описал Майк, можно реализовать с помощью ЭЭГ. Но он допускает, что когда-нибудь импланты станут такой же обыденностью, как и LASIK – операция по лазерной коррекции зрения. Майк называет эту точку «LASIK-порог». Преодолеть его собирается Илон Маск, чья компания Neuralink уже представила имплант N1, пообещав начать клинические испытания уже в 2020 году.

image
​Созданный в Neuralink робот-хирург, способный вживлять до 192 электродов в минуту с точностью в несколько микрон.

По словам сотрудника Neuralink, профессора Калифорнийского университета в Сан-Франциско Филипа Сейбса (Philip Sabes), основная цель проекта – помощь парализованным людям. В том числе – вернув возможность заниматься спортом хотя бы виртуально, с помощью игр.

image
Нейроинтерфейсы способны помочь людям вновь обрести слух, зрение, улучшить протезы и даже восстановить функции парализованных частей тела.​

Сам Илон, как и всегда, формулирует цели еще смелее: он хочет создать “полномозговой НКИ”, обеспечив тот самый симбиоз человека с искусственным интеллектом. При этом бизнесмен признает, что даже для Neuralink это пока фантастика.Ближе к реальностиВ ноябре 2019 года Facebook приобрел компанию CTRL-labs. Возможно, CTRL-labs привлекла внимание тем, что добраться до главной цели любого НКИ – мозга – они планируют совсем не через отверстия в черепе. И этот подход выглядит реалистичнее остальных.

image
Одна из ранних версий CTRL-kit.

Директор CTRL-labs Томас Реардон (Thomas Reardon) объясняет, что имплант от Neuralink хорош для парализованных пациентов, но у здорового человека уже есть готовый нейроинтерфейс – нервные окончания и соединенные с ними мышцы. Неинвазивные методы тут подходят идеально: генерируемая мышцами активность в разы сильнее сигнала от любой структуры мозга. Сложнейшие алгоритмы расшифровки ЭЭГ практически не требуются – основная работа уже проделана телом человека. Поэтому представленный в 2018 году CTRL-kit – это не «шлем», а браслет для электромиографии.

Одна из демонстрационных «игр» CTRL-labs. Разработки компании пока намного больше похожи на готовый для игр интерфейс, чем все, что работает на основе ЭЭГ.

Интерфейс, похожий на CTRL-kit, появился еще в 2009 году. Но сходство только внешнее: такой контроллер не работает без сокращения мышц.При этом CTRL-kit можно считать полноценным интерфейсом «мозг-компьютер», считывающим активность нейронов. Чтобы доказать это, к браслету подключили динозаврика из Google Chrome.


Демонстрация использования CTRL-kit для управления динозавриком из Google Chrome.
На первом этапе обучения игрок просто нажимает кнопку. После – имитирует нажатие с помощью мышц – сначала с трудом, затем – практически рефлекторно. И тут происходит самое интересное: мышцы исключаются из цепочки.

Мозг постоянно пытается найти ответ на вопрос: “Какое минимальное действие я должен совершить, чтобы получить ответную реакцию?”. Этот процесс невозможно остановить.
Томас Реардон (Thomas Reardon)
CTRL-labs CEO.

В какой-то момент ответ находится: сокращать мышцы вообще нет необходимости, достаточно подумать о движении – этого импульса хватит, чтобы CTRL-kit среагировал – динозаврик прыгнет.

По словам Томаса, интерфейс не просто работает – он помогает воссоздать цепочки, в которые объединены нейроны. Это делает ближе главную цель нейробиологии – расшифровку того, как работает мозг и создание НКИ без посредничества мышц и периферийных нейронов.

Что будет после


Научная фантастика поставила много связанных с НКИ этических вопросов, но пост-НКИ мир наверняка поставит еще больше.

Гейб уверен, что технологии найдут применение во всех отраслях индустрии развлечений, но скептически относится к прогнозам. По его словам, представить сейчас пост-НКИ мир – все равно что пытаться объяснить, что такое Интернет, человеку, который никогда о нем не слышал. «Круто, там можно искать рецепты!» – скажет такой человек, но предугадать появление, например, Uber он не сможет.

image
Добровольно заставить геймеров покупать новые устройства не так уж просто. Дорогостоящая разработка НКИ в этом плане – огромный риск. Скриншот из Half-Life: Alyx (2020).

Тем не менее, все разработчики говорят о том, что НКИ станут логическим развитием технологий виртуальной реальности. Заставить игрока надеть «шлем» – непростая задача, но добавив к VR-хэдсету НКИ-электроды, можно кардинально изменить ощущения от игры и сделать устройство привлекательным.

image
​Попытки создать гибридные шлемы уже были – компания Neurable показывала такое устройство на нескольких выставках и даже анонсировала игру Awakening, но релиза пока так и не случилось.

Виртуальная реальность упоминается в выступлениях сотрудников всех компаний. А вот о чем никто не сказал, так это о том, сколько осталось ждать. Ни Майк Эмбиндер, ни Гейб Ньюэлл не назвали дату выхода Half-Life 3 на НКИ. Филип Сейбс и Илон Маск хоть и упоминают игры, но инвазивный имплант вряд ли сразу заменит геймпад. Конкретные сроки называет только Томас Реардон – и, учитывая реалистичный подход CTRL-labs, не верить ему оснований нет. По его словам, первые массовые НКИ не появятся на рынке до 2024 года.

Дополнительные материалы:

Для тех, кому не терпится опробовать НКИ, мы подобрали список ссылок с теорией, а также с уже продающимися или готовящимися к выходу устройствами и приложениями.

История и будущее BCI:

https://www.zdnet.com/article/what-is-bci-everything-you-need-to-know-about-brain-computer-interfaces-and-the-future-of-mind-reading-computers/ – ответы на основные вопросы об НКИ.

https://towardsdatascience.com/a-beginners-guide-to-brain-computer-interface-and-convolutional-neural-networks-9f35bd4af948 – «руководство для новичков» по НКИ, содержащее определения, краткую историю направления и принципы работы.

https://www.mddionline.com/history-and-future-bci – Основные события истории НКИ на схеме.

https://www.roadtovr.com/future-brain-computer-interface-ar-vr/ – немного о нынешнем состоянии технологий и будущих применениях НКИ.

Что уже создано:

https://openbci.com/ – крупное сообщество НКИ-энтузиастов, выпускающих open-source хэдсеты и софт. Интересно богатым ассортиментом комплектующих и открытого кода для тех, кто хочет попробовать себя в разработке.

https://store.neurosky.com/ – Neurosky, авторы упомянутых в статье MindFlex и StarWars Force Trainer, предлагают большой выбор готового софта, который, судя по отзывам, действительно работает.

https://www.emotiv.com/ – Наряду с Neurosky, одна из старейших компаний, создающих доступные ЭЭГ-хэдсеты. Разработанный на данный момент софт скорее заточен под «улучшение состояния и производительности» и тренировки концентрации. Есть красивый визуализатор мозговой активности в реальном времени.

https://www.brainco.tech/ – Гарвардский стартап BrainCo, чьи хэдсеты заточены под развитие способности фокусироваться. Чтобы достичь цели было проще, процесс основан на простых играх.

https://www.next-mind.com/ - Стартап NextMind, интересный в первую очередь тем, что их готовящийся к выпуску девкит – наиболее компактное и мобильное ЭЭГ-устройство. Также разработчики обещают совместимость с играми.

Автор: Артемий Третьяков специально для Smirnov School, онлайн-школы, где готовят концепт-художников, левел-артистов и 3D-моделеров для игр и анимации. Связаться нами можно в ВК, ФБ и на сайте. Отзывы студентов можно изучить тут (мы их не редактируем).