ПО МОЕМУ ХОТЕНЬЮ... БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС. Берлинский нейрокомпьютерный интерфейс
ПО МОЕМУ ХОТЕНЬЮ... БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС
Общая модель нейро-компьютерного интерфейса.
Нейро-компьютерный интерфейс.
Еще один нейро-компьютерный интерфейс (НКИ).
На картинах распределения электрических потенциалов на поверхности головы видно, что за несколько долей секунды до выполнения действия правой рукой отрицательный потенциал повышается в левой половине коры головного мозга и наоборот.
Общая схема обработки данных в БНКИ.
Мысленно имитируя движение правой или левой рукой, пользователь направляет курсор в левое или правое поле в верхней части экрана.
Работая на виртуальной пишущей машинке, пользователь за несколько шагов выбирает нужную букву.
Приложение обратной связи БНКИ "мысленный теннис".
Приложение обратной связи БНКИ "мысленный диггер".
Приложение обратной связи БНКИ "мысленный тетрис".
Работая с приложением "виртуальная рука", пациент приобретает навыки управления электромеханическим протезом: учится поднимать его, сгибать в локте, сжимать и разжимать пальцы.
‹
›
Мысль может стать физической силой
Для лентяя Емели езда на печи была обычной прихотью, а для многих парализованных и прикованных к постели людей возможность передвигаться, найти хоть какой-то способ общаться с окружающими равносильна возможности жить. Как бы заставить инвалидную коляску ехать, останавливаться или поворачивать без физического воздействия и без посторонней помощи? Для пациентов, потерявших способность управлять деятельностью мышц, единственный способ общения с внешним миром - это материализация их мысленных желаний.
Намерение выполнить определенное действие возникает в недрах нашего мозга и превращается в электрический потенциал. Его распределение в пространстве и времени создает определенную картину, которую можно отобразить с помощью электроэнцефалографа 1. В настоящее время созданы особые системы, получившие название нейро-компьютерных интерфейсов 2, которые способны различать множество таких картин и превращать их в команды, управляющие работой компьютера или компьютеризованных электромеханических устройств (роботов).
Получив возможность мысленным усилием направлять курсор в нужную область экрана монитора, пациенты сумеют печатать сообщения и пользоваться Интернетом. Есть много прикладных программ для здоровых людей, и с помощью НКИ человек в дополнение к привычным коммуникационным каналам (зрению, слуху, осязанию, движению) получит канал "восприятия", "мышления".
Как все начиналось
Еще в 1929 году немецкому врачу-нейрофизиологу Хансу Бергеру впервые удалось снять показания электроэнцефалографа и подтвердить гипотезу о том, что действия человека всегда связаны с повышением активности отдельных зон коры головного мозга. С тех пор многие исследователи неоднократно хотели научиться "читать мысли", пытаясь расшифровать электроэнцефалограмму. Но мешали технические причины: недостаточное пространственное разрешение электроэнцефалографов (то есть не удавалось в подробностях получить картину распределения потенциалов), а также отсутствие возможности хранить и обрабатывать в режиме реального времени огромные массивы данных.
Последнее десятилетие прошлого века прошло под знаком стремительного развития информационных технологий, давших в распоряжение ученых высокоскоростные ЭВМ с большой памятью. Прогресс в области цифровой обработки сигналов и статистического анализа, а также новые теоретические знания о нейронных сетях открыли перед научными коллективами перспективу практической реализации различного рода нейро-компьютерных интерфейсов (НКИ).
В большинстве предлагаемых систем для управления используются электромагнитные сигналы, поступающие от мышц, двигающих глазное яблоко, и мимических мышц. Такой интерфейс показал высокую эффективность, но его нельзя в полной мере назвать нейро-компьютерным. Более того, для пациентов, полностью утративших двигательные функции, его применимость сильно ограничена.
Первые эксперименты с НКИ начали проводить в Уодсфорд-центре Нью-Йоркского университета в Олбани. Руководитель центра Джон Волпов определил нейро-компьютерный интерфейс как систему для управления исполнительным устройством (компьютером, инвалидной коляской или электромеханическим протезом) посредством мысленного усилия, которое не зависит от периферийных нервов и мышц, представляющих собой обычные каналы передачи информации от головного мозга.
Основным приложением НКИ, созданного в Уодсфорд-центре, стала виртуальная клавиатура, на которой парализованные люди учатся генерировать сигналы определенной частоты в определенных зонах головного мозга. С помощью этих сигналов они отклоняют вверх или вниз курсор, движущийся по экрану монитора с постоянной скоростью слева направо.
Пациент в реальном времени наблюдает, как устройство анализирует создаваемые им пространственно-временны' е картины, и стремится подвести курсор к нужному полю в правой части экрана. В каждом из полей содержатся группы букв, цифр или знаков препинания. Когда группа выбрана, то есть в ней оказывается курсор, символы из нее перераспределяются по остальным полям. Далее пользователь снова ведет курсор в поле, содержащее нужный символ, и за несколько повторов (от 3 до 7) выбирает нужный символ, который затем появляется в строке в верхней части экрана. Процесс тренировки не прост, занимает много времени, но результат стоит того.
Еще две самые известные системы НКИ разработаны в Граце (Австрия) и в Тюбингене (Германия). НКИ, созданный в Австрии и основанный на использовании схожных нейрофизиологических признаков, сегодня помогает парализованному пациенту управлять протезом кисти руки. Период тренировки, которая сопровождалась дальнейшими исследованиями и постоянным совершенствованием системы, продлился более года.
Берлинский НКИ
Система, разработанная сотрудниками Института компьютерных архитектур и программного обеспечения Общества Фраунхофера и нейрофизиологами берлинской клиники Шарите, принципиально отличается от предшественников. Чтобы пользоваться Берлинским нейро-компьютерным интерфейсрм (БНКИ), пациенту не нужно обучаться. Здесь обучается сама система, а пользователь, начиная работать с ней, должен лишь показать машине, как он собирается ею управлять.
Во время тренировочных сессий пользователь должен был нажимать клавиши правой или левой рукой или представлять себе такое движение. По результатам 4-5 сессий, каждая из которых длится около 5 минут, удается собрать до 2000 примеров, или по 1000 для каждой руки.
Затем начинается обработка ЭЭГ. Для этого в непрерывном потоке данных выделяют небольшой отрезок, непосредственно предшествующий нажатию клавиши. Выполнение каждого задания заставляет большое количество нейронов соответствующего двигательного центра коры головного мозга инициировать определенный импульс и направить его к мышцам. При этом в пределах некоторой зоны на поверхности головы возникает отрицательный потенциал, который, почти неуловимо для человеческого глаза, отражается в данных ЭЭГ. Однако такое повышение отрицательного потенциала легко обнаруживается на картинах распределения электрического поля, усредненных после многократных повторений движений левой и правой руки. При намерении совершить движение левой рукой отрицательный потенциал возникает в области правого полушария, а перед движением правой рукой - в области левого полушария. Было установлено, что заметное повышение потенциала происходит за 0,5-0,4 секунды до действительного выполнения команды. Это объясняется тем, что для выработки сигнала, способного достичь мышц руки, нервные клетки соответствующего двигательного центра должны накопить определенное количество энергии, то есть на некоторое время "успокоиться", а процесс понижения их индивидуальной активности как раз и отражается в росте отрицательного потенциала. После посылки импульса также происходит задержка порядка 0,15 секунды - за это время он достигает соответствующих мышц.
Берлинский НКИ, таким образом, может заранее распознать команду на совершение мышечного движения. Это свойство позволяет применять его в ситуациях, когда для обеспечения безопасности требуются превентивные меры. В частности, он окажется полезным в системах безопасности автомобилей: перед возможным столкновением еще до нажатия водителем педали тормоза подушки или ремни безопасности будут приведены в состояние готовности.
После того как собрано достаточное количество примеров, включается автоматическая процедура обучения. Она производит анализ примеров и вырабатывает модель управления системой, наиболее подходящую для данного пользователя. Для этого подбираются характерные признаки, несущие информацию о различных командах управления, и рассчитывается математическая функция, способная по каждому набору признаков генерировать команду управления.
Весь процесс обучения системы занимает не более двух минут, в течение которых пользователь может отдохнуть и приготовиться к совершенно новому и необычному способу общения с компьютером и ощущению, что компьютер "понимает" его намерения еще до того, как тот сам успевает их осмыслить. Теперь всего лишь мысль о движении левой или правой рукой производит эффект, как при истинном движении. Самое главное для пользователя - не запутаться в собственных мыслях, которые пытаются обогнать одна другую, а для НКИ - успевать обрабатывать и реализовывать сигналы, полученные от пользователя, в реальном времени.
В связи с большими потоками информации БНКИ сконструирован с использованием нескольких компьютеров, объединенных в локальную сеть. В такой конфигурации БНКИ способен решать двоичную задачу, то есть выбирать один вариант из двух возможных. Он, например, с точностью 75-90% за 0,2-0,1 секунды до того, как пользователь действительно нажал бы соответствующую клавишу, устанавливает, левой или правой рукой тот хочет выполнить движение.
Следует заметить, что не всегда система в состоянии безошибочно идентифицировать связь между некоторым набором признаков и соответствующей командой управления. Более высокой надежности достигают, разделяя сложную задачу на несколько простых. Например, задача распознавания набора команд "влево", "вправо", "на месте" разбивается на две более простые: "движение", "покой" и "лево", "право". Формирование команды управления происходит по логическому правилу: если "движение", тогда "лево" или "право", иначе "покой".
Можно управлять движением простого объекта по экрану монитора, практиковаться в несложных компьютерных играх. Пациенту доступны также некоторые программы из области виртуальной реальности.
От теории к практике
В БНКИ привлекает разнообразие прикладных программ (приложений) обратной связи. Они содержат объекты, которыми управляют, не нажимая клавиши или передвигая мышь. Для этого служит команда, сформированная другим компьютером. Обратная связь в этом случае очень важна: пользователь должен все время видеть реакцию системы на свои мысленные приказы.
Из приложений БНКИ можно выделить две категории: игровые и реабилитационные. Игровые программы предназначены для здоровых пользователей, а реабилитационные позволяют пациенту с ограниченными двигательными возможностями поддерживать связь с окружающим миром. Среди игровых программ на сегодня есть адаптированные версии известных компьютерных игр, таких, как теннис, диггер или тетрис. Среди реабилитационных программ следует выделить "мысленную пишущую машинку" и "виртуальную руку".
На начальных этапах освоения системы рекомендуется использовать простейшую прикладную программу "бегущий крест". Курсор в виде небольшого креста движется по экрану в соответствии с результатами обработки сигналов электроэнцефалографа. Вертикальная координата курсора изменяется при поступлении команды "движение", а горизонтальная координата - при поступлении команды "право" или "лево". Координаты курсора обновляются с частотой 25 Гц. Таким образом, положение курсора позволяет визуализировать, насколько правильно система распознает управляющие команды. При мысленном желании подвинуть левую (правую) руку курсор должен попасть в левое (правое) верхнее поле, изменяя при этом его окраску.
Такого рода двоичное управление успешно используется в виртуальной пишущей машинке. Пациент выбирает одну из панелей (левую или правую), в которой содержится требуемая буква, то есть как во время процедуры обучения системы. После этого имеющиеся в ней знаки распределяются снова по двум панелям, и пользователь вновь делает выбор, пока не останется одна буква. "Машинка" позволяет пациенту увидеть и почувствовать, как реализуются его мысленные команды.
В нижней части экрана есть поле обратной связи, с помощью которого пользователь-новичок контролирует свои действия, наблюдая за отклонением указателя влево и вправо. По достижении некоторого навыка это поле отключают, так как лишние объекты на экране будут скорее мешать, чем помогать.
С помощью этой прикладной программы пользователь может набирать текст со скоростью от 7 до 15 знаков в минуту. Если при этом дополнительно применить технологию Т9, которая предлагает наиболее вероятные продолжения слова, то работа станет еще эффективнее.
Наиболее удобным и естественным для человека устройством ввода информации в компьютер считается мышь. Поэтому резонно возникает вопрос о способе непрерывно двигать курсор, как происходит при перемещении мыши по коврику. Таким способом, в частности, управляют курсором в компьютерной игре "теннис", первые версии которой появились еще во времена монохромных зеленых экранов (тогда, правда, курсор перемещали, нажимая клавиши со стрелками).
Для реализации подобной игры вполне подходит БНКИ. Во время игры "мяч" движется по экрану, отскакивая от боковых и верхнего краев, а по нижнему краю передвигается "ракетка", управляемая "силой мысли", так, чтобы в нужный момент перехватить "мяч". Разумеется, в такой "мысленный теннис" могут сражаться два игрока одновременно.
Следующей ступенью будет задача перемещения курсора по всей плоскости экрана.
Другим приложением БНКИ стала игра "диггер". Курсор представляет собой путешественника (зеленый кружок с "носом", указывающим направление движения). Он должен как можно быстрее пройти тоннели подземного лабиринта. Диггер движется по тоннелю с постоянной скоростью, пока не "упрется" в стену. В местах ответвлений пользователь может дать одну из команд: "налево" или "направо".
Сценарий, аналогичный используемому в игре "диггер", можно применить к управлению инвалидной коляской. "Умная" коляска, оснащенная видеокамерой для определения местонахождения и обнаружения препятствий, интерпретирует следующие команды: "поверни налево (направо) при следующей возможности", "двигайся вперед (назад) при отсутствии помех" и т. п. Такого рода управление уже разрабатывается и применяется для пациентов со сложными травмами и заболеваниями спинного мозга, правда пока в единичных случаях.
Игра в "мысленный тетрис" требует от НКИ способности распознавать более двух групп сигналов (например, движение левой и правой рукой для кодирования команд движения вправо и влево, а также ногой для вращения фигурки).
Очень интересное приложение, которое можно реализовать с помощью БНКИ, относится к серии виртуальной реальности. "Виртуальная рука", изображенная на экране, позволяет пациенту приобрести навык управления электромеханическим протезом. БНКИ распознает и формирует команды управления для таких движений, как подъем руки в плечевом суставе, сгибание ее в локте, сжимание и разжимание кисти. Более дифференцированные движения распознать пока не удается, поскольку двигательные центры мышц предплечий и пальцев расположены близко друг к другу и электроэнцефалограф не может различить картины распределения потенциалов, формируемых этими центрами.
А кто исправит ошибку?
Человеческий мозг обладает естественными функциями, которые не нужно вырабатывать в процессе длительной тренировки: одна из них - генерация так называемых потенциалов ошибки, когда человек обнаруживает, что развитие событий идет не так, как он хотел бы. Если НКИ ошибается в своей попытке угадать желание пользователя и делает в игре неправильный ход, то возникает одна из таких ошибочных ситуаций. "Недовольство" пользователя принятым системой решением вызывает появление потенциала ошибки, и если система распознает этот потенциал в течение 0,4-0,5 секунды после принятия последнего решения, то заменяет его на противоположное. В итоге пользователь подсознательно замечает, что что-то произошло, но не успевает осмыслить, поскольку уже видит на экране желаемую ситуацию.
Что нас ждет впереди?
Чтобы НКИ стали более совершенными, разработчикам нужна помощь, в первую очередь от фундаментальной науки. Но не стоит забывать и о потенциальных пользователях - именно они зададут в ближайшем будущем основные пути развития систем управления и коммуникации с помощью "силы мысли".
Дальнейшие разработки систем НКИ будут вестись на основе более глубокого изучения нейрофизиологических свойств и особенностей "поведения" соответствующих зон головного мозга. Это позволит значительно расширить диапазон команд управления. Современная нейрология располагает довольно неточными "картами" головного мозга. Недостаточно изучены функции и назначения отдельных регионов. К наиболее хорошо изученным можно отнести двигательный и осязательный ареалы коры, и здесь мы можем с точностью до 3-7 мм указать на поверхности мозга расположение нервных клеток, которые несут ответственность за ту или иную часть тела.
Не стоит на месте и техника. Сейчас идет разработка новых, более простых и удобных для пациентов и пользователей сенсорных технологий снятия электроэнцефалограмм и с этой целью создают бесконтактные электроды.
Новые компьютерные игры помогут уже в ближайшем будущем использовать НКИ для определения уровня стресса, страха или умственной нагрузки. Благодаря новинкам в области цифровой обработки сигналов и машинного обучения появятся средства точного распознавания и перевода биоэлектрических импульсов в команды. Тогда перед НКИ откроется еще более широкий спектр применений. Они станут незаменимы в области безопасности, а также в ситуациях, требующих сверхскоростных реакций, например для осуществления экстренного торможения. Рассматривается возможность применять системы НКИ для отслеживания состояния (степени усталости, умственного перенапряжения, сонливости) лиц, несущих повышенную нервную нагрузку, например водителей автобусов, пилотов самолетов и космонавтов.
В интернациональном коллективе авторов собрались ученые разных специальностей: математики, программисты, биолог. Такое содружество оказалось очень плодотворным, и в результате получено новое средство для общения с окружающим миром.
1 В современных электроэнцефалографах используют множество поверхностных электродов из специального сплава, чувствительного к предельно малым токам. Электроды вмонтированы в эластичную тряпичную шапочку и снимают напряжения, возникающие между определенной точкой поверхности головы и некоторой контрольной точкой. Затем сигнал усиливают, преобразуют в цифровой вид и обрабатывают на компьютере.
2Об интерфейсах рассказывается в заметке, помещенной после статьи.
Иллюстрация "Общая модель нейро-компьютерного интерфейса". Общая модель нейро-компьютерного интерфейса представляет собой замкнутый поток информации. При намерении совершить какое-либо действие у пользователя повышается электрическая активность соответствующих зон головного мозга. Эти сигналы снимаются электроэнцефалографом и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее набор признаков разделяют по типам, и компьютер вырабатывает команду, управляющую исполнительным устройством (компьютерной программой, инвалидной коляской, протезом и пр.). Пользователь в режиме реального времени наблюдает за реакцией системы на свое мысленное действие.
Иллюстрация "Нейро-компьютерный интерфейс". В нейро-компьютерном интерфейсе, созданном в Уодсфорд-центре, пациент учится направлять движущийся с постоянной скоростью курсор к полю, содержащему нужный символ. За несколько повторов можно выбрать символ, который затем включится в текст, появляющийся в верхней части экрана.
Иллюстрация "Еще один нейро-компьютерный интерфейс (НКИ)". На кривых 27 каналов электроэнцефало-графа (F3-O1) и четырех дополнительных каналов (электромиограммы левой и правой руки EMGL и EMGR, а также электроокулограммы EOGh и EOGv движения глаза) представлены три примера выполнения задания здоровым пользователем. Он последовательно нажимал клавишу правой, левой и вновь левой рукой. Активность мышц руки, выполняющей движение, заметна в каналах EMG (в черных рамках). Если не произвести соответствующую обработку сигналов, на кривых ЭЭГ невозможно увидеть связь между намерением выполнить действие (в цветных рамках) и самим по-следующим действием (вершины треугольников).
Иллюстрация "Общая схема обработки данных в БНКИ". Общая схема обработки данных в БНКИ может быть представлена как своеобразный конвейер с несколькими "рабочими", каждый из которых выполняет специфическую задачу и передает информацию другому. Сбор и хранение данных ЭЭГ могут быть поручены первому компьютеру, который является сервером. На втором - производятся выбор признаков, их классификация по типам (например, "есть движение - нет движения" или "движение вправо - движение влево") и, наконец, формирование команды управления. Готовая команда посылается виртуальным сервером на третий ПК, в котором она играет роль команд, поступающих с устройств ввода, и управляет работой игровой или реабилитационной прикладной программы. Реакция на сигналы пользователя отражается на мониторе, то есть возникает обратная связь, позволяющая системе НКИ и пользователю адаптироваться друг к другу.
www.nkj.ru
Моему хотенью берлинский нейро-компьютерный интерфейс
ПО МОЕМУ ХОТЕНЬЮ...
БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС
Р. КРЕПКИЙ, П. ЛАСКОВ, Г. КУРИО, Б. БЛАНКЕРЦ, К.-Р. МЮЛЛЕР (Институт компьютерных архитектур и программного обеспечения Общества Фраунхофера, Берлин).
В известной русской народной сказке Емеля поймал щуку, но, пожалев, выпустил ее обратно в реку. В благодарность поведала ему щука волшебные слова: «По щучьему веленью, по моему хотенью...». Как только произнесет их Емеля, вокруг начинаются чудеса: он и пальцем не шевелит, а ведра сами домой идут, топор сам дрова колет, печь Емелю к царю везет. Насколько далек вымысел от действительности и не может ли сказочный сюжет послужить стимулом для ученых попытаться воплотить его в жизнь?
МЫСЛЬ МОЖЕТ СТАТЬ ФИЗИЧЕСКОЙ СИЛОЙ
Для лентяя Емели езда на печи была обычной прихотью, а для многих парализованных и прикованных к постели людей возможность передвигаться, найти хоть какой-то способ общаться с окружающими равносильна возможности жить. Как бы заставить инвалидную коляску ехать, останавливаться или поворачивать без физического воздействия и без посторонней помощи? Для пациентов, потерявших способность управлять деятельностью мышц, единственный способ общения с внешним миром — это материализация их мысленных желаний.
Намерение выполнить определенное действие возникает в недрах нашего мозга и превращается в электрический потенциал. Его распределение в пространстве и времени создает определенную картину, которую можно отобразить с помощью электроэнцефалографа1. В настоящее время созданы особые системы, получившие название нейро-компьютерных интерфейсов2, которые способны различать множество таких картин и превращать их в команды, управляющие работой компьютера или компьютеризованных электромеханических устройств (роботов).
Получив возможность мысленным усилием направлять курсор в нужную область экрана монитора, пациенты сумеют печатать сообщения и пользоваться Интернетом. Есть много прикладных программ для здоровых людей, и с помощью НКИ человек в дополнение к привычным коммуникационным каналам (зрению, слуху, осязанию, движению) получит канал «восприятия», «мышления».
КАК ВСЕ НАЧИНАЛОСЬ
Еще в 1929 году немецкому врачу-нейрофизиологу Хансу Бергеру впервые удалось снять показания электроэнцефалографа и подтвердить гипотезу о том, что действия человека всегда связаны с повышением активности отдельных зон коры головного мозга.
Общая модель нейро-компьютерного интерфейса представляет собой замкнутый поток информации. При намерении совершить какое-либо действие у пользователя повышается электрическая активность соответствующих зон головного мозга. Эти сигналы снимаются электроэнцефалографом и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее набор признаков разделяют по типам, и компьютер вырабатывает команду, управляющую исполнительным устройством (компьютерной программой, инвалидной коляской, протезом и пр.). Пользователь в режиме реального времени наблюдает за реакцией системы на свое мысленное действие.
С тех пор многие исследователи неоднократно хотели научиться «читать мысли», пытаясь расшифровать электроэнцефалограмму. Но мешали технические причины: недостаточное пространственное разрешение электроэнцефалографов (то есть не удавалось в подробностях получить картину распределения потенциалов), а также отсутствие возможности хранить и обрабатывать в режиме реального времени огромные массивы данных. = В современных электроэнцефалографах используют множество поверхностных электродов из специального сплава, чувствительного к предельно малым токам. Электроды вмонтированы в эластичную тряпичную шапочку и снимают напряжения, возникающие между определенной точкой поверхности головы и некоторой контрольной точкой. Затем сигнал усиливают, преобразуют в цифровой вид и обрабатывают на компьютере. Об интерфейсах рассказывается в заметке, помещенной после статьи.
Последнее десятилетие прошлого века прошло под знаком стремительного развития информационных технологий, давших в распоряжение ученых высокоскоростные ЭВМ с большой памятью. Прогресс в области цифровой обработки сигналов и статистического анализа, а также новые теоретические знания о нейронных сетях открыли перед научными коллективами перспективу практической реализации различного рода нейро-компьютерных интерфейсов (НКИ).
В большинстве предлагаемых систем для управления используются электромагнитные сигналы, поступающие от мышц, двигающих глазное яблоко, и мимических мышц. Такой интерфейс показал высокую эффективность, но его нельзя в полной мере назвать нейро-ком-пьютерным. Более того, для пациентов, полностью утративших двигательные функции, его применимость сильно ограничена.
Первые эксперименты с НКИ начали проводить в Уодсфорд-центре Нью-Йоркского университета в Олбани. Руководитель центра Джон Волпов определил нейро-компьютерный интерфейс как систему для управления исполнительным устройством (компьютером, инвалидной коляской или электромеханическим протезом) посредством мысленного усилия, которое не зависит от периферийных нервов и мышц, представляющих собой обычные каналы передачи информации от головного мозга.
Основным приложением НКИ, созданного в Уодсфорд-центре, стала виртуальная клавиатура, на которой парализованные люди учатся генерировать сигналы определенной частоты в определенных зонах головного мозга. С помощью этих сигналов они отклоняют вверх или вниз курсор, движущийся по экрану монитора с постоянной скоростью слева направо.
Пациент в реальном времени наблюдает, как устройство анализирует создаваемые им пространственно-временные картины, и стремится подвести курсор к нужному полю в правой части экрана. В каждом из полей содержатся группы букв, цифр или знаков препинания. Когда группа выбрана, то есть в ней оказывается курсор, символы из нее перераспределяются по остальным полям. Далее пользователь снова ведет курсор в поле, содержащее нужный символ, и за несколько повторов (от 3 до 7) выбирает нужный символ, который затем появляется в строке в верхней части экрана.
В нейро-компьютерном интерфейсе, созданном в Уодсфорд-центре, пациент учится направлять движущийся с постоянной скоростью курсор к полю, содержащему нужный символ. За несколько повторов можно выбрать символ, который затем включится в текст, появляющийся в верхней части экрана.
БЕРЛИНСКИЙ НКИ
ЧЕЛОВЕК И КОМПЬЮТЕР
Процесс тренировки не прост, занимает много времени, но результат стоит того.
Еще две самые известные системы НКИ разработаны в Граце (Австрия) и в Тюбингене (Германия). НКИ, созданный в Австрии и основанный на использовании схожных нейрофизиологических признаков, сегодня помогает парализованному пациенту управлять протезом кисти руки. Период тренировки, которая сопровождалась дальнейшими исследованиями и постоянным совершенствованием системы, продлился более года.
Система, разработанная сотрудниками Института компьютерных архитектур и программного обеспечения Общества Фраунхофе-ра и нейрофизиологами берлинской клиники Шарите, принципиально отличается от предшественников. Чтобы пользоваться Берлинским нейро-компьютерным интерфейсрм (БНКИ), пациенту не нужно обучаться. Здесь обучается сама система, а пользователь, начиная работать с ней, должен лишь показать машине, как он собирается ею управлять.
Во время тренировочных сессий пользователь должен был нажимать клавиши правой или левой рукой или представлять себе такое движение. По результатам 4—5 сессий, каждая из которых длится около 5 минут, удается собрать до 2000 примеров, или по 1000 для каждой руки.
Затем начинается обработка ЭЭГ. Для этого в непрерывном потоке данных выделяют небольшой отрезок, непосредственно предшествующий нажатию клавиши. Выполнение каждого задания заставляет большое количество нейронов соответствующего двигательного центра коры головного мозга инициировать определенный импульс и направить его к мышцам. При этом в пределах некоторой зоны на поверхности головы возникает отрицательный потенциал, который, почти неуловимо для человеческого глаза, отражается в данных ЭЭГ. Однако такое повышение отрицательного потенциала легко обнаруживается на картинах распределения электрического поля, усредненных после многократных повторений движений левой и правой руки. При намерении совершить движение левой рукой отрицательный потенциал возникает в области правого полушария, а перед движением правой рукой – области левого полушария.
Было установлено, что заметное повышение потенциала происходит за 0,5—0,4 секунды до действительного выполнения команды. Это объясняется тем, что для выработки сигнала, способного достичь мышц руки, нервные клетки соответствующего двигательного центра должны накопить определенное количество энергии, тоесть на некоторое время «успокоиться», а процесс понижения их индивидуальной активности как раз и отражается в росте отрицательного потенциала. После посылки импульса также происходит задержка порядка 0,15 секунды за это время он достигает соответствующих мышц.
На кривых 27 каналов электроэнцефалографа (F3—01) и четырех дополнительных каналов (электромиограммы левой и правой руки EMGL и EMGR, а также элект-роокулограммы EOGh и EOGv движения глаза) представлены три примера выполнения задания здоровым пользователем. Он последовательно нажимал клавишу правой, левой и вновь левой рукой. Активность мышц руки, выполняющей движение, заметна в каналах EMG (в черных рамках). Если не произвести соответствующую обработку сигналов, на кривых ЭЭГ невозможно увидеть связь между намерением выполнить действие (в цветных рамках) и самим последующим действием (вершины треугольников).
На картинах распределения электрических потенциалов на поверхности головы видно, что за несколько долей секунды до выполнения действия правой рукой отрицательный потенциал повышается в левой половине коры головного мозга и наоборот.
Берлинский НКИ, таким образом, может заранее распознать команду на совершение мышечного движения. Это свойство позволяет применять его в ситуациях, когда для обеспечения безопасности требуются превентивные меры. В частности, он окажется полезным в системах безопасности автомобилей: перед возможным столкновением еще до нажатия водителем педали тормоза подушки или ремни безопасности будут приведены в состояние готовности.
После того как собрано достаточное количество примеров, включается автоматическая процедура обучения. Она производит анализ примеров и вырабатывает модель управления системой, наиболее подходящую для данного пользователя. Для этого подбираются характерные признаки, несущие информацию о различных командах управления, и рассчитывается математическая функция, способная по каждому набору признаков генерировать команду управления.
Весь процесс обучения системы занимает не более двух минут, в течение которых пользователь может отдохнуть и приготовиться к совершенно новому и необычному способу общения с компьютером и ощущению, что компьютер «понимает» его намерения еще до того, как тот сам успевает их осмыслить. Теперь всего лишь мысль о движении левой или правой рукой производит эффект, как при истинном движении. Самое главное для пользователя — не запутаться в собственных мыслях, которые пытаются обогнать одна другую, а для НКИ — успевать обрабатывать и реализовы-вать сигналы, полученные от пользователя, в реальном времени.
Общая схема обработки данных в БНКИ может быть представлена как своеобразный конвейер с несколькими «рабочими», каждый из которых выполняет специфическую задачу и передает информацию другому. Сбор и хранение данных ЭЭГ могут быть поручены первому компьютеру, который является сервером. На втором — производятся выбор признаков, их классификация по типам (например, «есть движение — нет движения» или «движение вправо — движение влево») и, наконец, формирование команды управления. Готовая команда посылается виртуальным сервером на третий ПК, в котором она играет роль команд, поступающих с устройств ввода, и управляет работой игровой или реабилитационной прикладной программы. Реакция на сигналы пользователя отражается на мониторе, то есть возникает обратная связь, позволяющая системе НКИ и пользователю адаптироваться друг к другу.
В связи с большими потоками информации БНКИ сконструирован с использованием нескольких компьютеров, объединенных в локальную сеть. В такой конфигурации БНКИ способен решать двоичную задачу, то есть выбирать один вариант из двух возможных. Он, например, с точностью 75—90% за 0,2—0,1 секунды до того, как пользователь действительно нажал бы соответствующую клавишу, устанавливает, левой или правой рукой тот хочет выполнить движение.
Следует заметить, что не всегда система в состоянии безошибочно идентифицировать связь между некоторым набором признаков и соответствующей командой управления. Более высокой надежности достигают, разделяя сложную задачу на несколько простых. Например, задача распознавания набора команд «влево», «вправо», «на месте» разбивается на две более простые: «движение», «покой» и «лево», «право». Формирование команды управления происходит по логическому правилу: если «движение», тогда «лево» или «право», иначе «покой».
Можно управлять движением простого объекта по экрану монитора, практиковаться в несложных компьютерных играх. Пациенту доступны также некоторые программы из области виртуальной реальности.
ОТ ТЕОРИИ К ПРАКТИКЕ
В БНКИ привлекает разнообразие прикладных программ (приложений) обратной связи. Они содержат объекты, которыми управляют, не нажимая клавиши или передвигая мышь. Для этого служит команда, сформированная другим компьютером. Обратная связь в этом случае очень важна: пользователь должен все время видеть реакцию системы на свои мысленные приказы.
Из приложений БНКИ можно выделить две категории: игровые и реабилитационные. Игровые программы предназначены для здоровых пользователей, а реабилитационные позволяют пациенту с ограниченными двигательными возможностями поддерживать связь с окружающим миром. Среди игровых программ на сегодня есть адаптированные версии известных компьютерных игр, таких, как теннис, диггер или тетрис. Среди реабилитационных программ следует выделить «мысленную пишущую машинку» и «виртуальную руку».
На начальных этапах освоения системы рекомендуется использовать простейшую прикладную программу «бегущий крест». Курсор в виде небольшого креста движется по экрану в соответствии с результатами обработки сигналов электроэнцефалографа. Вертикальная координата курсора изменяется при поступлении команды «движение», а горизонтальная координата — при поступлении команды «право» или «лево». Координаты курсора обновляются с частотой 25 Гц. Таким образом, положение курсора позволяет визуализировать, насколько правильно система распознает управляющие команды. При мысленном желании подвинуть левую (правую) руку курсор должен попасть в левое (правое) верхнее поле, изменяя при этом его окраску.
Такого рода двоичное управление успешно используется в виртуальной пишущей машинке. Пациент выбирает одну из панелей (левую или правую), в которой содержится требуемая буква, то есть как во время процедуры обучения системы. После этого имеющиеся в ней знаки распределяются снова по двум панелям, и пользователь вновь делает выбор, пока не останется одна буква. «Машинка» позволяет пациенту увидеть и почувствовать, как реализуются его мысленные команды.
Работая на виртуальной пишущей машинке, пользователь за несколько шагов выбирает нужную букву.
В нижней части экрана есть поле обратной связи, с помощью которого пользователь-новичок контролирует свои действия, наблюдая за отклонением указателя влево и вправо. По достижении некоторого навыка это поле отключают, так как лишние объекты на экране будут скорее мешать, чем помогать.
С помощью этой прикладной программы пользователь может набирать текст со скоростью от 7 до 15 знаков в минуту. Если при этом дополнительно применить технологию Т9, которая предлагает наиболее вероятные продолжения слова, то работа станет еще эффективнее.
Наиболее удобным и естественным для человека устройством ввода информации в компьютер считается мышь. Поэтому резонно возникает вопрос о способе непрерывно двигать курсор, как происходит при перемещении мыши по коврику. Таким способом, в частности, управляют курсором в компьютерной игре «теннис», первые версии которой появились еще во времена монохромных зеленых экранов (тогда, правда, курсор перемещали, нажимая клавиши со стрелками).
Для реализации подобной игры вполне подходит БНКИ. Во время игры «мяч» движется по экрану, отскакивая от боковых и верхнего краев, а по нижнему краю передвигается «ракетка», управляемая «силой мысли», так, чтобы в нужный момент перехватить «мяч». Разумеется, в такой «мысленный теннис» могут сражаться два игрока одновременно.
Следующей ступенью будет задача перемещения курсора по всей плоскости экрана.
Приложение обратной связи БНКИ «мысленный теннис».
Другим приложением БНКИ стала игра «диггер». Курсор представляет собой путешественника (зеленый кружок с «носом», указывающим направление движения). Он должен как можно быстрее пройти тоннели подземного лабиринта. Диггер движется по тоннелю с постоянной скоростью, пока не «упрется» в стену. В местах ответвлений пользователь может дать одну из команд: «налево» или «направо».
Приложение обратной связи БНКИ "мысленный диггер".
Сценарий, аналогичный используемому в игре «диггер», можно применить к управлению инвалидной коляской. «Умная» коляска, оснащенная видеокамерой для определения местонахождения и обнаружения препятствий, интерпретирует следующие команды: «поверни налево (направо) при следующей возможности», «двигайся вперед (назад) при отсутствии помех» и т. п. Такого рода управление уже разрабатывается и применяется для пациентов со сложными травмами и заболеваниями спинного мозга, правда пока в единичных случаях.
Игра в «мысленный тетрис» требует от НКИ способности распознавать более двух групп сигналов (например, движение левой и правой рукой для кодирования команд движения вправо и влево, а также ногой для вращения фигурки).
Очень интересное приложение, которое можно реализовать с помощью БНКИ, относится к серии виртуальной реальности. «Виртуальная рука», изображенная на экране, позволяет пациенту приобрести навык управления электромеханическим протезом. БНКИ распознает и формирует команды управления для таких движений, как подъем руки в плечевом суставе, сгибание ее в локте, сжимание и разжимание кисти. Более дифференцированные движения распознать пока не удается, поскольку двигательные центры мышц предплечий и пальцев расположены близко друг к другу и электроэнцефалограф не может различить картины распределения потенциалов, формируемых этими центрами.
Работая с приложением «виртуальная рука»,
пациент приобретает навыки управления
электромеханическим протезом: учится поднимать
его, сгибать в локте, сжимать и разжимать пальцы.
Приложение обратной связи БНКИ «мысленный тетрис».
А КТО ИСПРАВИТ ОШИБКУ?
Человеческий мозг обладает естественными функциями, которые не нужно вырабатывать в процессе длительной тренировки: одна из них — генерация так называемых потенциалов ошибки, когда человек обнаруживает, что развитие событий идет не так, как он хотел бы. Если НКИ ошибается в своей попытке угадать желание пользователя и делает в игре неправильный ход, то возникает одна из таких ошибочных ситуаций. «Недовольство» пользователя принятым системой решением вызывает появление потенциала ошибки, и если система распознает этот потенциал в течение 0,4—0,5 секунды после принятия последнего решения, то заменяет его на противоположное. В итоге пользователь подсознательно замечает, что что-то произошло, но не успевает осмыслить, поскольку уже видит на экране желаемую ситуацию.
ЧТО НАС ЖДЕТ ВПЕРЕДИ?
Чтобы НКИ стали более совершенными, разработчикам нужна помощь, в первую очередь от фундаментальной науки. Но не стоит забывать и о потенциальных пользователях — именно они зададут в ближайшем будущем основные пути развития систем управления и коммуникации с помощью «силы мысли».
Дальнейшие разработки систем НКИ будут вестись на основе более глубокого изучения нейрофизиологических свойств и особенностей «поведения» соответствующих зон головного мозга. Это позволит значительно расширить диапазон команд управления. Современная нейрология располагает довольно неточными «картами» головного мозга. Недостаточно изучены функции и назначения отдельных регионов. К наиболее хорошо изученным можно отнести двигательный и осязательный ареалы коры, и здесь мы можем с точностью до 3—7 мм указать на поверхности мозга расположение нервных клеток, которые несут ответственность за ту или иную часть тела.
Не стоит на месте и техника. Сейчас идет разработка новых, более простых и удобных для пациентов и пользователей сенсорных технологий снятия электроэнцефалограмм и с этой целью создают бесконтактные электроды.
Новые компьютерные игры помогут уже в ближайшем будущем использовать НКИ для определения уровня стресса, страха или умственной нагрузки. Благодаря новинкам в области цифровой обработки сигналов и машинного обучения появятся средства точного распознавания и перевода биоэлектрических импульсов в команды. Тогда перед НКИ откроется еще более широкий спектр применений. Они станут незаменимы в области безопасности, а также в ситуациях, требующих сверхскоростных реакций, например для осуществления экстренного торможения. Рассматривается возможность применять системы НКИ для отслеживания состояния (степени усталости, умственного перенапряжения, сонливости) лиц, несущих повышенную нервную нагрузку, например водителей автобусов, пилотов самолетов и космонавтов.
В интернациональном коллективе авторов собрались ученые разных специальностей: математики, программисты, биолог. Такое содружество оказалось очень плодотворным, и в результате получено новое средство для общения с окружающим миром.
ПОПОДРОБНОСТИ ДЛЯ ЛЮБОЗНАТЕЛЬНЫХ
ИНТЕРФЕЙС: СРЕДСТВО ОБЩЕНИЯКогда появились первые электронно-вычислительные машины, перед их создателями встала проблема связать различные функциональные узлы — процессор, запоминающие устройства, устройства ввода—вывода. Для этого в конструкцию и программное обеспечение машин вводили системы сопряжения, причем обмен информацией осуществлялся с помощью унифицированных сигналов. Поскольку пионерами в этой области техники были англичане и американцы, то они и разрабатывали терминологию. Аппаратные и программные средства сопряжения назвали интерфейсами (interface), что в дословном переводе с английского означает междуличие (в данном случае даже пуристы предпочтут употреблять американизм, а не русскоязычный аналог). Термин закрепился, и по сей день интерфейсами называют электрические разъемы, которые служат для присоединения клавиатуры, мыши, монитора и т.д. к системному блоку ПК.
Интерфейс играет ту же роль, что переводчик в беседе людей разных национальностей.
Позже у слова «интерфейс» появился и другой смысл: им стали обозначать способ общения человека с компьютером, поэтому, чтобы не запутаться, новый термин зазвучал как «интерфейс пользователя».Первым интерфейсом пользователя стал дырокол. Его применяли, чтобы пробивать отверстия в перфокартах. Отверстие на перфокарте означало единицу в двоичной системе счисления, а его отсутствие — нуль. Таким образом, на перфокарте оказывалось зашифровано некое двоичное число, которое воспринималось машиной либо как команда, либо как информация, которую нужно было обработать.
Программистам приходилось быть очень внимательными, поскольку такой интерфейс пользователя не предусматривал обратной связи и любая ошибка приводила к сбою работы машины.
Прошли годы, и инженеры придумали способ, как выводить буквенно-числовую информацию на экране электронно-лучевой трубки. Для ввода данных теперь пользовались клавиатурой, как у пишущей машинки. Оператор мог следить, какой знак введен в компьютер, и при ошибке сразу вносил исправления. Такой интерфейс назвали буквенно-цифровым. Он применялся и на первых персональных компьютерах.
Широкое распространение относительно дешевых ПК привело к тому, что работать на них стали не только профессиональные программисты. Чтобы помочь неподготовленному пользователю, создатели программного обеспечения разработали интерфейс, который не требовал ввода тех или иных команд, а позволял выбирать их из готового списка (меню). Самой известной из подобных программ стал Norton Commander, предназначенный для операционной системы DOS компании «Microsoft».
Качество ПК быстро повышалось, их возможности росли. К середине 1980-х годов они обладали уже таким быстродействием и такими ресурсами памяти, что компания «Macintosh» поставила на свои, достаточно дорогие компьютеры операционную систему с графическим интерфейсом пользователя. Чуть позже появилась графическая оболочка Windows, предназначенная для более дешевых IBM-совместимых компьютеров.
При загрузке компьютера на экране монитора появлялись не слова или их аббревиатуры, а легко запоминающиеся картинки: значки или иконки. Щелкая на них мышью, пользователь заставляет компьютер выполнять самые различные действия. Кроме того, графические оболочки и операционные системы позволили реализовать принцип, когда текст или картинка, изображенные на экране, абсолютно в том же виде воспроизводятся при печати на бумаге.
Теперь становится понятным и термин «нейро-компьютерный интерфейс»: это управление компьютером с помощью электрических сигналов головного мозга.
refdb.ru
По моему хотенью берлинский нейро-компьютерный интерфейс
БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС
Р. КРЕПКИЙ, П. ЛАСКОВ, Г. КУРИО, Б. БЛАНКЕРЦ, К.-Р. МЮЛЛЕР (Институт компьютерных архитектур и программного обеспечения Общества Фраунхофера, Берлин).
В известной русской народной сказке Емеля поймал щуку, но, пожалев, выпустил ее обратно в реку. В благодарность поведала ему щука волшебные слова: «По щучьему веленью, по моему хотенью...». Как только произнесет их Емеля, вокруг начинаются чудеса: он и пальцем не шевелит, а ведра сами домой идут, топор сам дрова колет, печь Емелю к царю везет. Насколько далек вымысел от действительности и не может ли сказочный сюжет послужить стимулом для ученых попытаться воплотить его в жизнь?
МЫСЛЬ МОЖЕТ СТАТЬ ФИЗИЧЕСКОЙ СИЛОЙ
Для лентяя Емели езда на печи была обычной прихотью, а для многих парализованных и прикованных к постели людей возможность передвигаться, найти хоть какой-то способ общаться с окружающими равносильна возможности жить. Как бы заставить инвалидную коляску ехать, останавливаться или поворачивать без физического воздействия и без посторонней помощи? Для пациентов, потерявших способность управлять деятельностью мышц, единственный способ общения с внешним миром — это материализация их мысленных желаний.
Намерение выполнить определенное действие возникает в недрах нашего мозга и превращается в электрический потенциал. Его распределение в пространстве и времени создает определенную картину, которую можно отобразить с помощью электроэнцефалографа1. В настоящее время созданы особые системы, получившие название нейро-компьютерных интерфейсов2, которые способны различать множество таких картин и превращать их в команды, управляющие работой компьютера или компьютеризованных электромеханических устройств (роботов).
Получив возможность мысленным усилием направлять курсор в нужную область экрана монитора, пациенты сумеют печатать сообщения и пользоваться Интернетом. Есть много прикладных программ для здоровых людей, и с помощью НКИ человек в дополнение к привычным коммуникационным каналам (зрению, слуху, осязанию, движению) получит канал «восприятия», «мышления».
КАК ВСЕ НАЧИНАЛОСЬ
Еще в 1929 году немецкому врачу-нейрофизиологу Хансу Бергеру впервые удалось снять показания электроэнцефалографа и подтвердить гипотезу о том, что действия человека всегда связаны с повышением активности отдельных зон коры головного мозга.
Общая модель нейро-компьютерного интерфейса представляет собой замкнутый поток информации. При намерении совершить какое-либо действие у пользователя повышается электрическая активность соответствующих зон головного мозга. Эти сигналы снимаются электроэнцефалографом и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее набор признаков разделяют по типам, и компьютер вырабатывает команду, управляющую исполнительным устройством (компьютерной программой, инвалидной коляской, протезом и пр.). Пользователь в режиме реального времени наблюдает за реакцией системы на свое мысленное действие.
С тех пор многие исследователи неоднократно хотели научиться «читать мысли», пытаясь расшифровать электроэнцефалограмму. Но мешали технические причины: недостаточное пространственное разрешение электроэнцефалографов (то есть не удавалось в подробностях получить картину распределения потенциалов), а также отсутствие возможности хранить и обрабатывать в режиме реального времени огромные массивы данных. = В современных электроэнцефалографах используют множество поверхностных электродов из специального сплава, чувствительного к предельно малым токам. Электроды вмонтированы в эластичную тряпичную шапочку и снимают напряжения, возникающие между определенной точкой поверхности головы и некоторой контрольной точкой. Затем сигнал усиливают, преобразуют в цифровой вид и обрабатывают на компьютере. Об интерфейсах рассказывается в заметке, помещенной после статьи.
Последнее десятилетие прошлого века прошло под знаком стремительного развития информационных технологий, давших в распоряжение ученых высокоскоростные ЭВМ с большой памятью. Прогресс в области цифровой обработки сигналов и статистического анализа, а также новые теоретические знания о нейронных сетях открыли перед научными коллективами перспективу практической реализации различного рода нейро-компьютерных интерфейсов (НКИ).
В большинстве предлагаемых систем для управления используются электромагнитные сигналы, поступающие от мышц, двигающих глазное яблоко, и мимических мышц. Такой интерфейс показал высокую эффективность, но его нельзя в полной мере назвать нейро-ком-пьютерным. Более того, для пациентов, полностью утративших двигательные функции, его применимость сильно ограничена.
Первые эксперименты с НКИ начали проводить в Уодсфорд-центре Нью-Йоркского университета в Олбани. Руководитель центра Джон Волпов определил нейро-компьютерный интерфейс как систему для управления исполнительным устройством (компьютером, инвалидной коляской или электромеханическим протезом) посредством мысленного усилия, которое не зависит от периферийных нервов и мышц, представляющих собой обычные каналы передачи информации от головного мозга.
Основным приложением НКИ, созданного в Уодсфорд-центре, стала виртуальная клавиатура, на которой парализованные люди учатся генерировать сигналы определенной частоты в определенных зонах головного мозга. С помощью этих сигналов они отклоняют вверх или вниз курсор, движущийся по экрану монитора с постоянной скоростью слева направо.
Пациент в реальном времени наблюдает, как устройство анализирует создаваемые им пространственно-временные картины, и стремится подвести курсор к нужному полю в правой части экрана. В каждом из полей содержатся группы букв, цифр или знаков препинания. Когда группа выбрана, то есть в ней оказывается курсор, символы из нее перераспределяются по остальным полям. Далее пользователь снова ведет курсор в поле, содержащее нужный символ, и за несколько повторов (от 3 до 7) выбирает нужный символ, который затем появляется в строке в верхней части экрана.
В нейро-компьютерном интерфейсе, созданном в Уодсфорд-центре, пациент учится направлять движущийся с постоянной скоростью курсор к полю, содержащему нужный символ. За несколько повторов можно выбрать символ, который затем включится в текст, появляющийся в верхней части экрана.
БЕРЛИНСКИЙ НКИ ЧЕЛОВЕК И КОМПЬЮТЕР Процесс тренировки не прост, занимает много времени, но результат стоит того.
Еще две самые известные системы НКИ разработаны в Граце (Австрия) и в Тюбингене (Германия). НКИ, созданный в Австрии и основанный на использовании схожных нейрофизиологических признаков, сегодня помогает парализованному пациенту управлять протезом кисти руки. Период тренировки, которая сопровождалась дальнейшими исследованиями и постоянным совершенствованием системы, продлился более года.
Система, разработанная сотрудниками Института компьютерных архитектур и программного обеспечения Общества Фраунхофе-ра и нейрофизиологами берлинской клиники Шарите, принципиально отличается от предшественников. Чтобы пользоваться Берлинским нейро-компьютерным интерфейсрм (БНКИ), пациенту не нужно обучаться. Здесь обучается сама система, а пользователь, начиная работать с ней, должен лишь показать машине, как он собирается ею управлять.
Во время тренировочных сессий пользователь должен был нажимать клавиши правой или левой рукой или представлять себе такое движение. По результатам 4—5 сессий, каждая из которых длится около 5 минут, удается собрать до 2000 примеров, или по 1000 для каждой руки.
Затем начинается обработка ЭЭГ. Для этого в непрерывном потоке данных выделяют небольшой отрезок, непосредственно предшествующий нажатию клавиши. Выполнение каждого задания заставляет большое количество нейронов соответствующего двигательного центра коры головного мозга инициировать определенный импульс и направить его к мышцам. При этом в пределах некоторой зоны на поверхности головы возникает отрицательный потенциал, который, почти неуловимо для человеческого глаза, отражается в данных ЭЭГ. Однако такое повышение отрицательного потенциала легко обнаруживается на картинах распределения электрического поля, усредненных после многократных повторений движений левой и правой руки. При намерении совершить движение левой рукой отрицательный потенциал возникает в области правого полушария, а перед движением правой рукой – области левого полушария.
Было установлено, что заметное повышение потенциала происходит за 0,5—0,4 секунды до действительного выполнения команды. Это объясняется тем, что для выработки сигнала, способного достичь мышц руки, нервные клетки соответствующего двигательного центра должны накопить определенное количество энергии, тоесть на некоторое время «успокоиться», а процесс понижения их индивидуальной активности как раз и отражается в росте отрицательного потенциала. После посылки импульса также происходит задержка порядка 0,15 секунды за это время он достигает соответствующих мышц.
На кривых 27 каналов электроэнцефалографа (F3—01) и четырех дополнительных каналов (электромиограммы левой и правой руки EMGL и EMGR, а также элект-роокулограммы EOGh и EOGv движения глаза) представлены три примера выполнения задания здоровым пользователем. Он последовательно нажимал клавишу правой, левой и вновь левой рукой. Активность мышц руки, выполняющей движение, заметна в каналах EMG (в черных рамках). Если не произвести соответствующую обработку сигналов, на кривых ЭЭГ невозможно увидеть связь между намерением выполнить действие (в цветных рамках) и самим последующим действием (вершины треугольников).
На картинах распределения электрических потенциалов на поверхности головы видно, что за несколько долей секунды до выполнения действия правой рукой отрицательный потенциал повышается в левой половине коры головного мозга и наоборот.
Берлинский НКИ, таким образом, может заранее распознать команду на совершение мышечного движения. Это свойство позволяет применять его в ситуациях, когда для обеспечения безопасности требуются превентивные меры. В частности, он окажется полезным в системах безопасности автомобилей: перед возможным столкновением еще до нажатия водителем педали тормоза подушки или ремни безопасности будут приведены в состояние готовности.
После того как собрано достаточное количество примеров, включается автоматическая процедура обучения. Она производит анализ примеров и вырабатывает модель управления системой, наиболее подходящую для данного пользователя. Для этого подбираются характерные признаки, несущие информацию о различных командах управления, и рассчитывается математическая функция, способная по каждому набору признаков генерировать команду управления.Весь процесс обучения системы занимает не более двух минут, в течение которых пользователь может отдохнуть и приготовиться к совершенно новому и необычному способу общения с компьютером и ощущению, что компьютер «понимает» его намерения еще до того, как тот сам успевает их осмыслить. Теперь всего лишь мысль о движении левой или правой рукой производит эффект, как при истинном движении. Самое главное для пользователя — не запутаться в собственных мыслях, которые пытаются обогнать одна другую, а для НКИ — успевать обрабатывать и реализовы-вать сигналы, полученные от пользователя, в реальном времени.
Общая схема обработки данных в БНКИ может быть представлена как своеобразный конвейер с несколькими «рабочими», каждый из которых выполняет специфическую задачу и передает информацию другому. Сбор и хранение данных ЭЭГ могут быть поручены первому компьютеру, который является сервером. На втором — производятся выбор признаков, их классификация по типам (например, «есть движение — нет движения» или «движение вправо — движение влево») и, наконец, формирование команды управления. Готовая команда посылается виртуальным сервером на третий ПК, в котором она играет роль команд, поступающих с устройств ввода, и управляет работой игровой или реабилитационной прикладной программы. Реакция на сигналы пользователя отражается на мониторе, то есть возникает обратная связь, позволяющая системе НКИ и пользователю адаптироваться друг к другу. В связи с большими потоками информации БНКИ сконструирован с использованием нескольких компьютеров, объединенных в локальную сеть. В такой конфигурации БНКИ способен решать двоичную задачу, то есть выбирать один вариант из двух возможных. Он, например, с точностью 75—90% за 0,2—0,1 секунды до того, как пользователь действительно нажал бы соответствующую клавишу, устанавливает, левой или правой рукой тот хочет выполнить движение.Следует заметить, что не всегда система в состоянии безошибочно идентифицировать связь между некоторым набором признаков и соответствующей командой управления. Более высокой надежности достигают, разделяя сложную задачу на несколько простых. Например, задача распознавания набора команд «влево», «вправо», «на месте» разбивается на две более простые: «движение», «покой» и «лево», «право». Формирование команды управления происходит по логическому правилу: если «движение», тогда «лево» или «право», иначе «покой».
Можно управлять движением простого объекта по экрану монитора, практиковаться в несложных компьютерных играх. Пациенту доступны также некоторые программы из области виртуальной реальности. ОТ ТЕОРИИ К ПРАКТИКЕ
В БНКИ привлекает разнообразие прикладных программ (приложений) обратной связи. Они содержат объекты, которыми управляют, не нажимая клавиши или передвигая мышь. Для этого служит команда, сформированная другим компьютером. Обратная связь в этом случае очень важна: пользователь должен все время видеть реакцию системы на свои мысленные приказы.
Из приложений БНКИ можно выделить две категории: игровые и реабилитационные. Игровые программы предназначены для здоровых пользователей, а реабилитационные позволяют пациенту с ограниченными двигательными возможностями поддерживать связь с окружающим миром. Среди игровых программ на сегодня есть адаптированные версии известных компьютерных игр, таких, как теннис, диггер или тетрис. Среди реабилитационных программ следует выделить «мысленную пишущую машинку» и «виртуальную руку».
На начальных этапах освоения системы рекомендуется использовать простейшую прикладную программу «бегущий крест». Курсор в виде небольшого креста движется по экрану в соответствии с результатами обработки сигналов электроэнцефалографа. Вертикальная координата курсора изменяется при поступлении команды «движение», а горизонтальная координата — при поступлении команды «право» или «лево». Координаты курсора обновляются с частотой 25 Гц. Таким образом, положение курсора позволяет визуализировать, насколько правильно система распознает управляющие команды. При мысленном желании подвинуть левую (правую) руку курсор должен попасть в левое (правое) верхнее поле, изменяя при этом его окраску.
Такого рода двоичное управление успешно используется в виртуальной пишущей машинке. Пациент выбирает одну из панелей (левую или правую), в которой содержится требуемая буква, то есть как во время процедуры обучения системы. После этого имеющиеся в ней знаки распределяются снова по двум панелям, и пользователь вновь делает выбор, пока не останется одна буква. «Машинка» позволяет пациенту увидеть и почувствовать, как реализуются его мысленные команды.
Работая на виртуальной пишущей машинке, пользователь за несколько шагов выбирает нужную букву. В нижней части экрана есть поле обратной связи, с помощью которого пользователь-новичок контролирует свои действия, наблюдая за отклонением указателя влево и вправо. По достижении некоторого навыка это поле отключают, так как лишние объекты на экране будут скорее мешать, чем помогать.С помощью этой прикладной программы пользователь может набирать текст со скоростью от 7 до 15 знаков в минуту. Если при этом дополнительно применить технологию Т9, которая предлагает наиболее вероятные продолжения слова, то работа станет еще эффективнее.
Наиболее удобным и естественным для человека устройством ввода информации в компьютер считается мышь. Поэтому резонно возникает вопрос о способе непрерывно двигать курсор, как происходит при перемещении мыши по коврику. Таким способом, в частности, управляют курсором в компьютерной игре «теннис», первые версии которой появились еще во времена монохромных зеленых экранов (тогда, правда, курсор перемещали, нажимая клавиши со стрелками).
Для реализации подобной игры вполне подходит БНКИ. Во время игры «мяч» движется по экрану, отскакивая от боковых и верхнего краев, а по нижнему краю передвигается «ракетка», управляемая «силой мысли», так, чтобы в нужный момент перехватить «мяч». Разумеется, в такой «мысленный теннис» могут сражаться два игрока одновременно.
Следующей ступенью будет задача перемещения курсора по всей плоскости экрана.
Приложение обратной связи БНКИ «мысленный теннис».
Другим приложением БНКИ стала игра «диггер». Курсор представляет собой путешественника (зеленый кружок с «носом», указывающим направление движения). Он должен как можно быстрее пройти тоннели подземного лабиринта. Диггер движется по тоннелю с постоянной скоростью, пока не «упрется» в стену. В местах ответвлений пользователь может дать одну из команд: «налево» или «направо».
Приложение обратной связи БНКИ "мысленный диггер".
Сценарий, аналогичный используемому в игре «диггер», можно применить к управлению инвалидной коляской. «Умная» коляска, оснащенная видеокамерой для определения местонахождения и обнаружения препятствий, интерпретирует следующие команды: «поверни налево (направо) при следующей возможности», «двигайся вперед (назад) при отсутствии помех» и т. п. Такого рода управление уже разрабатывается и применяется для пациентов со сложными травмами и заболеваниями спинного мозга, правда пока в единичных случаях.
Игра в «мысленный тетрис» требует от НКИ способности распознавать более двух групп сигналов (например, движение левой и правой рукой для кодирования команд движения вправо и влево, а также ногой для вращения фигурки).
Очень интересное приложение, которое можно реализовать с помощью БНКИ, относится к серии виртуальной реальности. «Виртуальная рука», изображенная на экране, позволяет пациенту приобрести навык управления электромеханическим протезом. БНКИ распознает и формирует команды управления для таких движений, как подъем руки в плечевом суставе, сгибание ее в локте, сжимание и разжимание кисти. Более дифференцированные движения распознать пока не удается, поскольку двигательные центры мышц предплечий и пальцев расположены близко друг к другу и электроэнцефалограф не может различить картины распределения потенциалов, формируемых этими центрами.
Работая с приложением «виртуальная рука»,
пациент приобретает навыки управления
электромеханическим протезом: учится поднимать
его, сгибать в локте, сжимать и разжимать пальцы.
Приложение обратной связи БНКИ «мысленный тетрис».
А КТО ИСПРАВИТ ОШИБКУ?
Человеческий мозг обладает естественными функциями, которые не нужно вырабатывать в процессе длительной тренировки: одна из них — генерация так называемых потенциалов ошибки, когда человек обнаруживает, что развитие событий идет не так, как он хотел бы. Если НКИ ошибается в своей попытке угадать желание пользователя и делает в игре неправильный ход, то возникает одна из таких ошибочных ситуаций. «Недовольство» пользователя принятым системой решением вызывает появление потенциала ошибки, и если система распознает этот потенциал в течение 0,4—0,5 секунды после принятия последнего решения, то заменяет его на противоположное. В итоге пользователь подсознательно замечает, что что-то произошло, но не успевает осмыслить, поскольку уже видит на экране желаемую ситуацию.
ЧТО НАС ЖДЕТ ВПЕРЕДИ?Чтобы НКИ стали более совершенными, разработчикам нужна помощь, в первую очередь от фундаментальной науки. Но не стоит забывать и о потенциальных пользователях — именно они зададут в ближайшем будущем основные пути развития систем управления и коммуникации с помощью «силы мысли».
Дальнейшие разработки систем НКИ будут вестись на основе более глубокого изучения нейрофизиологических свойств и особенностей «поведения» соответствующих зон головного мозга. Это позволит значительно расширить диапазон команд управления. Современная нейрология располагает довольно неточными «картами» головного мозга. Недостаточно изучены функции и назначения отдельных регионов. К наиболее хорошо изученным можно отнести двигательный и осязательный ареалы коры, и здесь мы можем с точностью до 3—7 мм указать на поверхности мозга расположение нервных клеток, которые несут ответственность за ту или иную часть тела.
Не стоит на месте и техника. Сейчас идет разработка новых, более простых и удобных для пациентов и пользователей сенсорных технологий снятия электроэнцефалограмм и с этой целью создают бесконтактные электроды.
Новые компьютерные игры помогут уже в ближайшем будущем использовать НКИ для определения уровня стресса, страха или умственной нагрузки. Благодаря новинкам в области цифровой обработки сигналов и машинного обучения появятся средства точного распознавания и перевода биоэлектрических импульсов в команды. Тогда перед НКИ откроется еще более широкий спектр применений. Они станут незаменимы в области безопасности, а также в ситуациях, требующих сверхскоростных реакций, например для осуществления экстренного торможения. Рассматривается возможность применять системы НКИ для отслеживания состояния (степени усталости, умственного перенапряжения, сонливости) лиц, несущих повышенную нервную нагрузку, например водителей автобусов, пилотов самолетов и космонавтов.
В интернациональном коллективе авторов собрались ученые разных специальностей: математики, программисты, биолог. Такое содружество оказалось очень плодотворным, и в результате получено новое средство для общения с окружающим миром.
ПОПОДРОБНОСТИ ДЛЯ ЛЮБОЗНАТЕЛЬНЫХ
ИНТЕРФЕЙС: СРЕДСТВО ОБЩЕНИЯ
Когда появились первые электронно-вычислительные машины, перед их создателями встала проблема связать различные функциональные узлы — процессор, запоминающие устройства, устройства ввода—вывода. Для этого в конструкцию и программное обеспечение машин вводили системы сопряжения, причем обмен информацией осуществлялся с помощью унифицированных сигналов. Поскольку пионерами в этой области техники были англичане и американцы, то они и разрабатывали терминологию. Аппаратные и программные средства сопряжения назвали интерфейсами (interface), что в дословном переводе с английского означает междуличие (в данном случае даже пуристы предпочтут употреблять американизм, а не русскоязычный аналог). Термин закрепился, и по сей день интерфейсами называют электрические разъемы, которые служат для присоединения клавиатуры, мыши, монитора и т.д. к системному блоку ПК.
Интерфейс играет ту же роль, что переводчик в беседе людей разных национальностей.
Позже у слова «интерфейс» появился и другой смысл: им стали обозначать способ общения человека с компьютером, поэтому, чтобы не запутаться, новый термин зазвучал как «интерфейс пользователя».Первым интерфейсом пользователя стал дырокол. Его применяли, чтобы пробивать отверстия в перфокартах. Отверстие на перфокарте означало единицу в двоичной системе счисления, а его отсутствие — нуль. Таким образом, на перфокарте оказывалось зашифровано некое двоичное число, которое воспринималось машиной либо как команда, либо как информация, которую нужно было обработать.
Программистам приходилось быть очень внимательными, поскольку такой интерфейс пользователя не предусматривал обратной связи и любая ошибка приводила к сбою работы машины.
Прошли годы, и инженеры придумали способ, как выводить буквенно-числовую информацию на экране электронно-лучевой трубки. Для ввода данных теперь пользовались клавиатурой, как у пишущей машинки. Оператор мог следить, какой знак введен в компьютер, и при ошибке сразу вносил исправления. Такой интерфейс назвали буквенно-цифровым. Он применялся и на первых персональных компьютерах.
Широкое распространение относительно дешевых ПК привело к тому, что работать на них стали не только профессиональные программисты. Чтобы помочь неподготовленному пользователю, создатели программного обеспечения разработали интерфейс, который не требовал ввода тех или иных команд, а позволял выбирать их из готового списка (меню). Самой известной из подобных программ стал Norton Commander, предназначенный для операционной системы DOS компании «Microsoft».
Качество ПК быстро повышалось, их возможности росли. К середине 1980-х годов они обладали уже таким быстродействием и такими ресурсами памяти, что компания «Macintosh» поставила на свои, достаточно дорогие компьютеры операционную систему с графическим интерфейсом пользователя. Чуть позже появилась графическая оболочка Windows, предназначенная для более дешевых IBM-совместимых компьютеров.
При загрузке компьютера на экране монитора появлялись не слова или их аббревиатуры, а легко запоминающиеся картинки: значки или иконки. Щелкая на них мышью, пользователь заставляет компьютер выполнять самые различные действия. Кроме того, графические оболочки и операционные системы позволили реализовать принцип, когда текст или картинка, изображенные на экране, абсолютно в том же виде воспроизводятся при печати на бумаге.
Теперь становится понятным и термин «нейро-компьютерный интерфейс»: это управление компьютером с помощью электрических сигналов головного мозга.
скачатьnenuda.ru
Реферат - Моему хотенью берлинский нейро-компьютерный интерфейс
БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС
Р. КРЕПКИЙ, П. ЛАСКОВ, Г. КУРИО, Б. БЛАНКЕРЦ, К.-Р. МЮЛЛЕР (Институт компьютерных архитектур и программного обеспечения Общества Фраунхофера, Берлин).
В известной русской народной сказке Емеля поймал щуку, но, пожалев, выпустил ее обратно в реку. В благодарность поведала ему щука волшебные слова: «По щучьему веленью, по моему хотенью...». Как только произнесет их Емеля, вокруг начинаются чудеса: он и пальцем не шевелит, а ведра сами домой идут, топор сам дрова колет, печь Емелю к царю везет. Насколько далек вымысел от действительности и не может ли сказочный сюжет послужить стимулом для ученых попытаться воплотить его в жизнь?
^ МЫСЛЬ МОЖЕТ СТАТЬ ФИЗИЧЕСКОЙ СИЛОЙ
Для лентяя Емели езда на печи была обычной прихотью, а для многих парализованных и прикованных к постели людей возможность передвигаться, найти хоть какой-то способ общаться с окружающими равносильна возможности жить. Как бы заставить инвалидную коляску ехать, останавливаться или поворачивать без физического воздействия и без посторонней помощи? Для пациентов, потерявших способность управлять деятельностью мышц, единственный способ общения с внешним миром — это материализация их мысленных желаний.
Намерение выполнить определенное действие возникает в недрах нашего мозга и превращается в электрический потенциал. Его распределение в пространстве и времени создает определенную картину, которую можно отобразить с помощью электроэнцефалографа1. В настоящее время созданы особые системы, получившие название нейро-компьютерных интерфейсов2, которые способны различать множество таких картин и превращать их в команды, управляющие работой компьютера или компьютеризованных электромеханических устройств (роботов).
Получив возможность мысленным усилием направлять курсор в нужную область экрана монитора, пациенты сумеют печатать сообщения и пользоваться Интернетом. Есть много прикладных программ для здоровых людей, и с помощью НКИ человек в дополнение к привычным коммуникационным каналам (зрению, слуху, осязанию, движению) получит канал «восприятия», «мышления».
^ КАК ВСЕ НАЧИНАЛОСЬ
Еще в 1929 году немецкому врачу-нейрофизиологу Хансу Бергеру впервые удалось снять показания электроэнцефалографа и подтвердить гипотезу о том, что действия человека всегда связаны с повышением активности отдельных зон коры головного мозга.
Общая модель нейро-компьютерного интерфейса представляет собой замкнутый поток информации. При намерении совершить какое-либо действие у пользователя повышается электрическая активность соответствующих зон головного мозга. Эти сигналы снимаются электроэнцефалографом и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее набор признаков разделяют по типам, и компьютер вырабатывает команду, управляющую исполнительным устройством (компьютерной программой, инвалидной коляской, протезом и пр.). Пользователь в режиме реального времени наблюдает за реакцией системы на свое мысленное действие.
С тех пор многие исследователи неоднократно хотели научиться «читать мысли», пытаясь расшифровать электроэнцефалограмму. Но мешали технические причины: недостаточное пространственное разрешение электроэнцефалографов (то есть не удавалось в подробностях получить картину распределения потенциалов), а также отсутствие возможности хранить и обрабатывать в режиме реального времени огромные массивы данных. = В современных электроэнцефалографах используют множество поверхностных электродов из специального сплава, чувствительного к предельно малым токам. Электроды вмонтированы в эластичную тряпичную шапочку и снимают напряжения, возникающие между определенной точкой поверхности головы и некоторой контрольной точкой. Затем сигнал усиливают, преобразуют в цифровой вид и обрабатывают на компьютере. Об интерфейсах рассказывается в заметке, помещенной после статьи.
Последнее десятилетие прошлого века прошло под знаком стремительного развития информационных технологий, давших в распоряжение ученых высокоскоростные ЭВМ с большой памятью. Прогресс в области цифровой обработки сигналов и статистического анализа, а также новые теоретические знания о нейронных сетях открыли перед научными коллективами перспективу практической реализации различного рода нейро-компьютерных интерфейсов (НКИ).
В большинстве предлагаемых систем для управления используются электромагнитные сигналы, поступающие от мышц, двигающих глазное яблоко, и мимических мышц. Такой интерфейс показал высокую эффективность, но его нельзя в полной мере назвать нейро-ком-пьютерным. Более того, для пациентов, полностью утративших двигательные функции, его применимость сильно ограничена.
Первые эксперименты с НКИ начали проводить в Уодсфорд-центре Нью-Йоркского университета в Олбани. Руководитель центра Джон Волпов определил нейро-компьютерный интерфейс как систему для управления исполнительным устройством (компьютером, инвалидной коляской или электромеханическим протезом) посредством мысленного усилия, которое не зависит от периферийных нервов и мышц, представляющих собой обычные каналы передачи информации от головного мозга.
Основным приложением НКИ, созданного в Уодсфорд-центре, стала виртуальная клавиатура, на которой парализованные люди учатся генерировать сигналы определенной частоты в определенных зонах головного мозга. С помощью этих сигналов они отклоняют вверх или вниз курсор, движущийся по экрану монитора с постоянной скоростью слева направо.
Пациент в реальном времени наблюдает, как устройство анализирует создаваемые им пространственно-временные картины, и стремится подвести курсор к нужному полю в правой части экрана. В каждом из полей содержатся группы букв, цифр или знаков препинания. Когда группа выбрана, то есть в ней оказывается курсор, символы из нее перераспределяются по остальным полям. Далее пользователь снова ведет курсор в поле, содержащее нужный символ, и за несколько повторов (от 3 до 7) выбирает нужный символ, который затем появляется в строке в верхней части экрана.
В нейро-компьютерном интерфейсе, созданном в Уодсфорд-центре, пациент учится направлять движущийся с постоянной скоростью курсор к полю, содержащему нужный символ. За несколько повторов можно выбрать символ, который затем включится в текст, появляющийся в верхней части экрана.
^ БЕРЛИНСКИЙ НКИ
ЧЕЛОВЕК И КОМПЬЮТЕР
Процесс тренировки не прост, занимает много времени, но результат стоит того.
Еще две самые известные системы НКИ разработаны в Граце (Австрия) и в Тюбингене (Германия). НКИ, созданный в Австрии и основанный на использовании схожных нейрофизиологических признаков, сегодня помогает парализованному пациенту управлять протезом кисти руки. Период тренировки, которая сопровождалась дальнейшими исследованиями и постоянным совершенствованием системы, продлился более года.
Система, разработанная сотрудниками Института компьютерных архитектур и программного обеспечения Общества Фраунхофе-ра и нейрофизиологами берлинской клиники Шарите, принципиально отличается от предшественников. Чтобы пользоваться Берлинским нейро-компьютерным интерфейсрм (БНКИ), пациенту не нужно обучаться. Здесь обучается сама система, а пользователь, начиная работать с ней, должен лишь показать машине, как он собирается ею управлять.
Во время тренировочных сессий пользователь должен был нажимать клавиши правой или левой рукой или представлять себе такое движение. По результатам 4—5 сессий, каждая из которых длится около 5 минут, удается собрать до 2000 примеров, или по 1000 для каждой руки.
Затем начинается обработка ЭЭГ. Для этого в непрерывном потоке данных выделяют небольшой отрезок, непосредственно предшествующий нажатию клавиши. Выполнение каждого задания заставляет большое количество нейронов соответствующего двигательного центра коры головного мозга инициировать определенный импульс и направить его к мышцам. При этом в пределах некоторой зоны на поверхности головы возникает отрицательный потенциал, который, почти неуловимо для человеческого глаза, отражается в данных ЭЭГ. Однако такое повышение отрицательного потенциала легко обнаруживается на картинах распределения электрического поля, усредненных после многократных повторений движений левой и правой руки. При намерении совершить движение левой рукой отрицательный потенциал возникает в области правого полушария, а перед движением правой рукой – области левого полушария.
Было установлено, что заметное повышение потенциала происходит за 0,5—0,4 секунды до действительного выполнения команды. Это объясняется тем, что для выработки сигнала, способного достичь мышц руки, нервные клетки соответствующего двигательного центра должны накопить определенное количество энергии, тоесть на некоторое время «успокоиться», а процесс понижения их индивидуальной активности как раз и отражается в росте отрицательного потенциала. После посылки импульса также происходит задержка порядка 0,15 секунды за это время он достигает соответствующих мышц.
^ На кривых 27 каналов электроэнцефалографа (F3—01) и четырех дополнительных каналов (электромиограммы левой и правой руки EMGL и EMGR, а также элект-роокулограммы EOGh и EOGv движения глаза) представлены три примера выполнения задания здоровым пользователем. Он последовательно нажимал клавишу правой, левой и вновь левой рукой. Активность мышц руки, выполняющей движение, заметна в каналах EMG (в черных рамках). Если не произвести соответствующую обработку сигналов, на кривых ЭЭГ невозможно увидеть связь между намерением выполнить действие (в цветных рамках) и самим последующим действием (вершины треугольников).
На картинах распределения электрических потенциалов на поверхности головы видно, что за несколько долей секунды до выполнения действия правой рукой отрицательный потенциал повышается в левой половине коры головного мозга и наоборот.
Берлинский НКИ, таким образом, может заранее распознать команду на совершение мышечного движения. Это свойство позволяет применять его в ситуациях, когда для обеспечения безопасности требуются превентивные меры. В частности, он окажется полезным в системах безопасности автомобилей: перед возможным столкновением еще до нажатия водителем педали тормоза подушки или ремни безопасности будут приведены в состояние готовности.
После того как собрано достаточное количество примеров, включается автоматическая процедура обучения. Она производит анализ примеров и вырабатывает модель управления системой, наиболее подходящую для данного пользователя. Для этого подбираются характерные признаки, несущие информацию о различных командах управления, и рассчитывается математическая функция, способная по каждому набору признаков генерировать команду управления.
Весь процесс обучения системы занимает не более двух минут, в течение которых пользователь может отдохнуть и приготовиться к совершенно новому и необычному способу общения с компьютером и ощущению, что компьютер «понимает» его намерения еще до того, как тот сам успевает их осмыслить. Теперь всего лишь мысль о движении левой или правой рукой производит эффект, как при истинном движении. Самое главное для пользователя — не запутаться в собственных мыслях, которые пытаются обогнать одна другую, а для НКИ — успевать обрабатывать и реализовы-вать сигналы, полученные от пользователя, в реальном времени.
Общая схема обработки данных в БНКИ может быть представлена как своеобразный конвейер с несколькими «рабочими», каждый из которых выполняет специфическую задачу и передает информацию другому. Сбор и хранение данных ЭЭГ могут быть поручены первому компьютеру, который является сервером. На втором — производятся выбор признаков, их классификация по типам (например, «есть движение — нет движения» или «движение вправо — движение влево») и, наконец, формирование команды управления. Готовая команда посылается виртуальным сервером на третий ПК, в котором она играет роль команд, поступающих с устройств ввода, и управляет работой игровой или реабилитационной прикладной программы. Реакция на сигналы пользователя отражается на мониторе, то есть возникает обратная связь, позволяющая системе НКИ и пользователю адаптироваться друг к другу.
В связи с большими потоками информации БНКИ сконструирован с использованием нескольких компьютеров, объединенных в локальную сеть. В такой конфигурации БНКИ способен решать двоичную задачу, то есть выбирать один вариант из двух возможных. Он, например, с точностью 75—90% за 0,2—0,1 секунды до того, как пользователь действительно нажал бы соответствующую клавишу, устанавливает, левой или правой рукой тот хочет выполнить движение.
Следует заметить, что не всегда система в состоянии безошибочно идентифицировать связь между некоторым набором признаков и соответствующей командой управления. Более высокой надежности достигают, разделяя сложную задачу на несколько простых. Например, задача распознавания набора команд «влево», «вправо», «на месте» разбивается на две более простые: «движение», «покой» и «лево», «право». Формирование команды управления происходит по логическому правилу: если «движение», тогда «лево» или «право», иначе «покой».
Можно управлять движением простого объекта по экрану монитора, практиковаться в несложных компьютерных играх. Пациенту доступны также некоторые программы из области виртуальной реальности.
^ ОТ ТЕОРИИ К ПРАКТИКЕ
В БНКИ привлекает разнообразие прикладных программ (приложений) обратной связи. Они содержат объекты, которыми управляют, не нажимая клавиши или передвигая мышь. Для этого служит команда, сформированная другим компьютером. Обратная связь в этом случае очень важна: пользователь должен все время видеть реакцию системы на свои мысленные приказы.
Из приложений БНКИ можно выделить две категории: игровые и реабилитационные. Игровые программы предназначены для здоровых пользователей, а реабилитационные позволяют пациенту с ограниченными двигательными возможностями поддерживать связь с окружающим миром. Среди игровых программ на сегодня есть адаптированные версии известных компьютерных игр, таких, как теннис, диггер или тетрис. Среди реабилитационных программ следует выделить «мысленную пишущую машинку» и «виртуальную руку».
На начальных этапах освоения системы рекомендуется использовать простейшую прикладную программу «бегущий крест». Курсор в виде небольшого креста движется по экрану в соответствии с результатами обработки сигналов электроэнцефалографа. Вертикальная координата курсора изменяется при поступлении команды «движение», а горизонтальная координата — при поступлении команды «право» или «лево». Координаты курсора обновляются с частотой 25 Гц. Таким образом, положение курсора позволяет визуализировать, насколько правильно система распознает управляющие команды. При мысленном желании подвинуть левую (правую) руку курсор должен попасть в левое (правое) верхнее поле, изменяя при этом его окраску.
Такого рода двоичное управление успешно используется в виртуальной пишущей машинке. Пациент выбирает одну из панелей (левую или правую), в которой содержится требуемая буква, то есть как во время процедуры обучения системы. После этого имеющиеся в ней знаки распределяются снова по двум панелям, и пользователь вновь делает выбор, пока не останется одна буква. «Машинка» позволяет пациенту увидеть и почувствовать, как реализуются его мысленные команды.
Работая на виртуальной пишущей машинке, пользователь за несколько шагов выбирает нужную букву.
В нижней части экрана есть поле обратной связи, с помощью которого пользователь-новичок контролирует свои действия, наблюдая за отклонением указателя влево и вправо. По достижении некоторого навыка это поле отключают, так как лишние объекты на экране будут скорее мешать, чем помогать.
С помощью этой прикладной программы пользователь может набирать текст со скоростью от 7 до 15 знаков в минуту. Если при этом дополнительно применить технологию Т9, которая предлагает наиболее вероятные продолжения слова, то работа станет еще эффективнее.
Наиболее удобным и естественным для человека устройством ввода информации в компьютер считается мышь. Поэтому резонно возникает вопрос о способе непрерывно двигать курсор, как происходит при перемещении мыши по коврику. Таким способом, в частности, управляют курсором в компьютерной игре «теннис», первые версии которой появились еще во времена монохромных зеленых экранов (тогда, правда, курсор перемещали, нажимая клавиши со стрелками).
Для реализации подобной игры вполне подходит БНКИ. Во время игры «мяч» движется по экрану, отскакивая от боковых и верхнего краев, а по нижнему краю передвигается «ракетка», управляемая «силой мысли», так, чтобы в нужный момент перехватить «мяч». Разумеется, в такой «мысленный теннис» могут сражаться два игрока одновременно.
Следующей ступенью будет задача перемещения курсора по всей плоскости экрана.
^ Приложение обратной связи БНКИ «мысленный теннис».
Другим приложением БНКИ стала игра «диггер». Курсор представляет собой путешественника (зеленый кружок с «носом», указывающим направление движения). Он должен как можно быстрее пройти тоннели подземного лабиринта. Диггер движется по тоннелю с постоянной скоростью, пока не «упрется» в стену. В местах ответвлений пользователь может дать одну из команд: «налево» или «направо».
^ Приложение обратной связи БНКИ "мысленный диггер".
Сценарий, аналогичный используемому в игре «диггер», можно применить к управлению инвалидной коляской. «Умная» коляска, оснащенная видеокамерой для определения местонахождения и обнаружения препятствий, интерпретирует следующие команды: «поверни налево (направо) при следующей возможности», «двигайся вперед (назад) при отсутствии помех» и т. п. Такого рода управление уже разрабатывается и применяется для пациентов со сложными травмами и заболеваниями спинного мозга, правда пока в единичных случаях.
Игра в «мысленный тетрис» требует от НКИ способности распознавать более двух групп сигналов (например, движение левой и правой рукой для кодирования команд движения вправо и влево, а также ногой для вращения фигурки).
Очень интересное приложение, которое можно реализовать с помощью БНКИ, относится к серии виртуальной реальности. «Виртуальная рука», изображенная на экране, позволяет пациенту приобрести навык управления электромеханическим протезом. БНКИ распознает и формирует команды управления для таких движений, как подъем руки в плечевом суставе, сгибание ее в локте, сжимание и разжимание кисти. Более дифференцированные движения распознать пока не удается, поскольку двигательные центры мышц предплечий и пальцев расположены близко друг к другу и электроэнцефалограф не может различить картины распределения потенциалов, формируемых этими центрами.
^ Работая с приложением «виртуальная рука»,
пациент приобретает навыки управления
электромеханическим протезом: учится поднимать
его, сгибать в локте, сжимать и разжимать пальцы.
Приложение обратной связи БНКИ «мысленный тетрис».
^ А КТО ИСПРАВИТ ОШИБКУ?
Человеческий мозг обладает естественными функциями, которые не нужно вырабатывать в процессе длительной тренировки: одна из них — генерация так называемых потенциалов ошибки, когда человек обнаруживает, что развитие событий идет не так, как он хотел бы. Если НКИ ошибается в своей попытке угадать желание пользователя и делает в игре неправильный ход, то возникает одна из таких ошибочных ситуаций. «Недовольство» пользователя принятым системой решением вызывает появление потенциала ошибки, и если система распознает этот потенциал в течение 0,4—0,5 секунды после принятия последнего решения, то заменяет его на противоположное. В итоге пользователь подсознательно замечает, что что-то произошло, но не успевает осмыслить, поскольку уже видит на экране желаемую ситуацию.
^ ЧТО НАС ЖДЕТ ВПЕРЕДИ?
Чтобы НКИ стали более совершенными, разработчикам нужна помощь, в первую очередь от фундаментальной науки. Но не стоит забывать и о потенциальных пользователях — именно они зададут в ближайшем будущем основные пути развития систем управления и коммуникации с помощью «силы мысли».
Дальнейшие разработки систем НКИ будут вестись на основе более глубокого изучения нейрофизиологических свойств и особенностей «поведения» соответствующих зон головного мозга. Это позволит значительно расширить диапазон команд управления. Современная нейрология располагает довольно неточными «картами» головного мозга. Недостаточно изучены функции и назначения отдельных регионов. К наиболее хорошо изученным можно отнести двигательный и осязательный ареалы коры, и здесь мы можем с точностью до 3—7 мм указать на поверхности мозга расположение нервных клеток, которые несут ответственность за ту или иную часть тела.
Не стоит на месте и техника. Сейчас идет разработка новых, более простых и удобных для пациентов и пользователей сенсорных технологий снятия электроэнцефалограмм и с этой целью создают бесконтактные электроды.
Новые компьютерные игры помогут уже в ближайшем будущем использовать НКИ для определения уровня стресса, страха или умственной нагрузки. Благодаря новинкам в области цифровой обработки сигналов и машинного обучения появятся средства точного распознавания и перевода биоэлектрических импульсов в команды. Тогда перед НКИ откроется еще более широкий спектр применений. Они станут незаменимы в области безопасности, а также в ситуациях, требующих сверхскоростных реакций, например для осуществления экстренного торможения. Рассматривается возможность применять системы НКИ для отслеживания состояния (степени усталости, умственного перенапряжения, сонливости) лиц, несущих повышенную нервную нагрузку, например водителей автобусов, пилотов самолетов и космонавтов.
В интернациональном коллективе авторов собрались ученые разных специальностей: математики, программисты, биолог. Такое содружество оказалось очень плодотворным, и в результате получено новое средство для общения с окружающим миром.
^ ПОПОДРОБНОСТИ ДЛЯ ЛЮБОЗНАТЕЛЬНЫХ
ИНТЕРФЕЙС: СРЕДСТВО ОБЩЕНИЯ
Когда появились первые электронно-вычислительные машины, перед их создателями встала проблема связать различные функциональные узлы — процессор, запоминающие устройства, устройства ввода—вывода. Для этого в конструкцию и программное обеспечение машин вводили системы сопряжения, причем обмен информацией осуществлялся с помощью унифицированных сигналов. Поскольку пионерами в этой области техники были англичане и американцы, то они и разрабатывали терминологию. Аппаратные и программные средства сопряжения назвали интерфейсами (interface), что в дословном переводе с английского означает междуличие (в данном случае даже пуристы предпочтут употреблять американизм, а не русскоязычный аналог). Термин закрепился, и по сей день интерфейсами называют электрические разъемы, которые служат для присоединения клавиатуры, мыши, монитора и т.д. к системному блоку ПК.
Интерфейс играет ту же роль, что переводчик в беседе людей разных национальностей.
Позже у слова «интерфейс» появился и другой смысл: им стали обозначать способ общения человека с компьютером, поэтому, чтобы не запутаться, новый термин зазвучал как «интерфейс пользователя».Первым интерфейсом пользователя стал дырокол. Его применяли, чтобы пробивать отверстия в перфокартах. Отверстие на перфокарте означало единицу в двоичной системе счисления, а его отсутствие — нуль. Таким образом, на перфокарте оказывалось зашифровано некое двоичное число, которое воспринималось машиной либо как команда, либо как информация, которую нужно было обработать.
Программистам приходилось быть очень внимательными, поскольку такой интерфейс пользователя не предусматривал обратной связи и любая ошибка приводила к сбою работы машины.
Прошли годы, и инженеры придумали способ, как выводить буквенно-числовую информацию на экране электронно-лучевой трубки. Для ввода данных теперь пользовались клавиатурой, как у пишущей машинки. Оператор мог следить, какой знак введен в компьютер, и при ошибке сразу вносил исправления. Такой интерфейс назвали буквенно-цифровым. Он применялся и на первых персональных компьютерах.
Широкое распространение относительно дешевых ПК привело к тому, что работать на них стали не только профессиональные программисты. Чтобы помочь неподготовленному пользователю, создатели программного обеспечения разработали интерфейс, который не требовал ввода тех или иных команд, а позволял выбирать их из готового списка (меню). Самой известной из подобных программ стал Norton Commander, предназначенный для операционной системы DOS компании «Microsoft».
Качество ПК быстро повышалось, их возможности росли. К середине 1980-х годов они обладали уже таким быстродействием и такими ресурсами памяти, что компания «Macintosh» поставила на свои, достаточно дорогие компьютеры операционную систему с графическим интерфейсом пользователя. Чуть позже появилась графическая оболочка Windows, предназначенная для более дешевых IBM-совместимых компьютеров.
При загрузке компьютера на экране монитора появлялись не слова или их аббревиатуры, а легко запоминающиеся картинки: значки или иконки. Щелкая на них мышью, пользователь заставляет компьютер выполнять самые различные действия. Кроме того, графические оболочки и операционные системы позволили реализовать принцип, когда текст или картинка, изображенные на экране, абсолютно в том же виде воспроизводятся при печати на бумаге.
Теперь становится понятным и термин «нейро-компьютерный интерфейс»: это управление компьютером с помощью электрических сигналов головного мозга.
www.ronl.ru
Моему хотенью берлинский нейро-компьютерный интерфейс
- Реальность снов, 6519.4kb.
- Курс семестр кредиты академические часы в неделю Форма Контроля, 370.54kb.
- Компьютерный сленг, 390.92kb.
- Освоить методику определения нагрузочных характеристик и получить на ЭВМ графические, 176.13kb.
- Ования трёхмерными объектами можно разделить на две категории: традиционные (командная, 73.7kb.
- Разбиение протоколов по уровням стек tcp/ip делится на 4 уровня: канальный, межсетевой,, 48.93kb.
- Урок 12 Урок №12 Тема: Графический интерфейс операционной системы, 59.92kb.
- Жизни, обучившим меня волшебной науке превращения вожделения в любовь: моей матери, 2578.05kb.
- Всероссийскийй заочный финансово-экономический институт, 312.92kb.
- Проект учащихся моу дод «Компьютерный центр», 126.03kb.
БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС
Р. КРЕПКИЙ, П. ЛАСКОВ, Г. КУРИО, Б. БЛАНКЕРЦ, К.-Р. МЮЛЛЕР (Институт компьютерных архитектур и программного обеспечения Общества Фраунхофера, Берлин).
В известной русской народной сказке Емеля поймал щуку, но, пожалев, выпустил ее обратно в реку. В благодарность поведала ему щука волшебные слова: «По щучьему веленью, по моему хотенью...». Как только произнесет их Емеля, вокруг начинаются чудеса: он и пальцем не шевелит, а ведра сами домой идут, топор сам дрова колет, печь Емелю к царю везет. Насколько далек вымысел от действительности и не может ли сказочный сюжет послужить стимулом для ученых попытаться воплотить его в жизнь?
МЫСЛЬ МОЖЕТ СТАТЬ ФИЗИЧЕСКОЙ СИЛОЙ
Для лентяя Емели езда на печи была обычной прихотью, а для многих парализованных и прикованных к постели людей возможность передвигаться, найти хоть какой-то способ общаться с окружающими равносильна возможности жить. Как бы заставить инвалидную коляску ехать, останавливаться или поворачивать без физического воздействия и без посторонней помощи? Для пациентов, потерявших способность управлять деятельностью мышц, единственный способ общения с внешним миром — это материализация их мысленных желаний.
Намерение выполнить определенное действие возникает в недрах нашего мозга и превращается в электрический потенциал. Его распределение в пространстве и времени создает определенную картину, которую можно отобразить с помощью электроэнцефалографа1. В настоящее время созданы особые системы, получившие название нейро-компьютерных интерфейсов2, которые способны различать множество таких картин и превращать их в команды, управляющие работой компьютера или компьютеризованных электромеханических устройств (роботов).
Получив возможность мысленным усилием направлять курсор в нужную область экрана монитора, пациенты сумеют печатать сообщения и пользоваться Интернетом. Есть много прикладных программ для здоровых людей, и с помощью НКИ человек в дополнение к привычным коммуникационным каналам (зрению, слуху, осязанию, движению) получит канал «восприятия», «мышления».
КАК ВСЕ НАЧИНАЛОСЬ
Еще в 1929 году немецкому врачу-нейрофизиологу Хансу Бергеру впервые удалось снять показания электроэнцефалографа и подтвердить гипотезу о том, что действия человека всегда связаны с повышением активности отдельных зон коры головного мозга.
Общая модель нейро-компьютерного интерфейса представляет собой замкнутый поток информации. При намерении совершить какое-либо действие у пользователя повышается электрическая активность соответствующих зон головного мозга. Эти сигналы снимаются электроэнцефалографом и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее набор признаков разделяют по типам, и компьютер вырабатывает команду, управляющую исполнительным устройством (компьютерной программой, инвалидной коляской, протезом и пр.). Пользователь в режиме реального времени наблюдает за реакцией системы на свое мысленное действие.
С тех пор многие исследователи неоднократно хотели научиться «читать мысли», пытаясь расшифровать электроэнцефалограмму. Но мешали технические причины: недостаточное пространственное разрешение электроэнцефалографов (то есть не удавалось в подробностях получить картину распределения потенциалов), а также отсутствие возможности хранить и обрабатывать в режиме реального времени огромные массивы данных. = В современных электроэнцефалографах используют множество поверхностных электродов из специального сплава, чувствительного к предельно малым токам. Электроды вмонтированы в эластичную тряпичную шапочку и снимают напряжения, возникающие между определенной точкой поверхности головы и некоторой контрольной точкой. Затем сигнал усиливают, преобразуют в цифровой вид и обрабатывают на компьютере. Об интерфейсах рассказывается в заметке, помещенной после статьи.
Последнее десятилетие прошлого века прошло под знаком стремительного развития информационных технологий, давших в распоряжение ученых высокоскоростные ЭВМ с большой памятью. Прогресс в области цифровой обработки сигналов и статистического анализа, а также новые теоретические знания о нейронных сетях открыли перед научными коллективами перспективу практической реализации различного рода нейро-компьютерных интерфейсов (НКИ).
В большинстве предлагаемых систем для управления используются электромагнитные сигналы, поступающие от мышц, двигающих глазное яблоко, и мимических мышц. Такой интерфейс показал высокую эффективность, но его нельзя в полной мере назвать нейро-ком-пьютерным. Более того, для пациентов, полностью утративших двигательные функции, его применимость сильно ограничена.
Первые эксперименты с НКИ начали проводить в Уодсфорд-центре Нью-Йоркского университета в Олбани. Руководитель центра Джон Волпов определил нейро-компьютерный интерфейс как систему для управления исполнительным устройством (компьютером, инвалидной коляской или электромеханическим протезом) посредством мысленного усилия, которое не зависит от периферийных нервов и мышц, представляющих собой обычные каналы передачи информации от головного мозга.
Основным приложением НКИ, созданного в Уодсфорд-центре, стала виртуальная клавиатура, на которой парализованные люди учатся генерировать сигналы определенной частоты в определенных зонах головного мозга. С помощью этих сигналов они отклоняют вверх или вниз курсор, движущийся по экрану монитора с постоянной скоростью слева направо.
Пациент в реальном времени наблюдает, как устройство анализирует создаваемые им пространственно-временные картины, и стремится подвести курсор к нужному полю в правой части экрана. В каждом из полей содержатся группы букв, цифр или знаков препинания. Когда группа выбрана, то есть в ней оказывается курсор, символы из нее перераспределяются по остальным полям. Далее пользователь снова ведет курсор в поле, содержащее нужный символ, и за несколько повторов (от 3 до 7) выбирает нужный символ, который затем появляется в строке в верхней части экрана.
В нейро-компьютерном интерфейсе, созданном в Уодсфорд-центре, пациент учится направлять движущийся с постоянной скоростью курсор к полю, содержащему нужный символ. За несколько повторов можно выбрать символ, который затем включится в текст, появляющийся в верхней части экрана.
БЕРЛИНСКИЙ НКИ
ЧЕЛОВЕК И КОМПЬЮТЕР
Процесс тренировки не прост, занимает много времени, но результат стоит того.
Еще две самые известные системы НКИ разработаны в Граце (Австрия) и в Тюбингене (Германия). НКИ, созданный в Австрии и основанный на использовании схожных нейрофизиологических признаков, сегодня помогает парализованному пациенту управлять протезом кисти руки. Период тренировки, которая сопровождалась дальнейшими исследованиями и постоянным совершенствованием системы, продлился более года.
Система, разработанная сотрудниками Института компьютерных архитектур и программного обеспечения Общества Фраунхофе-ра и нейрофизиологами берлинской клиники Шарите, принципиально отличается от предшественников. Чтобы пользоваться Берлинским нейро-компьютерным интерфейсрм (БНКИ), пациенту не нужно обучаться. Здесь обучается сама система, а пользователь, начиная работать с ней, должен лишь показать машине, как он собирается ею управлять.
Во время тренировочных сессий пользователь должен был нажимать клавиши правой или левой рукой или представлять себе такое движение. По результатам 4—5 сессий, каждая из которых длится около 5 минут, удается собрать до 2000 примеров, или по 1000 для каждой руки.
Затем начинается обработка ЭЭГ. Для этого в непрерывном потоке данных выделяют небольшой отрезок, непосредственно предшествующий нажатию клавиши. Выполнение каждого задания заставляет большое количество нейронов соответствующего двигательного центра коры головного мозга инициировать определенный импульс и направить его к мышцам. При этом в пределах некоторой зоны на поверхности головы возникает отрицательный потенциал, который, почти неуловимо для человеческого глаза, отражается в данных ЭЭГ. Однако такое повышение отрицательного потенциала легко обнаруживается на картинах распределения электрического поля, усредненных после многократных повторений движений левой и правой руки. При намерении совершить движение левой рукой отрицательный потенциал возникает в области правого полушария, а перед движением правой рукой – области левого полушария.
Было установлено, что заметное повышение потенциала происходит за 0,5—0,4 секунды до действительного выполнения команды. Это объясняется тем, что для выработки сигнала, способного достичь мышц руки, нервные клетки соответствующего двигательного центра должны накопить определенное количество энергии, тоесть на некоторое время «успокоиться», а процесс понижения их индивидуальной активности как раз и отражается в росте отрицательного потенциала. После посылки импульса также происходит задержка порядка 0,15 секунды за это время он достигает соответствующих мышц.
На кривых 27 каналов электроэнцефалографа (F3—01) и четырех дополнительных каналов (электромиограммы левой и правой руки EMGL и EMGR, а также элект-роокулограммы EOGh и EOGv движения глаза) представлены три примера выполнения задания здоровым пользователем. Он последовательно нажимал клавишу правой, левой и вновь левой рукой. Активность мышц руки, выполняющей движение, заметна в каналах EMG (в черных рамках). Если не произвести соответствующую обработку сигналов, на кривых ЭЭГ невозможно увидеть связь между намерением выполнить действие (в цветных рамках) и самим последующим действием (вершины треугольников).
На картинах распределения электрических потенциалов на поверхности головы видно, что за несколько долей секунды до выполнения действия правой рукой отрицательный потенциал повышается в левой половине коры головного мозга и наоборот.
Берлинский НКИ, таким образом, может заранее распознать команду на совершение мышечного движения. Это свойство позволяет применять его в ситуациях, когда для обеспечения безопасности требуются превентивные меры. В частности, он окажется полезным в системах безопасности автомобилей: перед возможным столкновением еще до нажатия водителем педали тормоза подушки или ремни безопасности будут приведены в состояние готовности.
После того как собрано достаточное количество примеров, включается автоматическая процедура обучения. Она производит анализ примеров и вырабатывает модель управления системой, наиболее подходящую для данного пользователя. Для этого подбираются характерные признаки, несущие информацию о различных командах управления, и рассчитывается математическая функция, способная по каждому набору признаков генерировать команду управления.
Весь процесс обучения системы занимает не более двух минут, в течение которых пользователь может отдохнуть и приготовиться к совершенно новому и необычному способу общения с компьютером и ощущению, что компьютер «понимает» его намерения еще до того, как тот сам успевает их осмыслить. Теперь всего лишь мысль о движении левой или правой рукой производит эффект, как при истинном движении. Самое главное для пользователя — не запутаться в собственных мыслях, которые пытаются обогнать одна другую, а для НКИ — успевать обрабатывать и реализовы-вать сигналы, полученные от пользователя, в реальном времени.
Общая схема обработки данных в БНКИ может быть представлена как своеобразный конвейер с несколькими «рабочими», каждый из которых выполняет специфическую задачу и передает информацию другому. Сбор и хранение данных ЭЭГ могут быть поручены первому компьютеру, который является сервером. На втором — производятся выбор признаков, их классификация по типам (например, «есть движение — нет движения» или «движение вправо — движение влево») и, наконец, формирование команды управления. Готовая команда посылается виртуальным сервером на третий ПК, в котором она играет роль команд, поступающих с устройств ввода, и управляет работой игровой или реабилитационной прикладной программы. Реакция на сигналы пользователя отражается на мониторе, то есть возникает обратная связь, позволяющая системе НКИ и пользователю адаптироваться друг к другу.
В связи с большими потоками информации БНКИ сконструирован с использованием нескольких компьютеров, объединенных в локальную сеть. В такой конфигурации БНКИ способен решать двоичную задачу, то есть выбирать один вариант из двух возможных. Он, например, с точностью 75—90% за 0,2—0,1 секунды до того, как пользователь действительно нажал бы соответствующую клавишу, устанавливает, левой или правой рукой тот хочет выполнить движение.
Следует заметить, что не всегда система в состоянии безошибочно идентифицировать связь между некоторым набором признаков и соответствующей командой управления. Более высокой надежности достигают, разделяя сложную задачу на несколько простых. Например, задача распознавания набора команд «влево», «вправо», «на месте» разбивается на две более простые: «движение», «покой» и «лево», «право». Формирование команды управления происходит по логическому правилу: если «движение», тогда «лево» или «право», иначе «покой».
Можно управлять движением простого объекта по экрану монитора, практиковаться в несложных компьютерных играх. Пациенту доступны также некоторые программы из области виртуальной реальности.
ОТ ТЕОРИИ К ПРАКТИКЕ
В БНКИ привлекает разнообразие прикладных программ (приложений) обратной связи. Они содержат объекты, которыми управляют, не нажимая клавиши или передвигая мышь. Для этого служит команда, сформированная другим компьютером. Обратная связь в этом случае очень важна: пользователь должен все время видеть реакцию системы на свои мысленные приказы.
Из приложений БНКИ можно выделить две категории: игровые и реабилитационные. Игровые программы предназначены для здоровых пользователей, а реабилитационные позволяют пациенту с ограниченными двигательными возможностями поддерживать связь с окружающим миром. Среди игровых программ на сегодня есть адаптированные версии известных компьютерных игр, таких, как теннис, диггер или тетрис. Среди реабилитационных программ следует выделить «мысленную пишущую машинку» и «виртуальную руку».
На начальных этапах освоения системы рекомендуется использовать простейшую прикладную программу «бегущий крест». Курсор в виде небольшого креста движется по экрану в соответствии с результатами обработки сигналов электроэнцефалографа. Вертикальная координата курсора изменяется при поступлении команды «движение», а горизонтальная координата — при поступлении команды «право» или «лево». Координаты курсора обновляются с частотой 25 Гц. Таким образом, положение курсора позволяет визуализировать, насколько правильно система распознает управляющие команды. При мысленном желании подвинуть левую (правую) руку курсор должен попасть в левое (правое) верхнее поле, изменяя при этом его окраску.
Такого рода двоичное управление успешно используется в виртуальной пишущей машинке. Пациент выбирает одну из панелей (левую или правую), в которой содержится требуемая буква, то есть как во время процедуры обучения системы. После этого имеющиеся в ней знаки распределяются снова по двум панелям, и пользователь вновь делает выбор, пока не останется одна буква. «Машинка» позволяет пациенту увидеть и почувствовать, как реализуются его мысленные команды.
Работая на виртуальной пишущей машинке, пользователь за несколько шагов выбирает нужную букву.
В нижней части экрана есть поле обратной связи, с помощью которого пользователь-новичок контролирует свои действия, наблюдая за отклонением указателя влево и вправо. По достижении некоторого навыка это поле отключают, так как лишние объекты на экране будут скорее мешать, чем помогать.
С помощью этой прикладной программы пользователь может набирать текст со скоростью от 7 до 15 знаков в минуту. Если при этом дополнительно применить технологию Т9, которая предлагает наиболее вероятные продолжения слова, то работа станет еще эффективнее.
Наиболее удобным и естественным для человека устройством ввода информации в компьютер считается мышь. Поэтому резонно возникает вопрос о способе непрерывно двигать курсор, как происходит при перемещении мыши по коврику. Таким способом, в частности, управляют курсором в компьютерной игре «теннис», первые версии которой появились еще во времена монохромных зеленых экранов (тогда, правда, курсор перемещали, нажимая клавиши со стрелками).
Для реализации подобной игры вполне подходит БНКИ. Во время игры «мяч» движется по экрану, отскакивая от боковых и верхнего краев, а по нижнему краю передвигается «ракетка», управляемая «силой мысли», так, чтобы в нужный момент перехватить «мяч». Разумеется, в такой «мысленный теннис» могут сражаться два игрока одновременно.
Следующей ступенью будет задача перемещения курсора по всей плоскости экрана.
Приложение обратной связи БНКИ «мысленный теннис».
Другим приложением БНКИ стала игра «диггер». Курсор представляет собой путешественника (зеленый кружок с «носом», указывающим направление движения). Он должен как можно быстрее пройти тоннели подземного лабиринта. Диггер движется по тоннелю с постоянной скоростью, пока не «упрется» в стену. В местах ответвлений пользователь может дать одну из команд: «налево» или «направо».
Приложение обратной связи БНКИ "мысленный диггер".
Сценарий, аналогичный используемому в игре «диггер», можно применить к управлению инвалидной коляской. «Умная» коляска, оснащенная видеокамерой для определения местонахождения и обнаружения препятствий, интерпретирует следующие команды: «поверни налево (направо) при следующей возможности», «двигайся вперед (назад) при отсутствии помех» и т. п. Такого рода управление уже разрабатывается и применяется для пациентов со сложными травмами и заболеваниями спинного мозга, правда пока в единичных случаях.
Игра в «мысленный тетрис» требует от НКИ способности распознавать более двух групп сигналов (например, движение левой и правой рукой для кодирования команд движения вправо и влево, а также ногой для вращения фигурки).
Очень интересное приложение, которое можно реализовать с помощью БНКИ, относится к серии виртуальной реальности. «Виртуальная рука», изображенная на экране, позволяет пациенту приобрести навык управления электромеханическим протезом. БНКИ распознает и формирует команды управления для таких движений, как подъем руки в плечевом суставе, сгибание ее в локте, сжимание и разжимание кисти. Более дифференцированные движения распознать пока не удается, поскольку двигательные центры мышц предплечий и пальцев расположены близко друг к другу и электроэнцефалограф не может различить картины распределения потенциалов, формируемых этими центрами.
Работая с приложением «виртуальная рука»,
пациент приобретает навыки управления
электромеханическим протезом: учится поднимать
его, сгибать в локте, сжимать и разжимать пальцы.
Приложение обратной связи БНКИ «мысленный тетрис».
А КТО ИСПРАВИТ ОШИБКУ?
Человеческий мозг обладает естественными функциями, которые не нужно вырабатывать в процессе длительной тренировки: одна из них — генерация так называемых потенциалов ошибки, когда человек обнаруживает, что развитие событий идет не так, как он хотел бы. Если НКИ ошибается в своей попытке угадать желание пользователя и делает в игре неправильный ход, то возникает одна из таких ошибочных ситуаций. «Недовольство» пользователя принятым системой решением вызывает появление потенциала ошибки, и если система распознает этот потенциал в течение 0,4—0,5 секунды после принятия последнего решения, то заменяет его на противоположное. В итоге пользователь подсознательно замечает, что что-то произошло, но не успевает осмыслить, поскольку уже видит на экране желаемую ситуацию.
ЧТО НАС ЖДЕТ ВПЕРЕДИ?
Чтобы НКИ стали более совершенными, разработчикам нужна помощь, в первую очередь от фундаментальной науки. Но не стоит забывать и о потенциальных пользователях — именно они зададут в ближайшем будущем основные пути развития систем управления и коммуникации с помощью «силы мысли».
Дальнейшие разработки систем НКИ будут вестись на основе более глубокого изучения нейрофизиологических свойств и особенностей «поведения» соответствующих зон головного мозга. Это позволит значительно расширить диапазон команд управления. Современная нейрология располагает довольно неточными «картами» головного мозга. Недостаточно изучены функции и назначения отдельных регионов. К наиболее хорошо изученным можно отнести двигательный и осязательный ареалы коры, и здесь мы можем с точностью до 3—7 мм указать на поверхности мозга расположение нервных клеток, которые несут ответственность за ту или иную часть тела.
Не стоит на месте и техника. Сейчас идет разработка новых, более простых и удобных для пациентов и пользователей сенсорных технологий снятия электроэнцефалограмм и с этой целью создают бесконтактные электроды.
Новые компьютерные игры помогут уже в ближайшем будущем использовать НКИ для определения уровня стресса, страха или умственной нагрузки. Благодаря новинкам в области цифровой обработки сигналов и машинного обучения появятся средства точного распознавания и перевода биоэлектрических импульсов в команды. Тогда перед НКИ откроется еще более широкий спектр применений. Они станут незаменимы в области безопасности, а также в ситуациях, требующих сверхскоростных реакций, например для осуществления экстренного торможения. Рассматривается возможность применять системы НКИ для отслеживания состояния (степени усталости, умственного перенапряжения, сонливости) лиц, несущих повышенную нервную нагрузку, например водителей автобусов, пилотов самолетов и космонавтов.
В интернациональном коллективе авторов собрались ученые разных специальностей: математики, программисты, биолог. Такое содружество оказалось очень плодотворным, и в результате получено новое средство для общения с окружающим миром.
ПОПОДРОБНОСТИ ДЛЯ ЛЮБОЗНАТЕЛЬНЫХ
ИНТЕРФЕЙС: СРЕДСТВО ОБЩЕНИЯ
Когда появились первые электронно-вычислительные машины, перед их создателями встала проблема связать различные функциональные узлы — процессор, запоминающие устройства, устройства ввода—вывода. Для этого в конструкцию и программное обеспечение машин вводили системы сопряжения, причем обмен информацией осуществлялся с помощью унифицированных сигналов. Поскольку пионерами в этой области техники были англичане и американцы, то они и разрабатывали терминологию. Аппаратные и программные средства сопряжения назвали интерфейсами (interface), что в дословном переводе с английского означает междуличие (в данном случае даже пуристы предпочтут употреблять американизм, а не русскоязычный аналог). Термин закрепился, и по сей день интерфейсами называют электрические разъемы, которые служат для присоединения клавиатуры, мыши, монитора и т.д. к системному блоку ПК.
Интерфейс играет ту же роль, что переводчик в беседе людей разных национальностей.
Позже у слова «интерфейс» появился и другой смысл: им стали обозначать способ общения человека с компьютером, поэтому, чтобы не запутаться, новый термин зазвучал как «интерфейс пользователя».Первым интерфейсом пользователя стал дырокол. Его применяли, чтобы пробивать отверстия в перфокартах. Отверстие на перфокарте означало единицу в двоичной системе счисления, а его отсутствие — нуль. Таким образом, на перфокарте оказывалось зашифровано некое двоичное число, которое воспринималось машиной либо как команда, либо как информация, которую нужно было обработать.
Программистам приходилось быть очень внимательными, поскольку такой интерфейс пользователя не предусматривал обратной связи и любая ошибка приводила к сбою работы машины.
Прошли годы, и инженеры придумали способ, как выводить буквенно-числовую информацию на экране электронно-лучевой трубки. Для ввода данных теперь пользовались клавиатурой, как у пишущей машинки. Оператор мог следить, какой знак введен в компьютер, и при ошибке сразу вносил исправления. Такой интерфейс назвали буквенно-цифровым. Он применялся и на первых персональных компьютерах.
Широкое распространение относительно дешевых ПК привело к тому, что работать на них стали не только профессиональные программисты. Чтобы помочь неподготовленному пользователю, создатели программного обеспечения разработали интерфейс, который не требовал ввода тех или иных команд, а позволял выбирать их из готового списка (меню). Самой известной из подобных программ стал Norton Commander, предназначенный для операционной системы DOS компании «Microsoft».
Качество ПК быстро повышалось, их возможности росли. К середине 1980-х годов они обладали уже таким быстродействием и такими ресурсами памяти, что компания «Macintosh» поставила на свои, достаточно дорогие компьютеры операционную систему с графическим интерфейсом пользователя. Чуть позже появилась графическая оболочка Windows, предназначенная для более дешевых IBM-совместимых компьютеров.
При загрузке компьютера на экране монитора появлялись не слова или их аббревиатуры, а легко запоминающиеся картинки: значки или иконки. Щелкая на них мышью, пользователь заставляет компьютер выполнять самые различные действия. Кроме того, графические оболочки и операционные системы позволили реализовать принцип, когда текст или картинка, изображенные на экране, абсолютно в том же виде воспроизводятся при печати на бумаге.
Теперь становится понятным и термин «нейро-компьютерный интерфейс»: это управление компьютером с помощью электрических сигналов головного мозга.
geum.ru
definition of Нейрокомпьютерный интерфейс and synonyms of Нейрокомпьютерный интерфейс (Russian)
Материал из Википедии — свободной энциклопедии
Пример управления с помощью однонаправленного нейро-компьютерного интерфейса
Нейро-компьютерный интерфейс (НКИ) (называемый также прямой нейронный интерфейс или мозговой интерфейс) — система, созданная для обмена информацией между мозгом и электронным устройством (например, компьютером). В однонаправленных интерфейсах внешние устройства могут либо принимать сигналы от мозга, либо посылать ему сигналы (например, имитируя сетчатку глаза при восстановлении зрения электронным имплантатом). Двунаправленные интерфейсы позволяют мозгу и внешним устройствам обмениваться информацией в обоих направлениях.
Исследование нейро-компьютерного интерфейса начались в 1970-х годах в Университете Лос-Анжелеса штат Калифорния (UCLA). После многолетних экспериментов на животных в середине девяностых годов в организм человека были имплантированы первые устройства, способные передавать биологическую информацию от тела человека к компьютеру. С помощью этих устройств удалось восстановить поврежденные функции слуха, зрения, а также утраченные двигательные навыки.В основе успешной работы НКИ лежит способность коры больших полушарий к адаптации (свойство пластичности), благодаря которому имплантированное устройство может служить источником биологической информации.
Попытки создания
В нейрохирургическом центре в Кливленде в 2004 году был создан первый искусственный кремниевый чип — аналог гиппокампа, который в свою очередь был разработан в университете Южной Калифорнии в 2003 году. Кремний обладает возможностью соединять неживую материю с живыми нейронами, а окруженные нейронами транзисторы получают сигналы от нервных клеток, одновременно конденсаторы отсылают к ним сигналы. Каждый транзистор на чипе улавливает малейшее, едва заметное изменение электрического заряда, которое происходит при «выстреле» нейрона в процессе передачи заряженных ионов натрия.Новая микросхема способна получать импульсы от 16 тысяч мозговых нейронов биологического происхождения и посылать обратно сигналы к нескольким сотням клеток.Так как при производстве чипа нейроны были выделены из окружающих их глиальных клеток, то пришлось добавить протеины, которые «склеивают» нейроны в мозге, также образуя дополнительные натриевые каналы. Увеличение числа натриевых каналов повышает шансы на то, что транспорт ионов преобразуется в электрические сигналы в чипе.Эта технология является первым шагом к будущему симбиозу мозга и компьютера.Необходимо и далее идти по пути усложнения подобных чипов, так как только создание подобных чипов способно будет в будущем помочь узнать всё о мозге.
НКИ и нейропротезирование
Нейропротезитрование — область неврологии, занимающаяся созданием и имплантацией искусственных устройств для восстановления нарушенных функций нервной системы или сенсорных органов (нейропротезов или нейроимплантов). Наиболее часто используется кохлеарный нейроимплантат, которым пользутся около 100 000 человек по всему миру (по данным на 2006 год). Существуют также нейропротезы для восстановления зрения, например, имплантаты сетчатки.Основное отличие НКИ от нейропротезирования заключается в особенностях их применения: нейропротезы чаще всего «подключают» нервную систему к имплантированному устройству, в то время как НКИ обычно соединяет мозг (или нервную систему) с компьютерной системой. На практике нейропротез может быть подсоединен к любой части нервной системы, например, к периферическим нервам, в то время как НКИ представляет собой более узкий класс систем, взаимодействующих с центральной нервной системой.Термины нейропротезирование и НКИ могут быть взаимозаменяемыми, поскольку оба подхода преследуют одну цель — восстановление зрения, слуха, двигательных способностей, способности общаться и других когнитивных функций. Кроме того, в обоих подходах используются аналогичные экспериментальные методы, включая хирургическое вмешательство.
Испытания НКИ на животных
Нескольким лабораториям удалось записать сигналы от коры головного мозга обезьяны и крысы для управления НКИ при движении. Обезьяны управляли курсором на экране компьютера и давали команды на выполнения простейших действий роботам, имитирующим руку, мысленно и без каких-либо движений. Другие ислледования с участием кошек были посвящены расшифровке визуальных сигналов.
Ранние работы
Исследования, в результате которых были разработаны алгоритмы для реконструкции движений из сигналов нейронов моторной зоны коры головного мозга, которые контролируют двигательные функции, датируются 1970-ми годами. Исследовательские группы, возглавлявшиеся Шмидтом, Фетзом и Бейкером в 1970-х установили, что обезьяны могут быстро обучаться избирательно контролировать скорость реакции отдельных нейронов в первичной двигательной коре головного мозга используя замкнутое позиционирование операций, обучающий метод наказания и наград.В 1980-х Апостолос Георгопоулос из Университета Хопкинса обнаружил математическую зависимость между электрическими ответами отдельных нейронов коры головного мозга у макак резус и направлением, в котором макаки двигали свои конечности (на основе функции косинуса). Он также обнаружил, что разные группы нейронов в различных областях головного мозга совместно контролировали двигательные команды, но были способны регистрировать электрические сигналы от возбужденных нейронов только в одной области одновременно из-за технических ограничений, налагаемых его оборудованием.С середины 1990-х годов началось быстрое развитие НКИ. Нескольким группам ученых удалось зафиксировать сигналы двигательного центра мозга используя записи сигналов от групп нейронов, а также использовать эти сигналы для управления внешними устройствами. Среди них можно назвать группы, возглавлявшиеся Ричардом Андерсеном, Джоном Донахью, Филиппом Кеннеди, Мигелем Николесисом, Эндрю Шварцом.
Достижения исследовательской работы
Первым в истории НКИ был создан Филлипом Кеннеди и его коллегами с использованием электродов, имплантированных в кору головного мозга обезьян.В 1999 году исследователи под руководством Яна Дэна из Университета Калифорнии расшифровали сигналы нейронов зрительной системы кошки и использовали эти данные для воспроизведения изображений, воспринимаемых подопытными животными. В этих экспериментах были использованы электроды, вживленные в таламус (структура среднего мозга, передающая в кору сенсорные сигналы от всех органов чувств). С их помощью было исследовано 177 клеток в латеральном коленчатом теле в таламусе и расшифровываны сигналы, приходящие от сетчатки. Кошкам демонстрировали восемь коротких фильмов, в течение которых проводили запись активности нейронов. Используя математические фильтры, исследователи расшифровали сигналы для воспроизведения образов, которые видели кошки и были способны воспроизвести узнаваемые сцены и двигающиеся объекты. Схожие результаты на человеке были получены исследователями из Японии.
Для повышения эффективности управления НКИ Мигель Николесис предложил регистрировать электрическую активность одновременно с помощью нескольких электродов, выживленных в удаленные области головного мозга. За первыми исследованиями на крысах, которые в девяностых годах проводили Николелис и его коллеги, последовали аналогичные эксперименты на обезьянах. В результате был создан НКИ, с помощью которого сигналы нервных клеток обезьян были расшифрованы и использованы для управления движениями робота.Именно обезьяны оказались идеальными испытуемыми для такого рода работ, поскольку у них хорошо развиты двигательные и манипуляционные навыки, и, соответственно, высоко развиты структуры головного мозга, отвечающие за реализацию моторных функций.К 2000 году группа Николелиса создала НКИ, который воспроизводил движения передних конечностей обезьян во время манипуляций джойстиком или во время захвата пищи. Данная система работала в режиме реального времени и была использована для дистанционного управления движениями робота посредством интернет-связи. При этом обезьяна не имела возможности увидеть движения собственных конечностей и не получила какой-либо другой информации для обратной связи.
Позднее группа Николесиса использовала результаты экспериментов с макаками-резус для создания алгоритма движения робота, иммитирующего движения руки человека. Для управления движениями робота использовали информацию, полученную при записи нейронной активности обезьян после декодирования. Обезьяны были обучены указывать на объекты на экране компьютера, манипулируя джойстиком. Движения конечности обезьян-операторов были воспроизведены движениями робота.
См. также
Литература
- Santhanam G., Ryu S.I., Yu B.M., Afshar A. and Shenoy K.V., A high-performance brain–computer interface, Nature Letters, Vol 442 (13 July 2006), 195-198.
- Vidal J., Toward Direct Brain–Computer Communication, in Annual Review of Biophysics and Bioengineering, L.J. Mullins, Ed., Annual Reviews, Inc., Palo Alto, Vol. 2, 1973, pp. 157-180.
- Vidal J., Real-Time Detection of Brain Events in EEG, in IEEE Proceedings, May 1977, 65-5:633-641.
- Wolpaw J.R., McFarland D.J., Neat G.W., Forneris C.A., An EEG-based brain-computer interface for cursor control. Electroencephalography & Clinical Neurophysiology. Vol 78(3), Mar 1991, 252-259.
- Wolpaw J.R., Birbaumer N., Heetderks W.J., McFarland D.J., Peckham P.H., Schalk G., Donchin E., Quatrano L.A., Robinson C.J., and Vaughan T.M., Brain–Computer Interface Technology: A Review of the First International Meeting, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000, 164-173.
- Miyawaki Y., Decoding the Mind's Eye - Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders, Neuron (Elsevier, Cell Press) 60 (5) (10 December 2008): 915–929,
Ссылки
dictionary.sensagent.com
Нейрокомпьютерный интерфейс - это... Что такое Нейрокомпьютерный интерфейс?
Нейро-компьютерный интерфейс (НКИ) (называемый также прямой нейронный интерфейс или мозговой интерфейс) — система, созданная[1] для обмена информацией между мозгом и электронным устройством (например, компьютером). В однонаправленных интерфейсах внешние устройства могут либо принимать сигналы от мозга, либо посылать ему сигналы (например, имитируя сетчатку глаза при восстановлении зрения электронным имплантатом). Двунаправленные интерфейсы позволяют мозгу и внешним устройствам обмениваться информацией в обоих направлениях. В основе нейро-компьютерного интерфейса, часто используется метод биологической обратной связи.
Замечание: более правильным среди исследователей и разработчиков (J. Wolpaw, J. Donoghue, Birbaumer, Nicolelis, А. Каплан (МГУ), А. Фролов, Г. Иваницкий (ИВНДиНФ)) считается термин «интерфейс мозг-компьютер» (Brain-Computer Interface), так как термин «нейрокомпьютерный» закреплен за большим классом технологий, основанных на специфической архитектуре вычислительных систем.
Изучение оснований, на которых базируется нейро-компьютерный интерфейс, уходит корнями в учение И. П. Павлова об условных рефлексах и регулирующей роли коры.
Это научное направление возникло в самом начале 20-го века в Институте экспериментальной медицины (Санкт-Петербург). Развивая эти идеи, П. К. Анохин с 1935 г. показал, что принципу обратной связи принадлежит решающая роль в регулировании как высших приспособительных реакций человека, так и его внутренней среды. В результате была разработана теория функциональных систем, потенциал использования которой в нейро-компьютерных интерфейсах далеко не исчерпан. Большой вклад внесли работы Н. П. Бехтеревой с 1968 по 2008 гг. по расшифровке мозговых кодов психической деятельности, продолжающиеся до настоящего времени её последователями, в том числе, с позиций нейрокибернетики и офтальмонейрокибернетики. Исследование нейро-компьютерного интерфейса начались в 1970-х годах в Университете Лос-Анжелеса штат Калифорния (UCLA). После многолетних экспериментов на животных в середине девяностых годов в организм человека были имплантированы первые устройства, способные передавать биологическую информацию от тела человека к компьютеру. С помощью этих устройств удалось восстановить поврежденные функции слуха, зрения, а также утраченные двигательные навыки. В основе успешной работы НКИ лежит способность коры больших полушарий к адаптации (свойство пластичности), благодаря которому имплантированное устройство может служить источником биологической информации.Попытки создания
В нейрохирургическом центре в Кливленде в 2004 году был создан первый искусственный кремниевый чип — аналог гиппокампа, который в свою очередь был разработан в университете Южной Калифорнии в 2003 году. Кремний обладает возможностью соединять неживую материю с живыми нейронами, а окруженные нейронами транзисторы получают сигналы от нервных клеток, одновременно конденсаторы отсылают к ним сигналы. Каждый транзистор на чипе улавливает малейшее, едва заметное изменение электрического заряда, которое происходит при «выстреле» нейрона в процессе передачи заряженных ионов натрия.
Новая микросхема способна получать импульсы от 16 тысяч мозговых нейронов биологического происхождения и посылать обратно сигналы к нескольким сотням клеток. Так как при производстве чипа нейроны были выделены из окружающих их глиальных клеток, то пришлось добавить белки, которые «склеивают» нейроны в мозге, также образуя дополнительные натриевые каналы. Увеличение числа натриевых каналов повышает шансы на то, что транспорт ионов преобразуется в электрические сигналы в чипе.
НКИ и нейропротезирование
Нейропротезирование — область неврологии, занимающаяся созданием и имплантацией искусственных устройств для восстановления нарушенных функций нервной системы или сенсорных органов (нейропротезов или нейроимплантов). Наиболее часто используется кохлеарный нейроимплантат, которым пользуется около 100 000 человек по всему миру (по данным на 2006 год). Существуют также нейропротезы для восстановления зрения, например, имплантаты сетчатки.
Основное отличие НКИ от нейропротезирования заключается в особенностях их применения: нейропротезы чаще всего «подключают» нервную систему к имплантированному устройству, в то время как НКИ обычно соединяет мозг (или нервную систему) с компьютерной системой. На практике нейропротез может быть подсоединен к любой части нервной системы, например, к периферическим нервам, в то время как НКИ представляет собой более узкий класс систем, взаимодействующих с центральной нервной системой. Термины нейропротезирование и НКИ могут быть взаимозаменяемыми, поскольку оба подхода преследуют одну цель — восстановление зрения, слуха, двигательных способностей, способности общаться и других когнитивных функций. Кроме того, в обоих подходах используются аналогичные экспериментальные методы, включая хирургическое вмешательство.
Испытания НКИ на животных
Нескольким лабораториям удалось записать сигналы от коры головного мозга обезьяны и крысы для управления НКИ при движении. Обезьяны управляли курсором на экране компьютера и давали команды на выполнения простейших действий роботам, имитирующим руку, мысленно и без каких-либо движений. Другие исследования с участием кошек были посвящены расшифровке визуальных сигналов.
Ранние работы
Исследования, в результате которых были разработаны алгоритмы для реконструкции движений из сигналов нейронов моторной зоны коры головного мозга, которые контролируют двигательные функции, датируются 1970-ми годами. Исследовательские группы, возглавлявшиеся Шмидтом, Фетзом и Бейкером в 1970-х установили, что обезьяны могут быстро обучаться избирательно контролировать скорость реакции отдельных нейронов в первичной двигательной коре головного мозга используя замкнутое позиционирование операций, обучающий метод наказания и наград.
В 1980-х Апостолос Георгопоулос из Университета Хопкинса обнаружил математическую зависимость между электрическими ответами отдельных нейронов коры головного мозга у макак резус и направлением, в котором макаки двигали свои конечности (на основе функции косинуса). Он также обнаружил, что разные группы нейронов в различных областях головного мозга совместно контролировали двигательные команды, но были способны регистрировать электрические сигналы от возбужденных нейронов только в одной области одновременно из-за технических ограничений, налагаемых его оборудованием.
С середины 1990-х годов началось быстрое развитие НКИ. Нескольким группам ученых удалось зафиксировать сигналы двигательного центра мозга используя записи сигналов от групп нейронов, а также использовать эти сигналы для управления внешними устройствами. Среди них можно назвать группы, возглавлявшиеся Ричардом Андерсеном, Джоном Донахью, Филиппом Кеннеди, Мигелем Николелисом, Эндрю Шварцом.
Достижения исследовательской работы
Первый в истории НКИ был создан Филлипом Кеннеди и его коллегами с использованием электродов, имплантированных в кору головного мозга обезьян. В 1999 году исследователи под руководством Яна Дэна из Университета Калифорнии расшифровали сигналы нейронов зрительной системы кошки и использовали эти данные для воспроизведения изображений, воспринимаемых подопытными животными. В этих экспериментах были использованы электроды, вживленные в таламус (структура среднего мозга, передающая в кору сенсорные сигналы от всех органов чувств). С их помощью было исследовано 177 клеток в латеральном коленчатом теле в таламусе и расшифрованы сигналы, приходящие от сетчатки. Кошкам демонстрировали восемь коротких фильмов, в течение которых проводили запись активности нейронов. Используя математические фильтры, исследователи расшифровали сигналы для воспроизведения образов, которые видели кошки и были способны воспроизвести узнаваемые сцены и двигающиеся объекты. Схожие результаты на человеке были получены исследователями из Японии.
Для повышения эффективности управления НКИ Мигель Николесис предложил регистрировать электрическую активность одновременно с помощью нескольких электродов, вживленных в удаленные области головного мозга. За первыми исследованиями на крысах, которые в девяностых годах проводили Николелис и его коллеги, последовали аналогичные эксперименты на обезьянах. В результате был создан НКИ, с помощью которого сигналы нервных клеток обезьян были расшифрованы и использованы для управления движениями робота. Именно обезьяны оказались идеальными испытуемыми для такого рода работ, поскольку у них хорошо развиты двигательные и манипуляционные навыки, и, соответственно, высоко развиты структуры головного мозга, отвечающие за реализацию моторных функций. К 2000 году группа Николелиса создала НКИ, который воспроизводил движения передних конечностей обезьян во время манипуляций джойстиком или во время захвата пищи. Данная система работала в режиме реального времени и была использована для дистанционного управления движениями робота посредством интернет-связи. При этом обезьяна не имела возможности увидеть движения собственных конечностей и не получила какой-либо другой информации для обратной связи.
Позднее группа Николесиса использовала результаты экспериментов с макаками-резус для создания алгоритма движения робота, имитирующего движения руки человека. Для управления движениями робота использовали информацию, полученную при записи нейронной активности обезьян после декодирования. Обезьяны были обучены указывать на объекты на экране компьютера, манипулируя джойстиком. Движения конечности обезьян-операторов были воспроизведены движениями робота.
В России с 2009 года действует проект NeuroG, целью которого является создание универсальных алгоритмов для распознавания зрительных образов человеком. 25 апреля 2011 года в Политехническом музее Москвы проектом NeuroG была проведена первая в мире демонстрация эксперимента по распознаванию воображаемых образов.[2]
См. также
Литература
- Анохин П. К. Проблема центра и периферии в современной физиологии нервной системы // Проблема центра и периферии в вышей нервной деятельности. Горький, 1935, с. 9-70.
- Анохин П. К., Шумилина А. И., Анохина А. П. и др. Функциональная система как основа интеграции нервных процессов в эмбриогенезе. Труды V съезда физиологов СССР. 1937, 148—156.
- Bechtereva N.P., Gretchin V.B. Physiological foundations of mental activity. Intern.Rev.Neurobiol. Academic Press, N.Y. — London , 1968, vol.11, p.239-246.
- Бехтерева Н. П. Нейрофизиологические аспекты психической деятельности человека. М.: Медицина, 1971, — 120 с., Oxford Univ . Press (USA), 1978.
- Бехтерева Н. П. Мозговые коды психической деятельности / Бехтерева Н. П., Будзен П. В., Гоголицын Ю. Л. — Л.: Наука, 1977. — 165 с.
- Бехтерева Н. П., Нагорнова Ж. В. Динамика когерентности ЭЭГ при выполнении заданий на невербальную (образную) креативность // Физиология человека, 2007, т. 33, № 5, с. 5-11.
- Шемякина Н. В., Данько С. Г., Нагорнова Ж. В., Старченко М. Г., Бехтерева Н. П. Динамика спектров мощности и когерентности динамических компонентов ЭЭГ при решении вербальной творческой задачи преодоления стереотипа // Физиология человека, 2007, т. 33, № 5, с. 14-21.
- Иваницкий А. М. Сознание и мозг // В мире науки, 2005, № 11, с. 3-11.
- Иваницкий Г. А. Николаев А. Р., Иваницкий А. М. Использование искусственных нейросетей для распознавания типа мыслительных операций по ЭЭГ // Авиакосмическая и экологическая медицина, 1997, т. 31, с. 23-28.
- Иваницкий А. М., Наумов Р. А., Роик А. О. Как определить, чем занят мозг, по его электрическим потенциалам? Устойчивые паттерны ЭЭГ при выполнении когнитивных заданий // Вопросы искусственного интеллекта, 2008, № 1 с. 93-102.
- Савельева-Новосёлова Н.А., Савельев А.В. Принципы офтальмонейрокибернетики // В сборнике «Искусственный интеллект. Интеллектуальные системы», Донецк-Таганрог-Минск, 2009, с. 117—120.
- Петрунин Ю. Ю., Рязанов М. А., Савельев А. В. Философия искусственного интеллекта в концепциях нейронаук. (Научная монография), М.: МАКС Пресс, 2010, ISBN 978-5-317-03251-7.
- Савельев А. В. Онтологическое расширение теории функциональных систем // Журнал проблем эволюции открытых систем, Казахстан, Алматы, 2005, № 1(7), c. 86-94.
- Santhanam G., Ryu S.I., Yu B.M., Afshar A. and Shenoy K.V., A high-performance brain-computer interface, Nature Letters, Vol 442 (13 July 2006), 195—198.
- Vidal J., Toward Direct Brain-Computer Communication, in Annual Review of Biophysics and Bioengineering, L.J. Mullins, Ed., Annual Reviews, Inc., Palo Alto, Vol. 2, 1973, pp. 157-180.
- Vidal J., Real-Time Detection of Brain Events in EEG, in IEEE Proceedings, May 1977, 65-5:633-641.
- Wolpaw J.R., McFarland D.J., Neat G.W., Forneris C.A., An EEG-based brain-computer interface for cursor control. Electroencephalography & Clinical Neurophysiology. Vol 78(3), Mar 1991, 252—259.
- Wolpaw J.R., Birbaumer N., Heetderks W.J., McFarland D.J., Peckham P.H., Schalk G., Donchin E., Quatrano L.A., Robinson C.J., and Vaughan T.M., Brain-Computer Interface Technology: A Review of the First International Meeting, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000, 164—173.
- Miyawaki Y., Decoding the Mind’s Eye — Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders, Neuron (Elsevier, Cell Press) 60 (5) (10 December 2008): 915—929,
Примечания
Ссылки
dic.academic.ru
