МOСКВA, 15 мaр — РИA Нoвoсти, Тaтьянa Пичугинa. Глaз чeлoвeкa нaxoдится в пoстoяннoм движeнии, и этo нaпрямую связaнo с мoзгoвoй дeятeльнoстью. При пoмoщи тexнoлoгии aйтрeкингa (eye tracking), фиксирующeй любыe кoлeбaния глaзнoгo яблoкa и измeнeния зрaчкa, рoссийскиe учeныe изучaют кoгнитивныe функции. O тoм, кaк этo прoисxoдит и пoчeму в нaучнoм прoeктe учaствуют прoфeссиoнaльныe пиaнисты, — в мaтeриaлe РИA Нoвoсти. © РИА Новости / Анна УрманцеваСистема из Санкт-Петербурга позволяет управлять компьютером одним взглядом
Студент консерватории Владислав Иванов исполняет на электронном пианино произведение итальянского композитора Алессандро Скарлатти. Оно ему незнакомо, поэтому он смотрит в ноты. Одновременно следит за пальцами, контролируя их положение на клавиатуре. Правой ногой периодически нажимает на педаль, удлиняя звучание.
На голове у музыканта закреплена гарнитура с видеокамерой, которая очень точно фиксирует движение его глаз и передает данные на компьютер. Программа анализирует положение взгляда и строит его траекторию на нотном тексте.
«Фортепьянные ноты представляют собой двухстрочный текст для левой и правой рук, который нужно читать одновременно. Взор передвигается по горизонтали и вертикали, забегает вперед. Музыкант вынужден воспринимать много информации сразу, это очень сложная задача», — рассказывает Любовь Бойко, сотрудник кафедры высшей нервной деятельности биологического факультета МГУ им. М. В. Ломоносова.
Она с коллегами изучает когнитивные функции человека и использует чтение с листа фортепьянной музыки как модель, где эти функции проявляются наиболее ярко. Ученые хотят понять, почему одни музыканты читают с листа легко, а другие справляются с этим хуже.
© Фото : Любовь БойкоПианист с окулографом во время эксперимента © Фото : Любовь БойкоПианист с окулографом во время эксперимента
Как мы смотрим и что видим
Многие животные познают мир в основном с помощью обоняния. Человек и другие приматы полагаются прежде всего на зрение. В каждый момент времени мы видим максимально четко лишь небольшую часть пространства, которая передается на центр сетчатки — фовеа. В этой ямке с высокой плотностью расположены особые фоторецепторы-колбочки, которые и обеспечивают различение нот, букв, других тонких деталей и цвета. Объекты на периферии зрения предстают в виде бесцветных пятен, размытых очертаний. Чтобы увидеть в деталях все зрительное поле, нужно «просканировать» его взором. Поэтому наши глаза постоянно совершают быстрые согласованные перемещения — саккады. Пока мы фиксируем взор на одном месте, мозг вычленяет что-то «интересное» в области периферического зрения и дает команду совершить саккаду в этом направлении. © Андрей Демчинский «Я — Гагарин, она — Терешкова». Что видят люди с «киберглазами»
«Движения глаз происходят постоянно и зачастую непроизвольно. Если глаза перестанут двигаться, мы не увидим зрительную сцену полностью», — поясняет Бойко.
Фоторецепторы сетчатки преобразуют отраженное от объектов видимое излучение в электрические потенциалы, которые возбуждают нервные сети. Например, в среднем мозге есть бугры четверохолмия, где формируется карта пространства. Если что-то вдруг промелькнет рядом, мозг даст команду посмотреть туда, а потом решит, что делать: увернуться или просто моргнуть, чтобы защитить глаз. Окончательная детальная картина пространства складывается в коре больших полушарий мозга из множества изображений, полученных при сканировании.
© Fotolia / zea_lenanetУченые создали очки, позволяющие различать больше цветовАйтрекинг позволяет разделить произвольные и непроизвольные движения глаз, рефлекторные действия, уловить момент, когда человек во время беседы уходит в себя. По тому, куда направлен взгляд, можно предположить, о чем человек думает, говорит ли он правду. На этом основаны психологические методики для ведения переговоров.
Почему взор забегает вперед
Анализируя траекторию глаз музыканта, ученые выделяют паттерны, то есть типичные, повторяющиеся действия. В частности, их интересует, что влияет на время, которое проходит между восприятием знаков нотации и их воспроизведением на клавиатуре. Это называется зрительно-моторной задержкой.
© Фото : Любовь БойкоПрограмма анализирует изображение видеокамеры, направленной на глаз музыканта© Фото : Любовь БойкоПрограмма анализирует изображение видеокамеры, направленной на глаз музыканта
«Когда мы читаем обычный текст, глаза все время забегают вперед. Так и музыкант сначала воспринимает зрительную информацию, потом мозг ее преобразует, соотносит с навыком, опытом, которые хранятся в его памяти, и извлекает моторные паттерны: какие клавиши ему нажать, исполнить фрагмент музыкального перехода, взять педаль», — говорит Леонид Терещенко, кандидат биологических наук, старший научный сотрудник кафедры.
«Восприятие зрительной информации и движение в ответ происходят параллельно, а это требует повышенного внимания. Чем сложнее музыкальное произведение, тем больше ментальных ресурсов занимает внимание, тем медленнее формируется моторный ответ. В результате музыкант замедляет темп, совершает разные ошибки», — добавляет Бойко.
Опытным путем ученые выяснили, что при чтении с листа зрительно-моторная задержка составляет три-пять символов. Решили, что это примерно соответствует объему оперативной памяти. Но все оказалось не так просто. В зависимости от фактуры и сложности нотного текста пианисты во время одной фиксации могут воспринять больше четырех символов, поскольку задействуют область вокруг фовеа, где колбочки чуть менее плотные. Это позволяет им извлекать из памяти «гештальты» музыкальных структур — аккорды, арпеджио. Процесс аналогичен чтению книг. Мы тоже не фиксируем взор на каждой букве, а воспринимаем целиком слово.
«Мы это поняли по траекториям движения глаз. Иногда музыканту достаточно одной фиксации взгляда на такт», — заключают исследователи.
Получается, что успех чтения с листа зависит от того, насколько хорошо пианист воспринимает нотные символы группами, преодолевая таким образом ограничения объема оперативной памяти.
© Любовь БойкоТак движется взгляд пианиста по нотам (компьютерный анализ видео)© Любовь БойкоТак движется взгляд пианиста по нотам (компьютерный анализ видео)
Практика не заставит себя ждать
Айтрекинг за два десятка лет существования неплохо зарекомендовал себя на практике. Его применяют для диагностики у больных с травмами мозга и после операций, в маркетинге — для разработки более эффективной рекламы, в кинопроизводстве.
Этот метод важен для интерфейсов общения с парализованными, неспособными говорить. Движение глаз — часто единственная двигательная функция, сохраняющаяся после инсульта или тяжелых травм мозга. Если настроить программу распознавания движения глаз для конкретного больного, то можно научить его печатать текст на компьютере с помощью взора. © Иллюстрация РИА Новости . Алина ПолянинаПолет к Марсу: зачем облучать обезьян в ускорителе
Благодаря этому методу, сотрудники кафедры научились распознавать у макак-резусов ранние стадии синдрома, аналогичного человеческой болезни Паркинсона, когда внешние симптомы еще не проявились. Теперь их разработку применяют в клинике для контроля лечения паркинсонизма.
Ученые надеются, что совместные эксперименты с пианистами приведут к результатам, которые будут востребованы педагогами в музыкальных школах при обучении детей, училищах — при развитии навыка чтения с листа, а также для тренингов под руководством опытных музыкантов.
