Новое исследование Университета Восточной Англии показывает, что компьютеры теперь лучше читают по губам, чем люди.
Рецензируемые результаты будут впервые представлены на восьмой Международной конференции по аудиовизуальной обработке речи (AVSP) 2009, которая состоится в Университете Восточной Англии с 10 по 13 сентября.
Группа исследователей из Школы компьютерных наук при UEA сравнила производительность машинной системы чтения по губам с показателями 19 человек, читающих по губам. Они обнаружили, что автоматизированная система значительно превзошла человеческие читатели по губам – показатель распознавания составил 80 процентов, по сравнению с 32 процентами для людей, просматривающих ту же задачу.
Кроме того, они обнаружили, что машины могут использовать очень упрощенные функции, которые представляют только форму лица, в то время как людям, читающим по губам, требуется полное видео говорящих людей.
Исследование также показало, что вместо традиционного подхода к обучению чтению по губам, при котором зрителей учат определять ключевые формы губ по статическим (часто нарисованным) изображениям, очень важны динамика и полный внешний вид речевых жестов.
Используя новую систему обучения на основе видео, зрители с очень ограниченным обучением значительно улучшили свою способность читать по губам односложные слова, что само по себе является очень сложной задачей. Есть надежда, что это исследование может привести к новым методам обучения чтению по губам глухих и слабослышащих.
"Это пилотное исследование – первый раз, когда автоматизированная система чтения по губам сравнивается с человеческими читателями по губам, и результаты, возможно, удивительны," сказала ведущий автор исследования Сара Хильдер.
"Всего за четыре часа тренировки это помогло им заметно улучшить свои навыки чтения по губам. Мы надеемся, что это исследование станет настоящим технологическим прорывом для сообщества глухих."
Агнес Хоктор, менеджер по кампаниям RNID, сказала: "Это исследование подтверждает, насколько сложно освоить жизненно важный навык чтения по губам и почему RNID проводит кампанию за то, чтобы глухие или слабослышащие люди имели лучший доступ к занятиям. Мы приветствовали бы разработку обучающих видео- или онлайн-ресурсов в дополнение к обучению чтению по губам. От потери слуха страдают 55 процентов людей старше 60 лет, поэтому с учетом старения населения потребность в обучении чтению по губам будет только расти."
Конференция AVSP проводится в Великобритании впервые с момента ее основания в 1998 году. Университет Восточной Англии примет передовых исследователей, включая психологов, инженеров, ученых и лингвистов из Австралии, Канады и Японии.
Источник: Университет Восточной Англии