Новый алгоритм ручного отслеживания Google дает надежду глухим

Несколько компаний, таких как SignAll и Kintrans, разработали программное обеспечение для ручного отслеживания, которое позволяет миллионам людей, которые зависят от языка жестов, легко общаться с кем угодно. Тем не менее, они имели небольшой успех. Именно здесь вступает в игру новейший алгоритм ручного отслеживания от лабораторий искусственного интеллекта Google, обещающий сделать это программное обеспечение таким, каким оно должно быть.

Алгоритм ручного отслеживания Google AI Labs использует ваш смартфон и камеру, чтобы создать сложную подробную карту руки человека, которую затем можно отслеживать для общения. Исследователи Google Валентин Базаревский и Фан Чжан в своем сообщении в блоге сказали: «Хотя современные передовые подходы в значительной степени зависят от мощных настольных сред для вывода, наш метод обеспечивает производительность в реальном времени на мобильном телефоне и даже масштабировать несколько рук.

Кроме того, они добавили: «Надежное восприятие рук в режиме реального времени является решающей задачей для компьютерного зрения, поскольку руки часто закрывают друг друга (например, окклюзия пальцев / ладоней и рукопожатия) и им не хватает высококонтрастных узоров “. Исследователям удалось сделать новый алгоритм ручного отслеживания способным быстрее вычислять ручные сигналы, максимально упрощая процесс, что приводит к уменьшению объема данных и, в конечном итоге, к меньшему времени обработки.

Новый алгоритм отслеживания рук начинается с тренировки ладони человека вместо измерения размеров всей руки. Затем активируется отдельный алгоритм для просмотра пальцев и ладони, а затем присваивается двадцать одна координата суставам, кончикам пальцев и т. Д. Исследователи должны были вручную добавить эти двадцать одну точку к 30 000 изображений рук в разных позах и условиях освещения, чтобы ИИ мог узнать эти координаты.

Команда разработчиков открыла свой код, надеясь, что другие придумают инновационные способы его использования и улучшения. Новая система также использует существующую среду дополненной реальности MediaPipe от Google. Исследователи сказали в своем блоге: «Мы надеемся, что предоставление этой функциональности ручного распознавания сообществу исследователей и разработчиков в целом приведет к появлению творческих вариантов использования, стимулированию новых приложений и новых направлений исследований».