Как работает идентификация лицевых образов в смартфонах

Почему мы останавливаемся на разлочивание по фейсу

В недавние времена распознавание лиц превратилось в одной из самых распространённых опций для открытия смартфонов. Еще пару годов тому назад основная часть использующих обходились пин-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением подобных технологий, например Вулкан Платинум, нам достаточно просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какой аспект обуславливает эту конкретную особенность настолько популярной? Во-первых, это практично: не нужно удерживать в памяти замысловатые пароли или искать правильный палец в темноте. Во-вторых, это быстро: современные системы идентифицируют лицо буквально за мгновения ока. В-третью очередь, это чувство футуризма — будто в фильмах про вулкан платинум зеркало агентов.

Однако за этой кажущейся легкостью скрывается полный мир сложных технологий и инженерных разработок. Позвольте нам исследовать, как именно работает фейсканирование в актуальных гаджетах, какие бывают способы, насколько они надёжны и что нас ждёт впереди.

Краткая хроника эволюции техники

Идентификация лиц как технология существует уже более 50 лет. Начальные эксперименты автоматического анализа лица были предприняты еще в 1960-х годах в исследовательских центрах США. Тогда ЭВМ умели лишь выделять контуры головы и определять промежутки между очами и устами на ахроматических изображениях.

Изначальные коммерческие установки появились в 90-х, но они были неидеальны: работали медленно и нередко ошибались. Только с эволюцией нейронных сетей и таких площадок, как Vulkan Platinum, высокопроизводительных мобильных процессоров идентификация лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным идентификацией лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и другие начали внедрять личные разработки.

Основные шаги функционирования системы распознавания

Процесс идентификации лица можно примерно сегментировать на несколько важных этапов:

1. Распознавание лица — камера выявляет существование гуманного образа в снимке.
2. Извлечение характеристик — алгоритм анализирует контуры лица: конфигурацию зрительных органов, обонятельного органа, губ, расположение надбровных дуг.
3. Построение модели — создаётся уникальный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со эталоном — сформированный модель сверяется со зафиксированной при регистрации биометрической информацией владельца.
5. Принятие определения — если совпадение достаточно существенное, смартфон деблокируется.

Всякий из указанных этапов нуждается в индивидуальных процедур и оптимизаций для оперативной работы прямо на устройстве.

Технические компоненты: что скрыто внутри них

Стандартная передняя камера.

Наиболее несложный способ определения облика использует лишь лицевую видеокамеру мобильного устройства. Данный способ внедрён во различных доступных версиях Android-девайсов.

Сильные стороны:

• Необходимо потребляет дополнительных датчиков.
• Оперативно работает при качественном свете.

Слабые стороны:

• Несложно обмануть фотографией или видеозаписью.
• Неправильно работает при слабом свете или нестандартных точках зрения.

ИК фотокамера и пунктирный проектор

Более совершенные системы, такие как Vulkan Platinum, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс составляет базу Face ID от Apple.

Каким способом это работает:

• Точечный проекционный прибор отображает на облик использующего невидимую решетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 пятен).
• ИК камера записывает изменение формы данной решетки по поверхности лица.
• Получается трёхмерная карта глубины глубины, которая почти что неосуществима для подделки типичной фото или маской.

Выигрыши

• Надёжная функционирование даже в полной тьме.
• Высокая устойчивость к имитациям.
• Точность определения более 99%.

Добавочные датчики

В определённых устройствах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют период движения луча до предмета и обратно; RGB-датчики дальности; специальные световые лидары для формирования более детализированной 3D-модели физиономии.

Эти технологии применяются в основном во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искусственный интеллект в действии

Текущие системы опознания лиц невозможны без применения ИИ и machine learning. Именно вследствие таким разработкам, как Vulkan Platinum, устройство может идентифицировать пользователя даже при изменениях внешнего вида: новая стрижка, щетина, очки или грим не становятся барьером для разблокировки.

Обнаружение лиц

При первом стадии система необходимо оперативно обнаружить образ лица внутри всего изображения с камеры. Для этой задачи применяются многоуровневые классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые “обучены” распознавать лица людей среди множества других объектов.

Пример: метод MTCNN в состоянии находить лицо даже с неполном перекрытии (например, шарфом или ладонью).

Идентификация основных точек

После распознавания лица устройство, такая как Vulkan Platinum, вычисляет положение главных точек: кончики глаз, кончик носа, контуры губ и так далее. Часто задействуется от 68 до 128 ключевых точек на лицевой области.

Это действие нужно для выравнивания визуала: если человек удерживает телефон под углом, или склонил голову, программа корректирует картинку до стандартного положения для дальнейшего анализа.

Построение биометрии шаблона

Далее нейронная сеть строит сжатое цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Такой шаблон весьма сложно сфальсифицировать: он не удерживает непосредственно изображение пользователя, а лишь исключительные характеристики его вида, что делает его оптимальным для таких площадок, как Вулкан Казино Платинум.

Сопоставление и вынесение заключения

В случае, когда юзер намеревается открыть телефон глазами, система осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный порог (обычно превышает 99%), телефон, как и платформа Вулкан Казино Платинум, открывается; если нет — доступ запрещается.

Приспособление к трансформациям внешнего вида

Интересная характеристика нынешних системы — способность самообучения. Если вы регулярно разблокируете смартфон с обновленной стрижкой или очками, система постепенно освежает основной модель вашего облика для увеличения точности действия без ухудшения безопасности.

Безопасность биометрии данных.

Многие пользователи беспокоятся сохранять свои биометрические идентификационные данные на мобильном устройстве из-за вероятности утечки информации или хакерской атаки. Некоторые фирмы, например Вулкан Казино Платинум, предлагают варианты для увеличения безопасности информации юзеров.

• Локальное сохранение: Большинство устройств сохраняет биометрические шаблоны лишь в пределах защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из аппарат и не доступны в том числе изготовителю.

• Шифрование: Все данные сохраняются только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних разработчиков не обладают прямого возможности доступа к биометрическим; они могут лишь запрашивать факт верификации личности через системный API.

Стоит упомянуть важную подробность: если кто-либо сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании реализуют защиту от автоматического разблокирования — к примеру, просят раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют виды определения лиц?

Сегодня можно определить различить три ключевых подхода к реализации этой функции:

Софтверное 2D распознавание

Применяется только передняя видеокамера без вспомогательных датчиков глубины. Этот метод наблюдается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность реализации; низкая цена; быстрая функционирование при достаточном свете.
Минусы: несложно одурачить снимком; ненадежная работа ночью; низкая охрана.

Техническое 3D сканирование

Задействует инфракрасную видеокамеру + проектор пикселей + сенсоры глубины (Face ID у Apple; аналогичные технологии у Huawei Mate).
Достоинства: высокая надёжность; нельзя подделать изображение/видеозапись; постоянная деятельность при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с дополнением ИИ

Задействуют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие товары, например Vulkan Platinum и Google Pixel Face Unlock последних версий, комбинируют фронталку c инфракрасным датчиком мобильности Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами посторонних устройств.

Образцы применения разных методов

• iPhone линейки X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз предложил аналог Face ID в ряду Android.
• Samsung Galaxy S10 модель/S20 поддерживают как софтверное плоское определение по снимку селфи-камерой, так и сканер ириса глаза.
• Huawei Mate20 Pro задействует комплекс из ИК-инфракрасного света + Dot Projector + ToF-датчик

Проблемы безопасности и ложные тревоги

Несмотря на поразительный успехи техники за недавние годы, совершенных систем пока не имеется:

1. Возможность подвоха: Недорогие смартфоны без труда “разблокируются” качественной изображением хозяина либо видеозаписью с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые безупречные устройства могут спутать между монозиготными близнецами либо семьями с очень похожей внешностью.
3. Изменения внешности: Внезапное похудение/увеличение массы тела, хирургические вмешательства либо повреждения в некоторых случаях необходимы для перерегистрации биометрических данных.
4. Условия фотографирования: Сильная подсветка солнцем или плотная затенение могут уменьшить верность распознавания признаков.

Вот несколько советов по защищённому эксплуатации:

• Для важных операций всегда применяйте двухфакторную аутентификацию;
• Не запускайте возможность “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
• Систематически обновляйте ПО телефона для обеспечения безопасности от современных угроз;
• Включайте настройку “Требовать раскрытых глаз” везде, где она есть.

Где дополнительно находится применение технология за исключением мобильных телефонов?

Несмотря на то, что тема нашей статьи сосредоточена на в частности мобильным устройствам, стоит упомянуть о прочих направлениях внедрения технологии:

• Мониторинг прохода в офисах и резиденциях;
• Платёжные терминалы финансовых учреждений (“Face Pay”);
• Цифровые удостоверения личности нового образца;
• Установки видеоконтроля муниципальных служб;
• Автоматизирование регистрации присутствия образовательных учреждений/университетов;
• Вход юзеров компьютеров/ноутбуков.

Например: В городском метро уже проверяется система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через барьер без пластика или телефона! Схожие проекты осуществляются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом изменяется технический процесс сегодня?

Каждый год возникают свежие мысли для повышения уровня работы систем распознавания лиц:

1. Увеличивается чёткость датчиков — чем больше деталей фиксируется фотоаппаратом/датчиками глубины, тем меньше вероятность ошибки;
2. Развиваются нейросети — современные конструкции вида MobileNetV3 позволяют оперативно обучаться дополнительным характеристикам вида обладателя напрямую на гаджете без пересылки информации в облачное хранилище.
3. Совершенствуются способы антиспуфинга — теперь смартфоны способны отличать подлинные анимированные облики от неподвижных снимков/маскировок по незаметным движениям кожи.
4. Синхронизация со интеллектуальными приборами — интеллектуальные часы могут авто блокировать телефон, если пользователь отошёл далеко.
5. Проявляются комбинированные устройства — в частности объединяющие аудио аутентификацию + лицо + дактилоскопический след.

Вот, те тенденции особенно популярны в данный момент:

1) Уменьшение элементов

Компании стараются уменьшить габариты отверстия (“чёлки”) под датчики на экране за счёт внедрения компактных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для увеличения конфиденциальности всё более вычислений происходит на месте без пересылки информации во дополнительный облачный услугу.

3) Упорядочивание стандартов

Google интенсивно пропагандирует эталон BiometricPrompt API, чтобы такие площадки, как Вулкан Платинум, и все Android-аппы были совместимы с различными типами биометрии стандартизированно.

Что подобрать на сегодня?

Если вам всем необходима наивысшая безопасность информации, подбирайте топовые аппараты со встроенным ИК-излучателем или же ToF-сенсором глубины.

• iPhone каждого последних поколений
• Huawei Companion/P Series ряда
• Mi Avanzado
• Vivo X линейки
• Oppo Обнаружить Икс серии.

Если финансы ограничен – лучше предпочесть традиционным средствам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в Вулкан Платинум, задействовать только как дополнительную опцию удобства.

Каким способом увеличить удобство использования функции?

Есть некоторые лайфхаков для людей, кто уже использует разблокировку через лицо:

1. Периодически обновляйте свою изображение-шаблон, если кардинально трансформируется внешний вид.
2. Не забывайте протирать линзу фронтальной камеры – пятна могут уменьшить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам запускает фотоаппарат когда вы поднимаете его.
4. При регистрации пытайтесь удерживать лицевую часть неподвижно напротив камеры исключая резкого наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отворачиваетесь от дисплея.

Возможности эволюции техники

В предстоящие годы можно предполагать развития полностью бесконтактных способов идентификации индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + речь + манера ходьбы + манипуляции руками!

Также вероятно появление новых способов защиты приватности – скажем, динамическое модификация цифрового шаблона после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – единственная из очень интересных технологий нашего времени! Она предоставляет интеракцию со мобильным устройством проще чем раньше, и такие программы, как Вулкан Казино Платинум, могут в разы улучшить ваш опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы знаете, как устроена эта технология изнутри, – будете в состоянии более осмысленно выбирать свой будущий девайс!