Каким способом работает распознавание лицевых образов в смартфонах

Для чего мы останавливаемся на разблокирование по лицу

В прошлые годы распознавание лиц стало одной из самых распространённых опций для деблокировки смартфонов. Еще несколько годков назад основная часть использующих удовлетворялись PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением подобных технологий, как вулкан россия, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь обуславливает эту конкретную особенность очень нужной? Прежде всего, это комфортно: не нужно помнить сложные пароли или искать верный палец в темноте. Кроме того, это мгновенно: современные программы распознают лицо практически за доли секунды. В-третью очередь, это ощущение футуризма — будто в кинофильмах про вулкан автомат агентов.

Однако за такой видимой несложностью скрывается целый мир трудных технологий и инженерных решений. Попробуем понять, как конкретно работает распознавание лиц в актуальных мобильных телефонах, какие существуют методы, насколько они защищены и что нас ждёт впереди.

Краткая повествование развития техники

Идентификация лиц как технология присутствует уже более 50 годов. Первые эксперименты автоматического исследования лица были сделаны еще в 1960-х годы в исследовательских центрах США. Тогда вычислительные машины умели лишь обозначать силуэты головы и вычислять дистанции между зрачками и ртом на черно-белых фотографиях.

Первые торговые системы появились в 1990-х годах, но они были неидеальны: работали медленно и часто давали сбои. Только с развитием нейронных сетей и таких систем, как вулкан россии, сильных мобильных микросхем идентификация лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным распознаванием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие начали внедрять свои решения.

Основные этапы действия системы распознавания

Процесс определения лица можно ориентировочно разделить на несколько ключевых этапов:

Идентификация лиц — камера распознает существование гуманного лица в кадре.
Выделение характеристик — механизм исследует особенности лица: конфигурацию зрительных органов, носа, губ, позицию бровей.
Построение модели — создаётся неповторимый электронный отпечаток (faceprint) на основе определённых признаков.
Сравнение со стандартом — созданный образец сопоставляется со записанной при внесении биометрической сведениями владельца.
Принятие выбора — если соответствие достаточно значительное, смартфон открывается.

Всякий из этих стадий запрашивает особых методов и усовершенствований для скорой работы непосредственно на девайсе.

Аппаратные компоненты: что находится в их недрах

Обычная фронтальная камера.

Самый простой вариант определения физиономии задействует только переднюю видеокамеру мобильного устройства. Подобный метод внедрён во многочисленных недорогих версиях Android-девайсов.

Положительные стороны:

Необходимо потребляет внешних датчиков.
Шустро работает при хорошем освещённости.

Минусы:

Несложно одурачить снимком или видеозаписью.
Неправильно функционирует при слабом освещённости или непривычных углах обзора.

ИК фотокамера и точечный проекционный аппарат

Более совершенные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика составляет базу Face ID от Apple.

Каким образом это действует:

Точечный устройство проекции показывает на облик пользователя невидимую решетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 пятен).
Инфракрасная устройство регистрирует деформацию этой сетки по плоскости лица.
Получается трехмерная глубинная карта глубинности, которая почти неосуществима для подделки стандартной фото или маской.

Выигрыши

Надёжная деятельность даже в полной тьме.
Большая устойчивость к подделкам.
Точность идентификации свыше 99%.

Дополнительные датчики

В некоторых устройствах задействуются также дополнительные датчики: ToF (Time-of-Flight), которые определяют время прохождения луча до предмета и обратно; Трехцветные-датчики дальности; специальные оптические измерители расстояния для создания более точной 3D-модели физиономии.

Эти разработки применяются наиболее часто во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: искусственный ум в действии

Текущие устройства идентификации лиц немыслимы без использования искусственного интеллекта и machine learning. Именно из-за таким разработкам, как вулкан россии, аппарат способно идентифицировать пользователя даже при изменениях внешности: новая причёска, растительность на лице, линзы или грим не становятся помехой для деблокировки.

Обнаружение лица

В первом шаге система необходимо оперативно найти ликовое изображение среди целого изображения камеры. Для данной цели задействуются многоуровневые классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые подготовлены идентифицировать лица людей среди множества других объектов.

Пример: процесс MTCNN может находить лицо даже при частичном перекрытии (например, платком или рукой).

Определение важных моментов

После идентификации лица механизм, такая как вулкан россии, устанавливает положение основных точек: уголки глаз, верхушка носа, края губ и так далее. Как правило применяется от 68 до 128 главных меток на лицевой поверхности.

Это действие необходимо для выравнивания изображения: если пользователь удерживает смартфон под наклоном, или наклонил голову, программа исправляет картинку до стандартного положения для дальнейшего анализа.

Создание биометрического идентификатора модели

Далее искусственная сеть строит уплотненное цифровое представление ("эмбеддинг") внешности пользователя — своеобразный цифровой след внешности длиной от 128 до 512 вещественных чисел.

Данный шаблон весьма сложно сфальсифицировать: он не сохраняет само изображение юзера, а лишь уникальные характеристики его облика, что делает его идеальным для таких систем, как vulkan russia.

Сравнительный анализ и вынесение решения

Если человек хочет разлочить телефон взором, система осуществляет все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный границу (обычно больше 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ блокируется.

Привыкание к метаморфозам облика

Занимательная черта нынешних системы — возможность самостоятельного обучения. Если вы часто разблокируете смартфон с новой укладкой или оптикой, программа постепенно обновляет основной шаблон вашего лица для повышения точности работы без снижения уровня безопасности.

Охрана биометрических данных информации.

Множество пользователи опасаются держать свои биометрические данные на смартфоне из-за вероятности утечки информации или хакерской атаки. Определенные организации, вроде vulkan russia, предлагают варианты для улучшения безопасности информации юзеров.

Локальное хранение: Преимущественно устройств записывает биометрические образцы исключительно внутрь защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из устройство и закрыты включая изготовителю.
Шифрование: Все данные хранятся только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Программы сторонних разработчиков не имеют непосредственного возможности доступа к биометрическим; они могут лишь требовать факт верификации личности через системный API.

Стоит подчеркнуть значимую подробность: в случае, если какой-то человек получит физический доступ к вашему телефону (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители осуществляют меры безопасности от автоматического разблокирования — например, требуют разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют типы распознавания лиц?

На сегодняшний день можно выделить определить три основных способа к реализации этой задачи:

Программируемое двухмерное распознавание

Применяется только лицевая камера без экстра сенсоров дистанции. Подобный метод используется чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота реализации; минимальная стоимость; оперативная функционирование при хорошем свете.
Минусы: легко обмануть снимком; неустойчивая функционирование ночью; слабая безопасность.

Оборудование для объёмное оцифровка

Задействует ИК видеокамеру + проекционный модуль пикселей + сенсоры глубины (Face ID у Apple; аналогичные технологии у Huawei Mate).
Достоинства: высокая надежность; нельзя исказить фото/видео; постоянная работа в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана ("чёлка")

Комбинированные способы с дополнением ИИ

Используют комбинацию программных методов + аппаратную обработку + постобработку нейросетями для увеличения устойчивости к атакам ("anti-spoofing"). Например, подобные изделия, например вулкан россии и Google Pixel Face Unlock новейших версий, объединяют фронталку c ИК датчиком мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями чужих устройств.

Примеры использования различных техник

iPhone модели X/11/12/13/14 используют только физическое трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition в первый раз предложил подобие Face ID в ряду Android.
Samsung Galaxy S10/S20 обеспечивают как софтверное 2D определение по изображению фронтальной камерой, так и сенсор радужки глаза.
Huawei Mate20 Pro задействует комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Проблемы защиты и ложные тревоги

Несмотря на впечатляющий прогресс техники за последние годы, безупречных системы пока не имеется:

Шанс обмана: Недорогие мобильники без труда "разблокируются" качественной фотографией владельца или же видео с экрана другого устройства.
Идентичные близняшки: Даже самые идеальные системы могут спутать между монозиготными близнецами либо родичами с очень похожей внешностью.
Трансформации внешности: Внезапное снижение веса/увеличение массы тела, пластические операции либо травмы в некоторых случаях необходимы для повторной регистрации биометрии.
Условия съёмки: Яркая засветка солнечным светом или интенсивная затенение могут снизить аккуратность распознавания признаков.

Ниже некоторые советов по защищённому использованию:

Для важных операций всегда используйте дополнительную аутентификацию;
Не активируйте опцию "Разблокировка по лицу" на бюджетных устройствах без ИК-сенсоров;
Систематически апгрейдите программное обеспечение телефона для обеспечения безопасности от актуальных атак;
Включайте настройку "Требовать распахнутых глаз" в тех местах, где она есть.

Где дополнительно используется технологии за исключением мобильных телефонов?

Несмотря на то, что основная мысль данной статьи сосредоточена на конкретно мобильным устройствам, следует отметить других сферах применения технологии:

Мониторинг входа в рабочих помещениях и многоквартирных зданиях;
Платёжные терминалы финансовых учреждений ("Face Pay");
Электронные паспорта нового поколения;
Установки видеоконтроля городских служб;
Механизация учёта присутствия образовательных учреждений/вузов;
Аутентификация пользователей ПК/ноутбуков.

Например: В городском метро уже тестируется система платежа проезда по лицу ("Face Pay") — нужно лишь пройти через турникет без карты или телефона! Аналогичные инициативы развиваются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом трансформируется техпроцесс в нынешнее время?

Каждый годочек возникают современные идеи для улучшения уровня деятельности систем лицевого распознавания:

Увеличивается разрешение сенсоров — чем больше элементов фиксируется видеокамерой/глубинными сенсорами, тем меньше вероятность неточности;
Улучшаются искусственные интеллекты — современные конструкции типа MobileNetV3 дают возможность оперативно обучаться новым характеристикам внешности владельца непосредственно на девайсе без пересылки информации в облачное хранилище.
Улучшаются способы антиспуфинга — теперь мобильные устройства могут распознавать настоящие живые лица от фиксированных снимков/маскировок по микроскопическим движениям кожи.
Синхронизация со умными устройствами — смарт-часы могут самостоятельно закрыть доступ к мобильный телефон, если пользователь отошёл далеко.
Проявляются смешанные устройства — в частности объединяющие речевую аутентификацию + лицо + пальцевой отпечаток.

Вот, те тренды очень популярны на сегодняшний день:

1) Миниатюризация элементов

Компании намереваются минимизировать размер прорези ("чёлки") под сенсоры на экране за счёт внедрения маленьких ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для улучшения приватности всё более вычислений выполняется на месте без пересылки информации во сторонний облачный услугу.

3) Стандартизация регламентов

Google энергично продвигает норму BiometricPrompt API, чтобы такие системы, вроде вулкан россия, и каждые Android-программы были совместимы с всеми формами биометрии стандартизированно.

Что подобрать на сегодня?

Если тебе необходима предельная безопасность данных, остановите выбор на передовые модели со встроенным ИК-излучателем или же ToF-сенсором глубины.

iPhone каждого последних версий
Huawei Partner/P линейки
Mix Pro
Vivo X модели
Oppo Найти Икс серии.

Если финансы ограничен – лучше отдавать предпочтение традиционным методам безопасности (PIN-код/сканер пальца), а функцию "разблокировка по лицу", такую как в вулкан россия, использовать только как второстепенную опцию комфорта.

Как улучшить комфорт функционирования функции?

Есть некоторые лайфхаков для тех, кто уже использует разблокировку по лицу:

Часто обновляйте свою фотографию-шаблон, если сильно трансформируется внешность.
Не пренебрегайте протирать линзу передней камеры – пятна могут снизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам запускает фотоаппарат когда вы берёте его в руки.
В процессе записи постарайтесь удерживать лицо прямо напротив камеры исключая сильного наклона головы.
Используйте функцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отворачиваетесь от дисплея.

Перспективы эволюции технологии

В ближайшие периоды можно предвкушать развития полностью дистанционных способов идентификации персоны сразу по нескольким биометрическим данным параметрам одновременно: физиономия + речь + походка + манипуляции руками!

Также предполагается появление свежих методов защиты приватности – скажем, динамическое корректировка электронного паттерна после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из очень захватывающих инноваций нашего периода! Она обеспечивает взаимодействие со мобильным устройством удобнее чем раньше, и такие программы, как vulkan russia, могут существенно повысить ваш опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы понимаете, как устроена эта методика внутри, – будете в состоянии вдумчиво определять свой будущий девайс!