Как действует идентификация лицевых образов в смартфонах

Почему мы останавливаемся на разблокировку по фейсу

В недавние времена идентификация лиц стало одной из наиболее востребованных возможностей для открытия умных телефонов. Еще некоторые годов назад основная масса пользователей обходились пин-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением подобных технологий, например Вулкан Платинум, нам вполне просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект делает данную возможность очень нужной? Прежде всего, это комфортно: не нужно помнить трудные пароли или отыскивать верный палец в темноте. Кроме того, это быстро: современные программы идентифицируют лицо практически за мгновение. В-третьих, это впечатление футуристичности — словно в кинофильмах про казино Вулкан шпионов.

Впрочем за данной кажущейся простотой таится полный мир трудных технологий и инженерных решений. Позвольте нам разобраться, как именно функционирует идентификация по лицу в современных мобильных телефонах, какие применяются способы, насколько они безопасны и что нас ждёт впереди.

Краткая повествование эволюции техники

Идентификация лиц как методика имеется уже более пятидесяти лет. Первые эксперименты автоматического исследования лиц были осуществлены еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры умели лишь обозначать контуры лица и измерять дистанции между глазами и губами на ахроматических изображениях.

Изначальные торговые платформы возникли в девяностых годах, но они были неидеальны: работали медленно и нередко ошибались. Только с эволюцией нейронных сетей и таких систем, как Vulkan Platinum, высокопроизводительных мобильных чипов определение лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным сканированием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать собственные решения.

Основные стадии работы системы распознавания

Процесс распознавания лица можно примерно поделить на несколько ключевых этапов:

Распознавание лица — камера выявляет присутствие людского лица в кадре.
Определение признаков — механизм исследует черты физиономии: конфигурацию зрительных органов, обонятельного органа, губ, положение бровей.
Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе выделенных признаков.
Сравнение с эталоном — сформированный образец сопоставляется со записанной при внесении биометрической данными владельца.
Принятие выбора — если совпадение достаточно высокое, смартфон деблокируется.

Любой из указанных шагов запрашивает особых алгоритмов и оптимизаций для оперативной работы непосредственно на девайсе.

Железные компоненты: что прячется внутри них

Стандартная фронтальная камера.

Простейший простой вариант определения облика применяет лишь фронтальную камеру смартфона смартфона. Данный подход реализован во многочисленных доступных вариантах Android-устройств.

Плюсы:

Не нуждается в нуждается в дополнительные сенсоров.
Быстро действует при качественном освещении.

Недостатки:

Просто одурачить снимком или видео.
Неудачно действует при слабом освещённости или нестандартных точках зрения.

Инфракрасная камера и точечный проектор

Более совершенные системы, такие как Vulkan Platinum, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика лежит в основе Face ID от Apple.

Как это функционирует:

Точечный устройство проекции отображает на лицо юзера невидимую структуру из тысяч инфракрасных меток (например, Face ID задействует около 30 000 меток).
ИК камера записывает изменение формы данной сетки по поверхности лица.
Создаётся трехмерная карта глубинности, которая почти неподвластна для фальсификации обычной снимком или маскировкой.

Преимущества

Надёжная функционирование даже в полной тьме.
Сильная сопротивляемость к фальсификациям.
Точность идентификации более 99%.

Дополнительные сенсоры

В определённых устройствах применяются также вспомогательные датчики: ToF (Time-of-Flight), которые фиксируют период движения света до объекта и обратно; Цветные-датчики глубины; специальные световые измерители расстояния для создания более аккуратной 3D-модели физиономии.

Эти разработки применяются наиболее часто во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искусственный ум в исполнении

Нынешние устройства идентификации лиц невозможны без использования ИИ и машинного обучения. Именно из-за таким разработкам, как Vulkan Platinum, аппарат в состоянии идентифицировать юзера даже при изменениях внешности: новая причёска, растительность на лице, очки или грим не становятся препятствием для разблокировки.

Обнаружение лица

В стартовом этапе программа обязана быстро распознать лицо среди целого снимка с камеры. Для данной цели используются многоуровневые классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые "обучены" идентифицировать лица людей среди множества других объектов.

Пример: алгоритм MTCNN в состоянии обнаруживать лицо даже при частичном закрытии (например, платком или рукой).

Идентификация основных аспектов

После идентификации лица механизм, такая как Vulkan Platinum, вычисляет расположение основных точек: кончики глаз, кончик носа, контуры губ и так далее. Как правило используется от 68 до 128 главных точек на лице.

Это действие требуется для нормализации изображения: если пользователь находится с телефон под наклоненным, или склонил головку, программа "выпрямляет" изображение до нормального состояния для последующего изучения.

Формирование биометрического идентификатора модели

Далее нейросеть строит уплотненное математическое представление ("эмбеддинг") лица пользователя — своеобразный цифровой "отпечаток" лица длиной от 128 до 512 флоатов.

Такой образец весьма сложно подделать: он не удерживает непосредственно картинку пользователя, а лишь уникальные черты его облика, что делает его идеальным для таких систем, как Вулкан Казино Платинум.

Сравнительный анализ и принятие выбора

Если юзер намеревается разблокировать мобильник взглядом, механизм осуществляет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный порог (обычно превышает 99%), телефон, как и платформа Вулкан Казино Платинум, открывается; если нет — доступ не предоставляется.

Привыкание к изменениям облика

Увлекательная особенность нынешних систем — возможность самостоятельного обучения. Если вы постоянно разблокируете телефон с обновленной укладкой или оптикой, программа постепенно модернизирует основной образец вашего лица для улучшения точности функционирования без снижения уровня безопасности.

Защита биометрических информации.

Множество клиенты беспокоятся хранить свои биометрические данные на мобильном устройстве из-за вероятности утечки данных или хакерской атаки. Определенные организации, такие как Вулкан Казино Платинум, предлагают решения для увеличения защиты информации пользователей.

Локальное сбережение: Основная часть аппаратов сохраняет био-идентификационные шаблоны только в пределах безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не покидают гаджет и закрыты даже производителю.
Шифрование: Все информация сохраняются только в кодированном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Программы внешних разработчиков не имеют прямого доступа к биометрическим; они могут лишь запрашивать факт верификации личности через системный API.

Необходимо упомянуть важную подробность: если кто-то получит физический доступ к вашему телефону (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество компании внедряют защиту от неосознанного разблокирования — к примеру, просят раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют категории идентификации лиц на изображениях?

На сегодняшний день можно выделить определить 3 основных подхода к осуществлению этой задачи:

Программируемое плоское распознавание

Используется только лицевая видеокамера без дополнительных сенсоров дистанции. Такой способ наблюдается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота реализации; низкая стоимость; быстрая деятельность при достаточном свете.
Минусы: просто обмануть снимком; нестабильная деятельность ночью; низкая защищенность.

Аппаратное 3D сканирование

Использует ИК камеру + проектор пикселей + сенсоры глубины (Face ID у Apple; аналогичные технологии у Huawei Mate).
Плюсы: значительная надежность; не получится подделать фото/видео; стабильная функционирование при любом освещении.
Минусы: повышение стоимости устройства; возрастание толщины верхней рамки экрана ("чёлка")

Комбинированные подходы с ИИ-дополнением

Применяют комбинацию программируемых методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам ("anti-spoofing"). Например, такие товары, как Vulkan Platinum и Google Pixel Face Unlock современных поколений, комбинируют фронталку c инфракрасным сенсором движения Soli Radar для предотвращения от подделок руками/масками/видеоэкранами посторонних устройств.

Образцы использования разных техник

iPhone линейки X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование
Xiaomi Mi8 Explorer Edition первый раз представил аналог Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 обеспечивают как программное обеспечение двухмерное определение по изображению фронтальной камерой, так и сканер радужки глаза.
Huawei Mate20 Pro задействует комплекс из ИК-подсветки + Dot Projector + ToF-сенсор

Трудности безопасности и ошибочные срабатывания

Несмотря на впечатляющий успехи инноваций за недавние лет, идеальных системы пока не имеется:

Шанс мошенничества: Доступные мобильники без труда "разблокируются" качественной изображением владельца или роликом с экрана другого устройства.
Идентичные двойняшки: Даже самые идеальные устройства могут ошибиться между монозиготными близнецами либо родственниками с очень похожей внешностью.
Изменения облика: Стремительное похудение/набор веса, хирургические вмешательства или травмы иногда требуют перерегистрации биометрических данных.
Условия съёмки: Яркая засветка солнцем либо плотная затенение могут уменьшить верность определения признаков.

Вот некоторые советов для безопасному применению:

Для важных операций всегда применяйте двухфакторную аутентификацию;
Не активируйте опцию "Разблокировка по лицу" на недорогих моделях без ИК-сенсоров;
Постоянно обновляйте прошивку телефона для обеспечения безопасности от современных угроз;
Включайте настройку "Требовать открытых глаз" везде, где она есть.

Где ещё используется технология кроме смартфонов?

Несмотря на то, что тема этой публикации посвящена конкретно мобильным устройствам, необходимо сказать о прочих направлениях внедрения технологии:

Мониторинг входа в рабочих помещениях и жилых домах;
Платёжные терминалы финансовых учреждений ("Face Pay");
Электронные паспорта нового поколения;
Комплексы видеоконтроля городских служб;
Автоматизация отслеживания присутствия образовательных учреждений/вузов;
Аутентификация юзеров ПК/ноутбуков.

Например: В московском метро уже испытывается система платежа проезда по лицу ("Face Pay") — нужно лишь пройти через барьер без карты или мобильника! Схожие проекты развиваются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом трансформируется технология в наше время?

Всякий годочек проявляются новые мысли для улучшения стандарта работы систем идентификации лиц:

Увеличивается чёткость датчиков — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс ошибки;
Совершенствуются искусственные интеллекты — передовые структуры модели MobileNetV3 обеспечивают возможность оперативно адаптироваться к новым характеристикам внешности пользователя непосредственно на девайсе без отправки данных в облако.
Улучшаются способы антиспуфинга — теперь смартфоны умеют отличать подлинные живые лица от статичных фото/маскировок по микроскопическим движениям кожи.
Интеграция со интеллектуальными приборами — умные часы могут самостоятельно заблокировать телефон, если пользователь удалился на значительное расстояние.
Возникают гибридные системы — в частности совмещающие голосовую идентификацию + облик + дактилоскопический след.

Здесь, которые направления очень востребованы сейчас:

1) Сокращение деталей

Производители пытаются уменьшить размер прорези ("чёлки") для датчики на экране за счёт внедрения маленьких ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Переработка прямо на аппарате

Для увеличения личной безопасности всё более вычислений происходит на месте без пересылки данных во внешний облачный сервис.

3) Унификация норм

Гугл интенсивно продвигает норму BiometricPrompt API, с целью чтобы такие площадки, вроде Вулкан Платинум, и все Android-аппы были совместимы с любыми видами биометрии единообразно.

Какое подобрать сегодня?

Если тебе важна наивысшая защита информации, выбирайте флагманские аппараты со встроенным ИК-излучателем либо ToF-датчиком глубины.

iPhone всех существующих последних поколений
Huawei Mate/P Series ряда
Xiaomi Expert
Vivo X модели
Оппо Обнаружить X линейки.

Если финансы ограничен – лучше предпочесть традиционным способам защиты (PIN-код/сканер отпечатка), а опцию "разблокировка по лицу", такую как в Вулкан Платинум, задействовать только как опциональную опцию комфорта.

Каким образом увеличить практичность использования опции?

Есть пара хитростей для тех, кто уже пользуется разблокировку по лицу:

Периодически меняйте свою фотографию-шаблон, если значительно меняется внешний вид.
Не пренебрегайте протирать линзу передней камеры – разводы могут уменьшить точность!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам активирует камеру если вы поднимаете его.
В процессе регистрационного процесса старайтесь удерживать лицевую часть прямо перед объектива без сильного наклона головы.
Используйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвернулись от дисплея.

Перспективы эволюции техники

В скоро наступающие периоды можно ожидать возникновения полностью бесконтактных способов идентификации персоны сразу по нескольким биометрическим параметрам одновременно: облик + речь + манера ходьбы + жесты рук!

Также предполагается развитие новых подходов охраны личной информации – например, изменяющееся модификация диджитал шаблона после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из очень захватывающих технологий нашего времени! Она предоставляет общение со смартфоном проще чем когда-либо прежде, и такие приложения, как Вулкан Казино Платинум, могут значительно повысить ваш опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы осведомлены, как работает эта методика в деталях, – сможете более осмысленно выбирать свой будущий девайс!