Как работает определение лиц в мобильных устройствах

Почему мы останавливаемся на разблокировку по лицевому распознаванию

В недавние времена идентификация лиц является одной из самых распространённых функций для открытия умных телефонов. Лишь несколько лет назад основная масса юзеров удовлетворялись пин-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением подобных технологий, как вулкан россия, нам достаточно просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какой аспект превращает эту конкретную особенность настолько популярной? Прежде всего, это практично: не нужно помнить сложные пароли или искать верный палец в темноте. Также, это оперативно: современные программы распознают лицо буквально за мгновение. В-третьем пункте, это ощущение футуризма — как будто в фильмах про казино вулкан агентов.

Тем не менее за этой видимой легкостью прячется полный вселенная сложных техник и инженерных разработок. Попробуем разобраться, как точно действует фейсканирование в актуальных смартфонах, какие существуют технологии, насколько они надёжны и что нас ожидает в будущем.

Краткая история развития технологии

Идентификация лиц как методика имеется уже более 50 лет. Начальные эксперименты автоматизированного исследования лиц были осуществлены еще в 1960-х годы в научных учреждениях США. Тогда вычислительные машины способны были лишь выделять силуэты лица и вычислять дистанции между зрачками и губами на черно-белых снимках.

Изначальные коммерческие системы стали доступны в 1990-х годах, но они были несовершенны: функционировали медленно и часто давали сбои. Только с прогрессом нейронных сетей и таких площадок, как вулкан россии, сильных мобильных чипов идентификация лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным сканированием лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные решения.

Главные шаги действия устройства идентификации

Процесс распознавания лица можно условно поделить на несколько важных этапов:

Распознавание лица — устройство определяет присутствие гуманного лица в снимке.
Выделение признаков — система изучает контуры лица: форму зрительных органов, носа, уст, расположение бровей.
Построение шаблона — создаётся неповторимый цифровой отпечаток (faceprint) на основе выделенных признаков.
Сравнение со стандартом — полученный образец сверяется с сохранённой при внесении биометрической сведениями владельца.
Принятие выбора — если сходство достаточно существенное, смартфон деблокируется.

Любой из указанных шагов запрашивает индивидуальных методов и усовершенствований для скорой работы непосредственно на девайсе.

Аппаратные составляющие: что прячется в их недрах

Стандартная фронтальная камера.

Самый несложный способ идентификации облика задействует исключительно переднюю камеру смартфона смартфона. Подобный способ реализован во многочисленных бюджетных версиях Android-девайсов.

Преимущества:

Не требует дополнительные датчиков.
Оперативно функционирует при качественном свете.

Минусы:

Просто ввести в заблуждение фотографией или видео.
Неправильно действует при низком освещённости или непривычных ракурсах.

ИК камера и пунктирный проектор

Более продвинутые системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология составляет базу Face ID от Apple.

Каким образом это действует:

Точечный проекционный прибор отображает на лицо юзера невидимую решетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 меток).
Инфракрасная камера фиксирует деформацию этой решетки по поверхности физиономии.
Создаётся трехмерная карта глубинности, что почти что невозможна для фальсификации стандартной снимком или маской.

Плюсы

Надёжная деятельность даже в полной неосвещённости.
Большая сопротивляемость к фальсификациям.
Точность распознавания свыше 99%.

Дополнительные сенсорные устройства

В отдельных девайсах задействуются также дополнительные датчики: ToF (Time-of-Flight), которые измеряют время движения света до предмета и обратно; Цветные-датчики глубины; специальные световые измерители расстояния для формирования более детализированной 3D-модели физиономии.

Эти технологии используются чаще всего во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искуственный разум в исполнении

Текущие механизмы распознавания лиц невозможны без применения artificial intelligence и машинного обучения. Именно благодаря таким разработкам, как вулкан россии, устройство способно идентифицировать юзера даже при изменениях облика: новая укладка, растительность на лице, линзы или грим не становятся барьером для открытия.

Обнаружение лица

На начальном стадии система необходимо быстро обнаружить образ лица внутри целого снимка с камеры. Для данной цели задействуются последовательные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые натренированы идентифицировать лица людей среди множества других объектов.

Пример: метод MTCNN способен обнаруживать облик даже при частичном перекрытии (например, шарфом или рукой).

Выделение основных моментов

После идентификации лица устройство, такая как вулкан россии, вычисляет положение ключевых точек: уголки глаз, верхушка носа, контуры губ и так далее. Как правило применяется от 68 до 128 основных точек на лицевой области.

Это действие требуется для выравнивания картинки: если юзер находится с мобильник под наклоном, или повернул голову, программа корректирует изображение до обычного угла для дальнейшего анализа.

Формирование биометрического идентификатора модели

Далее нейронная сеть строит компактное цифровое представление („эмбеддинг”) внешности пользователя — своеобразный цифровой „отпечаток” лица длиной от 128 до 512 чисел с плавающей запятой.

Этот шаблон весьма затруднительно подделать: он не удерживает само изображение пользователя, а лишь исключительные характеристики его облика, что делает его идеальным для таких платформ, как vulkan russia.

Сопоставление и осуществление заключения

Когда пользователь хочет открыть смартфон взглядом, программа осуществляет все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый порог (обычно превышает 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ блокируется.

Приспособление к трансформациям облика

Интересная характеристика современных системы — способность самообучения. Если ты постоянно доступаете к мобильное устройство с новой прической или оптикой, программа постепенно обновляет эталонный модель вашего облика для улучшения точности функционирования без ухудшения безопасности.

Защита биометрических информации.

Множество пользователи опасаются хранить свои био-идентификационные данные на мобильном устройстве из-за угрозы утечки данных или хакерской атаки. Определенные компании, такие как vulkan russia, предлагают варианты для повышения сохранности данных юзеров.

Локальное хранение: Большинство аппаратов записывает био-идентификационные шаблоны лишь внутри защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не покидают аппарат и недоступны даже производителю.
Шифрование: Все сведения хранятся только в кодированном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция программ: Программы внешних девелоперов не обладают прямого доступа к биометрическим; они могут лишь требовать подтверждение верификации идентичности через системный API.

Необходимо упомянуть значимую особенность: если кто-то достанет доступ к вашему телефону физически (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство производители внедряют меры безопасности от „слепого” разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают виды определения лиц на изображениях?

В настоящее время можно определить различить 3 главных способа к выполнению этой задачи:

Программируемое 2D определение

Используется только лицевая видеокамера без вспомогательных детекторов глубины. Такой метод наблюдается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота воплощения; умеренная цена; быстрая деятельность при достаточном освещении.
Минусы: несложно ввести в заблуждение фотографией; ненадежная функционирование ночью; недостаточная защищенность.

Оборудование для трёхмерное сканирование

Задействует инфракрасную видеокамеру + проекционный модуль точек + датчики глубины (Face ID у Apple; аналогичные технологии у Huawei Mate).
Достоинства: высокая достоверность; не получится подделать изображение/видеозапись; стабильная работа при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана („чёлка”)

Комбинированные способы с ИИ-дополнением

Применяют комбинацию программных методов + аппаратно-техническую обработку + постобработку нейросетями для повышения устойчивости к атакам („anti-spoofing”). Например, подобные товары, как вулкан россии и Google Pixel Face Unlock последних поколений, объединяют фронтальную камеру c инфракрасным датчиком движения Soli Radar для предотвращения от подделок жестами/масками/видеодисплеями посторонних устройств.

Образцы эксплуатации различных методов

iPhone серии X/11/12/13/14 применяют только техническое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition в первый раз внедрил аналог Face ID среди Android.
Samsung Galaxy S10/S20 обеспечивают как программное обеспечение двухмерное распознавание по изображению селфи-камерой, так и датчик радужки глаза.
Huawei Mate20 Pro использует набор из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Проблемы охраны и ложные тревоги

Несмотря на замечательный развитие техники за последние лет, совершенных системы пока не наблюдается:

Возможность мошенничества: Недорогие смартфоны без труда открываются четкой изображением владельца либо роликом с дисплея иного гаджета.
Идентичные двойняшки: Даже самые безупречные системы могут перепутать между однояйцевыми близнецами либо родичами с очень аналогичной внешностью.
Изменения внешности: Резкое похудение/набор веса, хирургические вмешательства или повреждения порой необходимы для обновления данных биометрии.
Условия съёмки: Интенсивная освещённость солнечным светом либо интенсивная тень могут уменьшить аккуратность определения признаков.

Здесь пара рекомендаций по надёжному эксплуатации:

Для важных операций всегда применяйте двухэтапную аутентификацию;
Не активируйте возможность „Разблокировка по лицу” на дешёвых моделях без ИК-сенсоров;
Постоянно обновляйте прошивку телефона для предотвращения угроз от актуальных атак;
Включайте функцию „Требовать открытых глаз” в тех местах, где она есть.

Где ещё находится применение технология кроме мобильных телефонов?

Несмотря на то, что предмет данной работы сосредоточена на именно мобильным устройствам, необходимо сказать о других сферах применения технологии:

Мониторинг доступа в деловых центрах и резиденциях;
Платёжные аппараты финансовых учреждений („Face Pay”);
Виртуальные идентификационные документы последнего образца;
Установки видеомониторинга муниципальных служб;
Механизация учёта присутствия образовательных учреждений/институтов;
Вход участников персональных компьютеров/ноутбуков.

Например: В московском метро уже тестируется система платежа проезда по фейсу („Face Pay”) — нужно лишь пройти через турникет без пластика или мобильника! Схожие инициативы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом изменяется техпроцесс сегодня?

Любой годик появляются свежие концепции для усовершенствования стандарта работы систем идентификации лиц:

Увеличивается чёткость датчиков — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше вероятность неточности;
Развиваются искусственные интеллекты — новейшие конструкции вида MobileNetV3 позволяют скоростно обучаться свежим особенностям вида владельца напрямую на гаджете без отправки данных в облако.
Развиваются методы антиспуфинга — теперь телефоны могут различать настоящие движущиеся лица от неподвижных фото/масок по мельчайшим микродвижениям.
Синхронизация со смарт-гаджетами — смарт-часы могут автоматически закрыть доступ к смартфон, если владелец удалился на значительное расстояние.
Проявляются гибридные механизмы — например комбинирующие аудио идентификацию + лицо + пальцевой отпечаток.

Здесь, те направления особенно востребованы сейчас:

1) Уменьшение элементов

Компании пытаются минимизировать размер выреза („чёлки”) под датчики на экране за счёт интеграции маленьких ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для улучшения приватности всё более вычислений происходит на месте без отправки информации во внешний облачный сервис.

3) Унификация норм

Гугл активно продвигает стандарт BiometricPrompt API, для того чтобы аналогичные площадки, например как вулкан россия, и все Android-программы были совместимы с любыми видами биометрии унифицированно.

Что решить на сегодня?

В случае если вам нужна наивысшая безопасность информации, выбирайте флагманские модели с вмонтированным ИК-проектором или же ToF-сенсором глубины.

iPhone каждого актуальных версий
Huawei Mate/P Series серии
Mix Expert
Vivo X серии
Oppo Find Икс линейки.

Если финансы скромен – лучше отдавать предпочтение обычным способам защиты (PIN-код/сканер пальца), а возможность „разблокировка по лицу”, такую как в вулкан россия, использовать только как второстепенную возможность удобства.

Каким способом увеличить удобство функционирования опции?

Есть несколько советов для тех, кто уже использует разблокировку через лицо:

Часто обновляйте свою изображение-шаблон, если кардинально изменяется внешний вид.
Не упускайте из виду протирать линзу фронтальной камеры – разводы могут уменьшить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам запускает камеру если вы берёте его в руки.
При регистрационного процесса старайтесь сохранять лицо ровно напротив объектива не допуская значительного наклона головы.
Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отвернулись от дисплея.

Перспективы эволюции техники

В предстоящие времена можно предвкушать развития полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим параметрам одновременно: лицо + звучание + походка + движения рук!

Также возможно появление новых методов охраны конфиденциальности – к примеру, динамическое модификация диджитал паттерна после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из самых увлекательных технологий нашего эпохи! Она делает интеракцию со телефоном комфортнее чем когда-либо прежде, и такие программы, как vulkan russia, могут значительно улучшить ваш опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как функционирует эта технология изнутри, – сможете осознаннее выбирать свой очередной девайс!