Evaluaciones de sistemas frente a de algoritmos en PAD

En el campo de la detección de ataques de presentación facial (face-PAD) o prueba de vida (liveness detection), evaluar la efectividad de los sistemas y los algoritmos es crucial para garantizar medidas robustas y confiables contra el fraude. Los dos enfoques principales de evaluación utilizados en la investigación de PAD son la evaluación de sistemas y la evaluación de algoritmos. En este artículo, exploraremos las diferencias clave entre ambos métodos, sus objetivos y cómo contribuyen al avance del estado del arte en la detección de ataques de presentación facial.

Las evaluaciones de sistemas determinan la efectividad de una solución contra el fraude

La evaluación de sistemas en la detección de ataques de presentación facial implica evaluar el rendimiento general de la solución contra el fraude para determinar su nivel de efectividad y confiabilidad en escenarios del mundo real.

Se centra en analizar el sistema end-to-end en su conjunto, considerando factores como la captura de la cámara, la interacción del usuario y las técnicas de preprocesamiento, así como los métodos de fusión y decisión. Generalmente implica los siguientes pasos:

• Selección y creación de Instrumentos de Ataque de Presentación (Presentation Attack Instruments, PAI). Elegir y crear un conjunto diverso de PAI que simulen las técnicas de suplantación existentes en escenarios del mundo real.
• Métricas de rendimiento del sistema. Adoptar métricas de rendimiento reconocidas, como las definidas en ISO 30107, para medir la efectividad del sistema, incluida la tasa de falsa aceptación (FAR), la tasa de falso rechazo (FRR) y otras métricas relevantes específicas del problema de PAD, como la tasa de error de clasificación de presentaciones genuinas (BPCER), la tasa de error de clasificación de presentaciones de ataque (APCER) o la tasa media de error de clasificación (ACER).
• Diseño de experimentos sistemáticos. Diseñar experimentos para analizar el rendimiento del sistema en diversas condiciones, incluyendo diferentes tipos de ataques, factores ambientales y diferentes configuraciones de adquisición de datos. La idea es que cubran la mayor cantidad de casos posibles para simular ataques del mundo real.

Un ejemplo de este método de evaluación es el propuesto por el Centro Criptológico Nacional (CCN-CPSTIC) del Ministerio de Defensa de España para calificar sistemas de vídeo-identificación. Alice Biometrics ha sido calificado por el CCN como un servicio de vídeo-identificación de alta seguridad y multiplataforma.

La evaluación de algoritmos ofrece información sobre las fortalezas y limitaciones de los algoritmos, así como su aplicabilidad en escenario real

La evaluación algorítmica en la detección de ataques de presentación facial se centra en evaluar el rendimiento a nivel de algoritmos y métodos individuales utilizados contra fraude, frecuentemente basados en enfoques de inteligencia artificial.

Su objetivo es analizar la efectividad de algoritmos o modelos específicos en la detección y diferenciación entre accesos genuinos e intentos de suplantación. Pero también es útil para obtener información sobre las fortalezas y limitaciones de diferentes algoritmos y su aplicabilidad a diversos escenarios de ataque. Generalmente involucra los siguientes aspectos:

• Conjunto de datos de referencia. Recopilar y seleccionar un conjunto de datos de referencia que sea representativo de escenarios del mundo real y que contenga ataques de presentación diversos.
• Métricas de rendimiento algorítmicas. Definir métricas de rendimiento adecuadas adaptadas a la evaluación algorítmica, como precisión, sensibilidad, especificidad y métricas específicas relevantes para el dominio de PAD.
• Análisis comparativo e informes analíticos. Realizar un análisis comparativo de algoritmos, garantizando comparaciones justas y reproducibles, y reportar los resultados de manera transparente.

Un ejemplo de evaluación de algoritmos es el propuesto por el NIST americano para el Face Recognition Vendor Test (FRVT) PAD. Alice Biometrics ha participado en la primera evaluación de PAD realizada por el NIST alcanzando las primeras posiciones entre los principales proveedores de PAD a nivel mundial.

Los aspectos positivos y negativos de la evaluación algorítmica y la evaluación de sistemas

La evaluación de algoritmos ofrece varios beneficios, que incluyen:

1. Comparación justa. La evolución de algoritmos en conjuntos de datos estandarizados permite comparaciones justas entre diferentes proveedores o grupos de investigación. Esto, a su vez, permite un análisis objetivo del rendimiento y facilita los avances en el campo.
2. Análisis focalizado. Permite a los investigadores analizar en profundidad las fortalezas y debilidades de algoritmos de PAD específicos. Esto puede llevar a mejoras incrementales en la precisión de detección y al desarrollo de técnicas más robustas.

Sin embargo, la evaluación algorítmica también tiene limitaciones, como:

1. Representatividad limitada. Evaluar algoritmos en conjuntos de datos específicos puede no capturar completamente la diversidad de ataques de presentación del mundo real, lo que puede limitar la generalización de los resultados.Los conjuntos de datos evaluados pueden no abarcar todos los escenarios de fraude posibles y es posible que no representen adecuadamente las técnicas de ataque emergentes, por lo que es importante actualizarlos con frecuencia.
2. Falta de información a nivel del sistema global. La evaluación del algoritmo no considera los desafíos de rendimiento e integración que surgen al implementarlo dentro de un sistema completo de reconocimiento facial. En consecuencia, los resultados obtenidos a través de la evaluación algorítmica pueden no reflejar completamente el rendimiento del algoritmo en entornos operativos del mundo real.

Por otro lado, la evaluación de sistemas ofrece varias ventajas, que incluyen:

1. Relevancia directa del escenario real. Evalúa el rendimiento del sistema completo de reconocimiento facial (PAD), teniendo en cuenta diversos factores como las condiciones ambientales y los escenarios de ataque, proporcionando información sobre los desafíos de implementación en el mundo real.
2. Consideraciones de usabilidad. La evaluación del sistema tiene en cuenta factores como la experiencia del usuario, el tiempo de procesamiento y la compatibilidad de integración, asegurando su practicidad y facilidad de uso.

Sin embargo, la evaluación de sistemas también tiene algunas desventajas, como:

1. Complejidad y variabilidad que limita la comparación. Evaluar el sistema completo de reconocimiento facial implica considerar múltiples componentes y sus interacciones. Las variaciones en hardware, software, condiciones ambientales y escenarios de ataque dificultan reproducir las condiciones exactas en las que se realizó la evaluación. Como resultado, puede ser un desafío hacer una comparación justa entre sistemas.
2. Alcance limitado del sistema o la plataforma. Dado que la evaluación del sistema debe realizarse end-to-end con personas que llevan a cabo ataques y accesos frente al sistema, incluso si el proceso está sistematizado siguiendo recomendaciones de estándares (como ISO 30107), el alcance de la evaluación se limita a la implementación física del sistema o dispositivo evaluado y, por lo tanto, no se puede reproducir en un entorno diferente.

Avanzando en la detección de ataques de presentación facial

Tanto la evaluación de sistemas como la de algoritmos desempeñan roles vitales en el avance de las técnicas de detección de ataques de presentación facial. La evaluación de sistema proporciona una visión integral de la solución completa contra el fraude, lo que permite a investigadores y desarrolladores identificar áreas de mejora, optimizar las configuraciones del sistema y validar su efectividad en escenarios del mundo real. Y asegura su practicidad al considerar actores como las condiciones ambientales y la usabilidad. Sin embargo, enfrenta desafíos en términos de reproducibilidad y comparación justa entre sistemas debido a la complejidad del proceso.

Por otro lado, la evaluación algorítmica se centra en el análisis detallado de técnicas individuales, lo que permite a los investigadores desarrollar algoritmos más precisos y robustos para detectar ataques de presentación cada vez más sofisticados. Permite comparaciones justas entre diferentes proveedores o grupos de investigación, al evaluar algoritmos de PAD específicos en conjuntos de datos estandarizados. Facilita evaluaciones objetivas y mejoras incrementales en la precisión de detección. Sin embargo, tiene inconvenientes en términos de representación limitada y la falta de información a nivel del sistema final.

Al realizar continuamente evaluaciones de sistema y algorítmicas, la comunidad de investigación en detección de ataques de presentación facial (face-PAD) puede impulsar la innovación, mejorar el estado del arte y desarrollar soluciones efectivas contra el fraude que puedan responder a los ataques en constante evolución. La colaboración entre investigadores, proveedores de datos y demás actores de la industria es crucial para garantizar protocolos de evaluación estandarizados, conjuntos de datos de referencia diversos y la presentación transparente de los resultados de evaluación.