CASIA

Proyecto CASIA: Calidad de Sistemas de Inteligencia Artificial

CASIA: Calidad de Sistemas de Inteligencia Artificial

AQCLab lleva a cabo el proyecto CASIA: Calidad de Sistemas de Inteligencia Artificial, en el que se aborda la construcción de un entorno (metodológico y tecnológico) que permita ofrecer a empresas y organismos públicos, servicios de evaluación de la adecuación funcional de los sistemas de inteligencia artificial.

Motivación del Proyecto

En los últimos años estamos asistiendo a la trasformación digital de las organizaciones, en la que la Inteligencia Artificial juega un papel fundamental. Como señala la ENIA (Estrategia Nacional de Inteligencia Artificial del Ministerio de Asuntos Económicos y Transformación Digital): “Además de su incidencia en actividades cotidianas (buscadores de Internet, asistentes personales, electrodomésticos, recomendaciones de comercio electrónico, la inteligencia artificial en la robotización de procesos informáticos o físicos, etc.), así como en los ámbitos de investigación multidisciplinar, la IA tiene un alto potencial de aplicación en diferentes áreas de la actividad profesional y de servicios”.

Por otro lado, tal y como ha sucedido con el software y con cualquier otra tecnología (blockchain, móviles, redes sociales, etc.) el uso de la IA presenta diferentes tipos de riesgos (tanto oportunidades como amenazas). De hecho, entre los siete requisitos esenciales contemplados en las directrices del grupo de expertos de alto nivel que preparó el “LIBRO BLANCO sobre la inteligencia artificial - un enfoque europeo orientado a la excelencia y la confianza”, se incluye la “solidez técnica y seguridad”, juntos con otros como la gestión de la privacidad y de los datos; transparencia; diversidad, no discriminación y equidad; bienestar social y medioambiental; y rendición de cuentas.

El JTC1 de ISO/IEC ha aprobado recientemente una norma para la “calidad para sistemas basados en IA” conforme al marco de las normas ISO/IEC 25000 que se conoce como ISO/IEC 25059, en la que se propone dos modelos: un modelo de calidad en uso y un modelo de calidad de producto, que es el que nos interesa directamente en el ámbito de este proyecto. Dentro de este modelo destaca por su importancia en cuanto a la confianza que puede aportar, la característica de la adecuación funcional, que se define como: “Grado con el que un sistema de IA proporciona funciones que satisfacen necesidades declaradas e implícitas cuando se usa en las condiciones especificadas”.

Esta característica de calidad se subdivide a su vez en las siguientes subcaracterísticas:

Completitud funcional (functional completeness). Grado con el que el conjunto de funciones cubre todas las tareas y objetivos del usuario especificados.
Corrección funcional (functional correcteness). Grado con el que un sistema de IA proporciona resultados correctos con el grado de precisión necesario. (Aunque en la norma se advierte que los métodos de aprendizaje automático no suelen proporcionar una corrección funcional en todas las circunstancias observadas, por lo que es necesario medir la corrección y la incorrección cuidadosamente).
Pertinencia funcional (functional appropriateness). Grado con el que las funciones facilitan el logro de las tareas y objetivos especificados.
Adaptabilidad funcional (functional adaptability). Grado en que un sistema de IA puede adquirir con precisión información de datos, o el resultado de acciones anteriores, y utilizar esa información en futuras predicciones.

Por todo ello, mediante este proyecto se construirá el primer entorno a nivel internacional para la medición de la calidad de los sistemas de Inteligencia artificial, especialmente centrados en la adecuación funcional de este tipo de sistemas.

Descripción del Proyecto

El objetivo principal del proyecto CASIA es la construcción de un entorno (metodológico y tecnológico) que permita ofrecer a empresas y organismos públicos, servicios de evaluación de la adecuación funcional de los sistemas de inteligencia artificial. Este objetivo principal se pretende abordar por medio de los siguientes objetivos específicos.

Definir un modelo para la calidad de los sistemas de inteligencia artificial. La nueva norma ISO/IEC 25059 sólo establece qué subcaracterísticas influyen en la adecuación funcional de los sistemas de inteligencia artificial, pero no “aterriza” en el cómo llevarla a cabo. Por ello, se pretende crear un modelo operativo que permita, a partir de los resultados obtenidos para un conjunto de métricas base (que habrá que definir), determinar el nivel de la adecuación funcional de los sistemas de inteligencia artificial.
Desarrollar una metodología de evaluación para la adecuación funcional de los sistemas de inteligencia artificial, que describa las actividades que hay que ejecutar para realizar una evaluación de calidad (cuando el elemento evaluado es un sistema de inteligencia artificial), así como los roles y los productos de trabajo que se manejan. Dicha metodología estará además relacionada e integrada con la metodología de evaluación que ya se posee en el laboratorio AQCLab.
Creación de una herramienta para la evaluación de la adecuación funcional de los sistemas de inteligencia artificial, que permita, en la manera de lo posible, automatizar y asistir en el cálculo de las métricas básicas que se definan, así como en el proceso de evaluación que genere los valores para las subcaracterísticas de calidad.
Integración de la herramienta de evaluación de la IA con el entorno de visualización de AQCLab. AQCLab dispone de un entorno para visualización de la calidad. Con este nuevo objetivo, se pretende ampliar dicho prototipo de manera que sea capaz de presentar de una manera intuitiva los resultados obtenidos para la adecuación funcional de los sistemas de inteligencia artificial.
Validación del entorno tecnológico mediante casos de estudio, utilizando las herramientas desarrolladas y comprobando su idoneidad para realizar proyectos de evaluación de la calidad de los sistemas de inteligencia artificial.

Resultados

Modelo completo para la calidad de los sistemas de Inteligencia Artificial.
Conjunto de métricas para evaluación de la calidad de los sistemas de Inteligencia Artificial.
Metodología completa para la certificación de la calidad de los sistemas de Inteligencia Artificial.
Entorno de medición y visualización de la calidad de los sistemas de Inteligencia Artificial.