Dado que los sistemas de IA se utilizan cada vez más para aumentar la toma de decisiones en sectores de alto riesgo como la concesión de créditos y la contratación, los expertos en diseño y comportamiento del Laboratorio de Política de la UE decidieron explorar la cuestión fundamental de la supervisión humana en las decisiones apoyadas por IA. Con el apoyo de colegas del Centro Europeo para la Transparencia Algorítmica (ECAT), intentamos comprender mejor cómo interactúan los seres humanos con la IA.
Equidad en la IA: más compleja de lo que pensábamos
Uno podría creer intuitivamente que la supervisión humana puede servir de control contra los sesgos de la IA. Sin embargo, este exhaustivo estudio, que combina investigación cuantitativa y cualitativa, cuenta una historia diferente.
Descubrimos que es igual de probable que los supervisores humanos sigan los consejos de los sistemas de IA, independientemente de si están programados para ser justos o no. Esto sugiere que la supervisión humana por sí sola es insuficiente para prevenir la discriminación; de hecho, puede incluso perpetuarla.
En dicho experimento cuantitativo participaron profesionales de RRHH y del sector bancario de Italia y Alemania, que tomaron decisiones de contratación y concesión de préstamos influidos por las recomendaciones de la IA. Los resultados fueron bastante sorprendentes: el uso de una IA «justa» redujo, por ejemplo, los prejuicios de género, pero no eliminó la influencia de los prejuicios humanos preexistentes en la toma de decisiones.
La información cualitativa obtenida en entrevistas y talleres con participantes y expertos en IA se hizo eco de estas conclusiones. Los profesionales suelen dar prioridad a los intereses de la empresa sobre la imparcialidad, lo que pone de manifiesto la necesidad de directrices más claras sobre cuándo anular las sugerencias de la IA.
