SmartSim
Educación e Inteligencia Artificial
Este es un estudio para profundizar en todos los aspectos relacionados con la educación y la formación profesional tal como se describen en las fuentes, principalmente en el contexto del Reglamento (UE) 2024/1689 (Ley de IA). El Reglamento de Inteligencia Artificial de la UE aborda la IA en la educación en dos áreas principales: como un sector que puede beneficiarse del uso de la IA, y como un ámbito donde ciertos sistemas de IA conllevan un alto riesgo para los derechos fundamentales y, por lo tanto, están sujetos a requisitos estrictos.
Oportunidades de la IA en la Educación
La IA es reconocida como un conjunto de tecnologías que contribuyen a generar beneficios en diversos sectores, incluida la educación y la formación.
Específicamente, el despliegue de sistemas de IA en el ámbito educativo es importante para fomentar una educación y formación digitales de alta calidad. El objetivo es que todos los estudiantes y profesores puedan adquirir y compartir las capacidades y competencias digitales necesarias. Esto incluye la alfabetización mediática y el pensamiento crítico para participar activamente en la economía, la sociedad y los procesos democráticos.
Clasificación de Sistemas de IA en Educación como "Alto Riesgo"
A pesar de los beneficios potenciales, el Reglamento establece que ciertos sistemas de IA utilizados en la educación y la formación profesional deben ser clasificados como de alto riesgo. Esta clasificación se justifica porque estos sistemas pueden decidir la trayectoria formativa y profesional de una persona y, por consiguiente, afectar a su capacidad para asegurar su subsistencia. Si no se diseñan y utilizan correctamente, estos sistemas pueden:
- Invadir y violar el derecho a la educación y la formación.
- Violar el derecho a no sufrir discriminación.
- Perpetuar patrones históricos de discriminación, por ejemplo, contra mujeres, determinados grupos de edad, personas con discapacidad o personas de cierto origen racial o étnico o con una determinada orientación sexual.
Anexo III de la Ley de IA
El Anexo III de la Ley de IA, punto 3, enumera las categorías de sistemas de IA que se consideran de alto riesgo en este ámbito:
- Sistemas de IA destinados a determinar el acceso o la admisión:
Sistemas de IA destinados a ser utilizados para determinar el acceso o la admisión de personas físicas a centros educativos y de formación profesional a todos los niveles o para distribuir a las personas físicas entre dichos centros. - Sistemas de IA destinados a evaluar los resultados del aprendizaje:
Esto incluye casos en que dichos resultados se utilizan para orientar el proceso de aprendizaje de las personas físicas en centros educativos y de formación profesional a todos los niveles. - Sistemas de IA destinados a evaluar el nivel educativo adecuado:
Sistemas de IA destinados a ser utilizados para evaluar el nivel de educación adecuado que recibirá una persona o al que podrá acceder, en el contexto de los centros educativos y de formación profesional o dentro de estos a todos los niveles. - Sistemas de IA destinados al seguimiento de comportamientos durante exámenes:
Sistemas de IA destinados a ser utilizados para el seguimiento y la detección de comportamientos prohibidos por parte de los estudiantes durante los exámenes en el contexto de los centros educativos y de formación profesional o dentro de estos a todos los niveles.
Prácticas de IA Prohibidas Específicas en Educación
El Reglamento prohíbe explícitamente ciertas prácticas de IA en el ámbito educativo si se considera que conllevan un riesgo inaceptable y contravienen los valores de la Unión.
Se prohíbe la introducción en el mercado, la puesta en servicio o el uso de sistemas de IA para inferir las emociones de una persona física en los centros educativos. Esta prohibición tiene en cuenta el desequilibrio de poder en el contexto educativo, unido al carácter intrusivo de estos sistemas. El uso de tales sistemas podría dar lugar a un trato perjudicial o desfavorable de determinadas personas físicas o colectivos enteros.
La única excepción a esta prohibición es cuando el sistema de IA esté destinado a ser instalado o introducido en el mercado por motivos médicos o de seguridad.
IV. Medidas de Protección y Requisitos Generales
Dado que estos sistemas son de alto riesgo, los proveedores (desarrolladores) y los responsables del despliegue (usuarios finales, como centros educativos) deben cumplir con los requisitos rigurosos del Capítulo III, Sección 2, del Reglamento, entre los que se incluyen:
- Alfabetización en IA: Los responsables del despliegue deben asegurarse de que el personal que opere los sistemas de IA de alto riesgo en el lugar de trabajo, incluidos los centros educativos, tenga la competencia, la formación y la autoridad necesarias. Esto implica la comprensión de los riesgos y beneficios de la IA, y los conocimientos necesarios para tomar decisiones informadas.
- Gestión de riesgos: Deben establecer y mantener un sistema de gestión de riesgos continuo. Esto incluye la determinación y el análisis de los riesgos conocidos y previsibles que el sistema pueda plantear para los derechos fundamentales.
- Datos y sesgos: Se requiere una estricta gobernanza de datos. Los conjuntos de datos de entrenamiento deben ser pertinentes, representativos y carecer de errores y sesgos en la mayor medida posible. Esto es crucial para mitigar los posibles sesgos que podrían perpetuar y amplificar la discriminación existente contra colectivos vulnerables.
- Supervisión humana: Los sistemas deben diseñarse para ser vigilados de manera efectiva por personas físicas, permitiendo la interpretación de los resultados y la capacidad de intervenir en cualquier momento o de descartar los resultados generados por el sistema.
Conclusión
La implementación de estos sistemas en el ámbito educativo exige un equilibrio delicado entre la innovación tecnológica y la protección de los derechos fundamentales de los estudiantes. Si desea conocer más sobre los requisitos de documentación o la evaluación de impacto en los derechos fundamentales que deben realizar los responsables del despliegue de estos sistemas, puedo proporcionarle detalles adicionales.