1. Portada
  2. Inteligencia Artificial en la docencia
  3. Tareas resistentes a IA Generativa

Tareas resistentes a IA Generativa

Introducción

La evaluación continua ha sido asumida sin costes adicionales, a base de reducir grupos y plantear ejercicios simples. Estos ejercicios necesariamente eran sencillos de evaluar y eso ha servido para atenuar el esfuerzo de hacer una evaluación continua.

La aparición comercial de la IA Generativa no ha puesto en duda las pruebas finales en las asignaturas, pero sí pone en cuestión la forma de implementar la evaluación continua tal como era antes.

De acuerdo con las guías aprobadas en consejo de gobierno de (XXX) no es confiable el uso de herramientas detectoras de IA. También se indica que el uso de herramientas que dificulten la adquisición de competencias debería ser evitado.

Por eso, es momento de revisar cómo se hace la evaluación continua y potenciarla de una forma distinta, incluso más ajustada a su orientación inicial: adquirir de forma eficaz las competencias. Proponemos tres simples reglas:

  • Cualquier ejercicio que se plantee, antes es mejor probarlo nosotros en una IA Generativa. La UCM ha puesto varias a disposición de los complutenses, pero hay otras en el mercado con acceso gratuito
  • Necesariamente debe existir una rúbrica adecuada que se centre en cómo una persona ha trabajado en la adquisición de competencias. Esta tarea no puede ser sólo hacer un resumen y evaluar usando como criterio la buena redacción. Debe ser revisada para incorporar elementos que, sin incrementar el coste de evaluación para el profesor ni el coste de redacción para el estudiante que no usa estas herramientas, sirva para adquirir mejor las capacitades que nos interese trabajar.
  • Es posible plantear otro tipo de ejercicios que sean más resistentes ante el uso de IA Generativa y que sean más eficaces para aprender. Para eso hemos dispuesto una serie de recomendaciones, pero variarán según la tipología del ejercicio.

Cómo plantear ejercicios resistentes a la IA Generativa: ejercicios de redacción

Esto no constituye una norma eterna. Todas los métodos listados aquí pueden funcionar total o parcialmente. De cualquier forma, es algo temporal y es probable que, en algún momento, planteamientos resistentes al uso de IA ya no lo sean. Por eso se recomienda probar siempre antes los ejemplos y familiarizarse con el tipo de resultados que generan estas inteligencias.

En general se basan en dos limitaciones de estas inteligencias: que no disponen informacion completa ni de la literatura ni de lo que acontece ya sea en el aula o en el mundo; que tiene alucinaciones que hacen que invente información; que, especialmente en ciertas áreas, carece de elementos para hacer juicios de valor; y que no es bueno haciendo análisis de los textos para enumerar elementos que en ellos existan. Basándose en estas debilidades, se pueden proponer modificaciones en ejercicios para hacerlos menos susceptibles a resolverse fácilmente con una IA generativa. Por ello, se proponen una serie de medidas que pueden hacer nuestros ejercicios más resistentes ante un uso casual de una IA generativa:

  • Poniendo condiciones a los contenidos:
    • Referenciar palabras o frases de clase de la  misma forma que se han visto en clase. Esto debería hacerse sin limitar la capacidad del estudiante de proporcionar sus ideas o reflexiones propias. No es tanto forzar la repetición, como asegurarse que se han captado las ideas. Textos que aludan exclusivamente a cosas no vistas en clase podrían haber sido generados de forma automática.
    • Citar al profesor obligatoriamente en el texto repitiendo exactamente sus palabras. Como las IAs tienen alucionaciones, es muy probable que si se deja a la IA que meta alocuciones, lo haga mal y se las invente. Se pueden meter a posteriori, pero eso obligará a no aceptar el texto de la IA tal cual. 
    • Estructurar el resultado. Forzar a que la entrega tenga un formato concreto, una estructura particular, dificulta la generación por parte de una IA. Así, pedir que haya párrafos con objetivos concretos es más difícil de generar que dejando libertad. 
    • Pedir que se cite o referencia sólo textos de la bibliografía de la materia de forma obligatoria. Las alucionaciones de la IA no atinarán a introducir las referencias apropiadas. Aparte, si se proporciona el texto tanto del ejercicio como de las referencias, necesariamente ocupará más espacio en la IA y será más costoso para la empresa dar una respuestas satisfactoria.
    • Pedir que se incluyan elementos vistos en clase como se ha visto en clase. Por ejemplo, los trabajos tengan que ver con casos vistos en clase  y que parte de la información se haya dado de forma de discusión o debate en clase. No se trata de ocultar información al estudiante, sino de que se meta en el trabajo las reflexiones hechas en clase. Ello implicará que el profesorado debe anotar o tener presente estas cuestiones. Una alternativa es tener unas notas ampliadas de clase que sólo tenga el profesor.
    • Incluir elementos que sean caros de generar por la IA. Por ejemplo, la inclusión de mapas mentales, de representaciones gráficas, de diagramas. Existen herramientas que hacen estas cosas, pero no están conectadas con IAs generativas. Esta opción debe ser usada con cautela, porque traslada al estudiante un esfuerzo no menor si tienen que hacerlas de forma manual.
  • Utilizar elementos meta-cognitivos en los escritos
    • Pedir, por ejemplo, seleccionar ideas importantes, justificar la importancia y que coincida con el criterio de clase, salvo que se justifique con referencias a otros autores también vistos en clase. Las IAs no están hechas para enumerar con exactitud. Aparte, no tienen criterio para saber qué es importante y qué no lo es. Es fácil que una idea destacada por muchos autores como importante, también aparezca en la IA, pero el ejercicio de seleccionar todas las ideas importantes es mucho más difícil que salga a la primera. 
    • Incluir reflexión. Por ejemplo,  en lugar de preguntarles por un tema, pedirles que indiquen qué parte les ha costado más de entender y por qué. Preguntar por las estrategias seguidas para entender las dudas cuando las haya habido. Esto reforzará los procesos de aprendizaje del estudiante y hará que un diálogo con una IA para incluir estos elementos necesariamente sea largo y costoso. 
    • Incluir tareas que requieran desarrollar el juicio propio. El opinar de forma argumentada usando referencias a autores y textos de clase. Que aprenda el estudiante a combinar ideas. 
    • Pedir analizar debilidades de textos que se proporcionen en clase. Ello implica analizar el texto desde otra perspectiva, razonar sobre los contenidos y explicar por qué es una debilidad.

Cómo plantear ejercicios resistentes a la IA Generativa: ejercicios de resolución de problemas

Los ejercicios de resolución de problemas se refieren a aquellos en los que el estudiante tiene que resolver un problema con el conocimiento aportado en clase. En este caso, la literatura no es concluyente de la forma mejor para hacerlo. Además, se trata de asumir un compromiso por modificar los ejercicios cada año. Si uno no modificaba los ejercicios antes, da igual que ahora exista una herramienta que los resuelva, pues seguramente las soluciones ya estaban a disposición de los estudiantes. 

Hay que distinguir este tipo de problemas de aquellos que consisten en seguir unos pasos determinados y que requiere que la persona los siga uno a uno para llegar al resultado final y que implican el uso de material físico. Este tipo de prácticas está encaminada a que el estudiante se familiarice con instrumental técnico y puede tener un impacto incluso positivo la agregación de instrucciones por parte de las IAs.

No obstante, hay que prevenir cuando un error en algún paso pueda suponer un riesgo para el estudiante. Este puede ser el caso de laboratorios donde se manejen sustancias peligrosas. 

 

 


Ejemplos de tareas resistentes a IA

Resúmenes de artículos en prensa: Ejemplo sobre Tribuna Complutense


Formas alternativas de evaluación

Existen otras formas de evitar el impacto en la adiquisición de competencias de las IAs.

  • Dar más peso la participación de clase en forma de debates, preguntas, etc.. Es la mejor forma de demostrar que se han adquirido las competencias.
  • Hacer aquellos ejercicios susceptibles de ser ejecutados con IAs, que sean realizados en aulas informáticas con la conexión a Internet limitada. Existen aulas en la UCM que tienen instalado el SafeBrowserExam, un navegador que permite la realización de ejercicios bloqueando el acceso a todo lo que no sea el Campus Virtual en el ordenador. Estas aulas se habilitarán próximamente en todos los centros.

 


Recomendaciones Finales

La evaluación de ejercicios en los que se pide redactar debe basarse en rúbricas donde no sólo la gramática y la redacción tengan peso. En esta página se han hecho varias recomendaciones que pueden ayudar a mejorar los ejercicios no sólo para que sean más resistentes a las IAs, también para aprovechar la oportunidad y trabajar en la adquisición de competencias propiamente dicha. En especial, en la auto-reflexión del estudiante y el desarrollo de su capacidad crítica, algo que las IAs no saben hacer bien todavía. 

Como se ha comentado antes, las IAs seguirán mejorando, pero no es esperable en el corto plazo que se resuelvan problemas inherentes a esta tecnología, como las alucinaciones, la actualización y modernización de la colección de documentos que conozca. Otros elementos no se sabe a ciencia cierta si será necesario un cambio de paradigma o no. La IA clásica se ha apoyado mucho en la representación explícita del conocimiento, algo que no ocurre en los sistemas que estamos viendo. Elementos como la capacidad de seleccionar con criterio es algo que sólo sabemos hacer usando conocimiento previo, pero no es descartable que algo parecido a esta capacidad emerja como resultado de incrementar la cantidad de textos con los que estas IAs se hayan formado. Lo que no es esperable es que leyendo un texto sobre razonamiento, aprendan a razonar. Se podrá repetir lo que es un silogismo, pero estas IAs no serán capaces de resolver problemas de lógica que no hayan visto antes. 

Como mensaje final, menos y mejores ejercicios al final será un beneficio tanto para el estudiantado como para el profesorado. 


Referencias