Herramientas Informáticas como Apoyo a la Docencia

Test multi-respuesta: b) b) y b)
David Miraut DATCCIA. URJC C\Tulipan S/N 28933 Móstoles (034 91 488 8241) david.miraut@urjc.es Carlos Garre DATCCIA. URJC C\Tulipan S/N 28933 Móstoles (034 91 488 8154) carlos.garre@urjc.es Rebeca Tenajas Área de Salud Oeste Madrid Centro de Salud Francia C/ Francia, 38 28943 Fuenlabrada (034 91 6083 580) Laura Raya DATCCIA. URJC C\Tulipan S/N 28933 España (034 91 488 8154) laura.raya@urjc.es Álvaro Pérez Molero DATCCIA. URJC C\Tulipan S/N 28933 España (034 91 488 8241) alvaro.perez@urjc.es Ángela M. Mendoza DATCCIA. URJC C\Tulipan S/N 28933 España (034 91 488 8241) angela.mendoza@urjc.es
dinámica de evaluación continua sin que esta tarea nos desborde. Desde la Escuela Técnica Superior de Ingeniería Informática de la Universidad Rey Juan Carlos se han fomentado numerosas iniciativas originales [5][12][13] que tratan de mejorar la enseñanza en todos los estadios de la formación de los alumnos de nuestra Universidad. Para ello hemos aprovechado aquello que mejor se nos da: las tecnologías de la información y las comunicaciones. Se han diseñado actividades y herramientas que ponen el énfasis en la transmisión efectiva de los contenidos [9][11] y el desarrollo de las habilidades [7][8][10] que en forma de competencias dotan a los alumnos de una formación integral en todos los aspectos. En este artículo se presenta una herramienta –todavía en fase experimental– con la que hemos procurado facilitar un mecanismo de evaluación continua, que no sobrecargue de trabajo a los docentes con un coste económico muy bajo.

Marcos Novalbos DATCCIA. URJC C\Tulipan S/N 28933 España (034 91 488 8154) marcos.novalbos@urjc.es Javier S. Zurdo DATCCIA. URJC C\Tulipan S/N 28933 España

RESUMEN
En éste artículo se presenta un paquete de LaTeX que asiste en la creación de test multirrespuesta, que pretende ser una alternativa más que ayude a hacer sostenible la evaluación continua en el marco de Espacio Europeo de Educación Superior. La solución propuesta está especialmente diseñada para el caso en el que el número de alumnos matriculados en una asignatura excede a los recursos humanos en profesorado para poder realizar esta tarea de forma tradicional, y el espacio del aula dificulta que los alumnos puedan estar lo suficientemente separados para evitar la tentación de copiar sus respuestas en las pruebas de evaluación.

Palabras claves
Test multi-respuesta, clicker, evaluación continua, grupos grandes.

1. INTRODUCCIÓN
La reforma educativa del plan de Bolonia en el Espacio Europeo de Educación Superior (EEES) tiene como una de sus máximas la evaluación continua de los alumnos de todos los grados. En la mente de los consejeros que impulsaron el nuevo sistema se concibieron muchas de las técnicas pedagógicas sobre grupos pequeños, en respuesta a la baja natalidad y la abundancia de centros educativos. Sin embargo su implantación se ha realizado en condiciones económicas muy desfavorables debido a la crisis económica. Los profesores de muchas titulaciones han suplido la falta de medios de forma creativa [3][6][11], para seguir ofreciendo la docencia con calidad bajo las nuevas prerrogativas del EEES, aún cuando los grupos de alumnos se han fusionado en algunas asignaturas y facultades. De forma puntual, durante el curso 2011/12 en la asignatura de Herramientas Tecnológicas para el ejercicio de la Psicología, los grupos de primer y segundo curso comparten aula y profesores. Por ello, el grupo conjunto suma más de 160 alumnos, y los profesores hemos buscado alternativas para llevar a cabo la
Jornadas de Innovación y TIC Educativas - JITICE'12 21-23 de Marzo del 2012, Universidad Rey Juan Carlos, Móstoles, Madrid

2. CLICKERS: VENTAJAS Y DESVENTAJAS
El problema de la masificación no es una dolencia propia del sistema educativo español, muchos países occidentales se enfrentan al mismo problema por causa de la crisis. Las universidades públicas en Estados Unidos están sufriendo severos recortes que han provocado que grupos de primeros cursos superen los 700 alumnos [4]. Ante esta oleada, muchos departamentos han optado por sistemas basados en mandos a distancia para hacer las clases más participativas, los llamados clickers. Estos sistemas se han puesto de moda por el atractivo que supone para docentes y alumnos a la hora de interactuar y responder a las preguntas del profesor. Por ejemplo, al inicio de la clase se lanzan unas preguntas que ayudan a refrescar los conceptos cubiertos en la clase anterior, los alumnos eligen entre una serie acotada de opciones y responden individualmente por medio de su clicker. Las pulsaciones son recogidas de forma inalábrica por un ordenador, que en tiempo real calcula histogramas y pequeñas estadísticas que pueden mostrarse a los alumnos de forma gráfica para que comprueben cuáles son las respuestas correctas y cómo se encuentran respecto a sus compañeros.

77

Herramientas Informáticas como Apoyo a la Docencia

Bien utilizados pueden convertirse en una herramienta que ayuda a dinamizar las clases frente a la pasividad que impone la clase magistral basada en una exposición apoyada con transparencias [10]; entre 3 y 5 preguntas por clase mantiene enganchados a los alumnos sin interrumpir la toma de notas; pero lo más constructivo que aporta esta tecnología es la posibilidad de fomentar la discusión en grupos grandes de modo que todas las voces puedan ser “oídas”. Desafortunadamente, la efectividad de este tipo de tecnología depende de la preparación previa que haga el profesor con el sistema para adecuar cada una de sus clases. Cada sistema puede ser incompatible con los demás, con lo que ese esfuerzo puede ser baldío si la Universidad decide cambiar de compañía. A esto se suma su alto coste (entre 30 y 50 euros por dispositivo) incluso en régimen de alquiler [1]. Algunas Universidades incluyen el dispositivo en el precio de la matricula de los alumnos, pero son fáciles de perder y no siempre son utilizados de la forma correcta. Suelen darse casos en los que los alumnos contestan incorrectamente a las preguntas a propósito para que el profesor se vea obligado a reducir el ritmo de progreso en el temario, tampoco es raro que un estudiante lleve los clickers de los compañeros que no asisten para contestar por ellos [2]. Este tipo de comportamiento es difícil de controlar y supone un handicap a la hora de evaluar a los alumnos a partir de las respuestas que han introducido en el transcurso de las clases.

computacional de los ordenadores de sobremesa actuales y el bajo coste de los escáneres convencionales.

4. HERRAMIENTAS COMERCIALES
Un ejemplo de herramientas comerciales es QCM Direct. Esta herramienta se basa en escanear los exámenes y, una vez digitalizados, procede a la corrección automática de los mismos. La principal limitación reside en que soporta hasta un máximo de 30 candidatos y 30 casillas de respuesta en su versión Prima, y un máximo de 100 candidatos y 100 casillas de respuesta en su versión Professional. Otra herramienta comercial disponible es ScanGrile, también basada en el escaneo de los exámenes en diferentes formatos y, mediante técnicas de OCR (siglas en inglés de reconocimiento óptico de caracteres), su posterior digitalización. En este caso, la herramienta mantiene un módulo web como base de datos para manejar tanto preguntas como respuestas para futuros exámenes. Además, corrige automáticamente las respuestas y permite exportar los resultados a formatos de ampliamente utilizados, como Word, Excel, PDF, TXT y formato enriquecido (RTF). La tercera herramienta comercial examinada es BrownStone Instructor, que se basa en una aplicación web a la que acceden los estudiantes. Esta herramienta proporciona clases para reordenar las respuestas dentro de una pregunta, de tal forma que a un estudiante se le presentarían las respuestas en un orden, mientras que a otro estudiante se le presentarían las respuestas a esa misma pregunta en un orden distinto. Asimismo, existe la posibilidad de generar no sólo cuestionarios multi-respuesta, sino también preguntas con espacio en blanco para responder, preguntas de tipo pinchar sobre una imagen, preguntas de verdadero o falso, test multi-respuesta o emparejar columnas.

3. TESTS MULTIRRESPUESTA COMO ALTERNATIVA DE BAJO COSTE
La interfaz de elecciones limitadas de los clickers está basada en una solución de baja tecnología mucho más antigua y barata: los tests multi-respuesta. Este tipo de pruebas de evaluación se diseñaron para acotar las posibles respuestas y son ampliamente utilizados en soporte papel y electrónico por su facilidad de corrección. Tanto es así, que se comercializan escáneres especializados para la corrección de este tipo de pruebas. El modelo de negocio de estas máquinas correctoras suele apoyarse tanto en el hardware como en el fungible necesario para hacer los test: las hojas de respuesta. Que suelen tener marcas de calibración y encuadrar las respuestas de una forma homogénea en un color especial (por ejemplo naranja), para abaratar la detección de las respuestas en la hoja de respuestas.

5. HERRAMIENTAS GRATUITAS
Entre las herramientas gratuitas disponibles, se encuentra el paquete de LaTeX examdesign que, a petición del usuario, puede generar automáticamente respuestas. Con esta herramienta, las preguntas se pueden ordenar aleatoriamente dentro de una sección del examen, no así las opciones de respuesta de cada pregunta. Una gran ventaja de este paquete gratuito es que permite diseñar preguntas de tipo rellenar los huecos, verdadero o falso, test multi-respuesta o emparejar columnas. Otra alternativa gratuita es el paquete de LaTeX alterqcm, que permite cambiar el orden de respuestas de una pregunta aleatoriamente. Sin embargo, en este caso, la herramienta no es capaz de obtener una corrección correspondiente a dicha pregunta. Otra de las opciones analizadas para desarrollar cuestionarios multi-respuesta ha sido el paquete de LaTeX eqexam, que proporciona soporte para archivos PDF y la opción de enviar online el resultado al profesor, mediante un email en el que los espacios para rellenar se convierten en campos de texto multilínea y las diversas opciones de respuesta se convierten en botones de selección (radio buttons, en inglés), creándose para ello un botón de "enviar" en la parte superior del cuestionario. Además de las anteriores, existe el paquete de LaTeX exam que, además de cuestionarios multi-respuesta con distintas personalizaciones, permite crear preguntas con espacio en blanco y preguntas para responder sobre líneas continuas o líneas de

Figura 1. Típica hoja de respuestas comercial La necesidad de compartir las máquinas de corrección entre distintos profesores, el coste y la rigidez en el formato de las hojas de respuesta hace que esta solución no sea adecuada en muchos casos. Por ello, han aparecido alternativas en el mercado que tratan de suplir estas carencias aprovechando la capacidad

78

Herramientas Informáticas como Apoyo a la Docencia

puntos. Además, permite asignar y evaluar distinta puntuación a cada respuesta de una pregunta. Finalmente, existen otras alternativas más simples, como los paquetes exam209 y qcm, que también permiten la elaboración de cuestionarios con múltiples respuestas pero no es posible reordenar automáticamente las preguntas ni las respuestas a éstas.

y pueden utilizarse comandos de LaTeX para incluir ecuaciones y formatos especiales. En la figura 2 se muestra la sintaxis, a través de un pequeño conjunto de comandos intuitivos se confeccionan ambas páginas. Por legibilidad, en este ejemplo se ha separado la base de preguntas (figura 3) del código fuente del propio examen. El formato en el que se introduce la base de preguntas es muy sencillo y recuerda al entorno itemize de LaTeX, sólo hay que indicar cuál es el texto del enunciado, la(s) respuesta(s) correcta(s) y las incorrectas. Opcionalmente se pueden clasificar las preguntas en grupos dentro de la base, de modo que sólo se escoja un número de ellas dentro del grupo indicado con el comando colocapreguntas. Esta base puede ir creciendo curso a curso de modo que se reutilice, amplíe y actualice sin tener que volver a confeccionar los exámenes de cero. La clasificación en grupos también da flexibilidad para organizar las preguntas de forma temática, e incluir un número de cada grupo en el tema en el orden deseado. De manera que cada examen puede ser diferente, pero el orden de las preguntas se corresponda con el desarrollo temporal que ha tenido la asignatura.

6. NUESTRA IMPLEMENTACIÓN PARA UNA SENCILLA CORRECCIÓN
En nuestro caso hemos implementado un nuevo paquete de LaTeX, que es semejante en muchos aspectos a los descritos anteriormente, pero incorpora una característica muy especial: no sólo las preguntas pueden desordenarse (a partir de una o varias bases de datos), sino también las posibles respuestas. De manera que se confecciona un examen diferente para cada estudiante y se proporciona la plantilla con las respuestas al profesor para una corrección más sencilla. Este es un aspecto muy importante cuando el número de alumnos es tan elevado que físicamente no se pueden colocar suficientemente separados en el aula para evitar que puedan darse casos de copia. Si además los test son cortos, pueden ayudar a reforzar el hábito del estudio diario a nuestros estudiantes, además de dar pistas al profesor acerca del progreso de la clase y permitir el seguimiento de su evaluación semana a semana.

Figura 3: Ejemplo de la sintaxis de la base de datos de preguntas organizadas en un grupo Resulta sencillo calcular el número de preguntas que cabe en 4 páginas para imprimirlas a doble hoja y doble cara de manera que se ahorre papel y tóner en su impresión. En la figura 4 se muestra un ejemplo del test generado a partir del código y la base de datos mostrada, que en nuestro caso es diferente para cada uno de los 165 alumnos.

7. CONCLUSIONES
En este breve artículo se presenta una herramienta (todavía en fase experimental) basada en LaTeX para la generación de tests multirespuesta que puede servir de apoyo a aquellos profesores que tienen grupos de tamaño medio ó grande, de manera que se pueda hacer un seguimiento de progreso individualizado para cada alumno sin abrumar a los profesores. El esfuerzo de adaptación y su coste es mucho menor que otras alternativas TIC como los clickers. En un futuro nos gustaría tratar de incorporar características a nuestros programas para asistir la corrección de los exámenes de forma automatizada, así como crear herramientas que conviertan

Figura 2: Ejemplo de plantilla para un examen de la asignatura Herramientas Tecnológicas para el ejercicio de la Psicología A diferencia de otros paquetes, testBBB separa las preguntas de la hoja de respuestas, de manera que los alumnos las coloquen de una forma que sea muy fácilmente revisable. Ambas están relacionadas con un conjunto de códigos para evitar que los alumnos se puedan intercambiar los exámenes una vez iniciada la prueba. Tanto una como otra son completamente personalizables

79

Herramientas Informáticas como Apoyo a la Docencia

el formato de la base de preguntas a XML para poder ser utilizados por programas de repaso tipo “flashcard digital”.

8. AGRADECIMIENTOS
A nuestros alumnos, por su esfuerzo, dedicación, y ganas de aprender. Y a nuestros compañeros de departamento, por confiar en nosotros para llevar a cabo estas iniciativas. El proyecto Taller práctico de construcción de entornos virtuales para el tratamiento de fobias y otras patologías en Psicología, está financiado por la VII Convocatoria de ayudas a la innovación y mejora de la docencia 2011/12 de la Universidad Rey Juan Carlos. También deseamos expresar nuestro agradecimiento a la Escuela Técnica Superior de Ingeniería Informática por la organización y el apoyo a las actividades de difusión que fomentan la creatividad y la excelencia en nuestros alumnos.

9. REFERENCIAS
[1] E. Arrieta. i-Answer dice adiós a las votaciones a mano alzada. Expansión. 13 diciembre 2011. [2] M. Bugela. Classroom Clickers and the Cost of Technology. The Chronicle of Higher Education. 5 de Diciembre de 2008 [3] C. Garre, D. Miraut, L. Raya, y J. Sánchez Zurdo. La máquina de Sumar: Aprendizaje por descubrimiento en la toma de contacto con Arquitectura de Computadores. En Actas de las III Jornadas de Innovación y TIC Educativas, JITICE 2012, Madrid, España, 2012. [4] E. Marris. US students pay for downturn. Nature. 10; 465 (7299), páginas 678-679, Junio 2010. [5] Á. Mendoza, y M. Novalbos. ¿Real o Modelado? Actividad interactiva para aprender a distinguir imágenes, e incentivar la creatividad de los alumnos con las tecnologías gráficas. En Actas de las II Jornadas de Innovación y TIC Educativas, JITICE 2011, páginas 25-28, Madrid, España, 2011.

[6] D. Miraut, C. Garre, L. Raya, y , J. Sánchez Zurdo. Certamen Arquímedes como elemento motivador en el aprendizaje basado en proyectos de Ingeniería Informática. En Actas de las II Jornadas de Innovación y TIC Educativas, JITICE 2011, páginas 29-32, Madrid, España, 2011 [7] D. Miraut, R. Tenajas, S. Bayona, y Á. Mendoza. Taller práctico de construcción de entornos virtuales para el tratamiento de fobias en Psicología. En Actas de las III Jornadas de Innovación y TIC Educativas, JITICE 2012, Madrid, España, 2012. [8] D. Miraut, R. Tenajas, y , J. Sánchez Zurdo. Gestión del tiempo (I): ¿Amas a la vida? No desperdicies el tiempo, porque es la sustancia de la que está hecha. En Actas de las II Jornadas de Innovación y TIC Educativas, JITICE 2011, páginas 33-36, Madrid, España, 2011. [9] D. Miraut, J. Sánchez Zurdo, Á. Mendoza, y R. Tenajas. Refactorización de Transparencias. En Actas de las III Jornadas de Innovación y TIC Educativas, JITICE 2012, Madrid, España, 2012. [10] D. Miraut, A. Mendoza, S. Ruiz, e I. Montano. Rebeca a través del espejo. En Actas de las I Jornadas de Innovación y TIC Educativas, JITICE 2010, páginas 49-52, Madrid, España, 2010. [11] L. Raya, D. Miraut, A. Pérez Molero, y C. Garre. El razonamiento analógico activo en el estudio de Arquitectura e Ingeniería de los Computadores. En Actas de las III Jornadas de Innovación y TIC Educativas, JITICE 2012, Madrid, España, 2012. [12] L. Raya, P. Toharia, y M. García. Metodología de enseñanza de realidad virtual mediante un laboratorio de bajo coste. En Actas de las I Jornadas de Innovación y TIC Educativas, JITICE 2010, páginas 69-72 Madrid, España, 2010. [13] J. Sánchez Zurdo, D. Miraut, y L. Raya,. Estudio sobre las herramientas de asistencia remota compatibles con la docencia práctica. En Actas de las II Jornadas de Innovación y TIC Educativas, JITICE 2011, páginas 71-74Madrid, España, 2011.

Figura 4: Examen renderizado (sólo 2 hojas de las 4 de enunciado), hoja de respuestas vacía (a completar por el alumno) y rellena de forma automática (por nuestro sistema). Cada uno de los 165 exámenes generados en este ejemplo son distintos

80