The Creation and Evaluation of an AI Assistant (GPT) for Educational Experience Design

Abstract

Abstract: The emergence of generative artificial intelligence (GAI) has revolutionized numerous aspects of our lives and presents significant opportunities in education. However, specific digital competencies are essential to effectively leverage this technology’s potential. Notably, prompt engineering proficiency presents a significant barrier to achieving optimal outcomes. In response, various solutions are being developed, including custom GPTs available through OpenAI’s ChatGPT platform. This study validates ‘GamifIcA Edu’, a specialized GPT-based assistant for gamification and serious games, designed to enable educators to implement these pedagogical approaches without requiring advanced prompt engineering expertise. This is achieved through the utilization of pre-designed instructional frameworks. The assistant’s effectiveness was evaluated using a comprehensive rubric across five distinct use-case scenarios. Each scenario underwent four different tests, representing varied learning contexts across multiple academic disciplines. The validation methodology involved a systematic assessment of the assistant’s performance in diverse educational settings. The findings demonstrate the successful implementation of this custom-designed GPT, which generated contextually appropriate responses through natural language interactions, thus eliminating the need for complex prompt structures. This research highlights the potential of instruction-based design in the development of AI assistants that empower users with limited prompt engineering knowledge to achieve expert-level results. These findings have significant implications for the democratization of AI-enhanced educational tools.

Resumen: Este estudio ha sido publicado en la prestigiosa revista Information, que cuenta con un índice de impacto de 2.4 y un CiteScore de 6.9. La Inteligencia Artificial generativa ha avanzado enormemente, pero los educadores necesitan habilidades específicas para aprovecharla al máximo. Uno de los mayores desafíos es el prompt engineering: crear instrucciones efectivas para obtener los resultados deseados. El estudio presenta 'GamifIcA Edu', un asistente de IA diseñado para facilitar la gamificación y el uso de juegos serios en la educación, ¡sin necesidad de ser un experto en prompts!. Este asistente personalizado permite a los profesores implementar metodologías activas, que fomentan la participación y el pensamiento crítico de los estudiantes. Para validar 'GamifIcA Edu', los autores diseñaron una metodología rigurosa. Primero, creamos y configuramos el asistente con una base de conocimiento especializada en gamificación y juegos serios4. Luego, definimos cinco escenarios de uso en diversas disciplinas académicas4.... Cada escenario se probó cuatro veces, y evaluamos las respuestas del asistente utilizando una rúbrica detallada que consideró la alineación, coherencia, flexibilidad, consistencia y claridad" Los resultados son impresionantes. 'GamifIcA Edu' demostró ser altamente efectivo para generar actividades gamificadas relevantes y coherentes, adaptándose a diferentes contextos educativos10. Lo más importante es que permite a los educadores, incluso aquellos sin experiencia en IA o gamificación, crear experiencias de aprendizaje innovadoras. ¡Esto democratiza el acceso a herramientas educativas de vanguardia! En cuanto a las conclusiones más relevantes, el análisis reveló que el asistente se alinea eficazmente con los objetivos pedagógicos, mantiene la coherencia en sus respuestas16 y equilibra la consistencia con la flexibilidad. Sin embargo, también identificamos áreas de mejora, como la necesidad de una mayor adaptabilidad en contextos no directamente relacionados con la gamificación. A pesar de estas limitaciones, 'GamifIcA Edu' representa un gran avance en la integración de la IA en la educación, ofreciendo a los educadores una herramienta poderosa para transformar sus aulas