Técnicas de aprendizaje reforzado para videojuegos

Abstract

La industria de los videojuegos evoluciona a pasos agigantados. Campos como el de la calidad gráfica, jugabilidad, historia, accesibilidad o las posibilidades multijugador evolucionan día a día. Sin embargo la IA en los videojuegos no ha evolucionado tan rápido, quedándose atrás y pasando muchas veces a segundo plano. Las IAs de muchos juegos, sobre todo los más complejos, tienen un comportamiento poco humano, son muy previsibles, y fáciles de derrotar, por lo que los desarrolladores echan mano de otras técnicas como que la maquina tenga ventaja injusta para que exista una dificultad real. El género de los juegos RTS (Real Time Strategy) es sin duda uno de los más afectados, ya que son juegos muy complejos donde muchas veces hay casi infinitos posibles estados del juego. Es por ello que si se pretenden mejorar las estrategias de las IAs actuales se necesitan usar innovadoras técnicas que incluyan aprendizaje, preferiblemente offline, de forma que la IA aprenda antes de que se lance el juego al mercado, aunque luego pueda tener una pequeña parte de aprendizaje online. La técnica del aprendizaje reforzado es un método que representa el mundo mediante estados, y todas las acciones posibles en cada estado, y nos permite aprender gracias a una función de recompensa que puntúa como de buenas son las consecuencias de ejecutar cada acción en cada estado. En particular el método de aprendizaje reforzado Q-Learning nos permite tener en cuenta no solo el resultado de la acción, sino como de buena es el estado al que nos conduce dicha acción. Nuestro objetivo es aplicar esta técnica en un RTS, Michael Buro y Timothy Furtak son dos profesores adjuntos de la Universidad de Alberta en Canadá que han desarrollado un novedoso proyecto denominado ORTS (Open Real Time Strategy), un motor de juegos RTS que nos permite crear nuestros propios juegos con una arquitectura cliente-servidor. Gracias al ORTS desarrolladores de todo el mundo pueden crear IAs en un entorno libre licenciado bajo la GNU Public License (GPL). La arquitectura del ORTS permite que IAs en forma de cliente se enfrenten en igualdad de condiciones, siendo solo el servidor quien tenga la información completa del juego. Utilizaremos el ORTS como base para crear nuestra IA y enfrentarla a otras ya existentes.