Methodology for the reconstruction of citizen surveys in diffrent time periods

Abstract

In the evaluation of the impact generated by public policies, it is common practice to collect data in surveys carried out at different points in time. The study presents a comparison of two main methodological problems: (i) that questions asked are not always identical, and (ii) that data may not always be interpreted with the same methodology. To assess the extent to which the factorial structure is maintained, this paper proposes an original application of the principle of parsimony, like the well-known elbow rule in sedimentation plotting. The statistical contribution is validated through two publications of the Spanish Sociological Research Centre (CIS), published in different years. The results of the analysis show that, despite the variations mentioned above, the factorial structure of the responses remains the same, suggesting that the changes may be attributable to policy intervention.

En la evaluación del impacto generado por las políticas públicas es habitual la recolección de datos en encuestas realizadas en distintos momentos. La comparación presenta dos problemas metodológicos principales: (i) las preguntas formuladas no siempre son idénticas, y (ii) los datos no siempre son interpretados con la misma metodología. Para evaluar en qué medida se mantiene la estructura factorial, este trabajo propone una aplicación original del principio de parsimonia, similar a la conocida regla del codo en el gráfico de sedimentación, pero aplicada a los estadísticos RMSEA, FIT y BIC. La aportación estadística se valida a través de dos publicaciones del Centro de Investigaciones Sociológicas (CIS), de distintos años y ambas centradas en la política contra el fraude fiscal en España. Los resultados del análisis muestran que, a pesar de las variaciones mencionadas, la estructura factorial de las respuestas se mantiene, de lo que se deduce que los cambios pueden ser atribuibles a la intervención de las políticas.