Painting authorship and forgery detection challenges with AI image generation algorithms: Rembrandt and 17th century Dutch painters as a case study
Abstract
Image authorship attribution presents many challenges and difficulties which have increased with the capabilities presented by synthetic image generation through different artificial intelligence algorithms available today. The hypothesis in this research considers the possibility of using artificial intelligence as a tool to detect forgeries through the usage of a deep learning algorithm. The proposed algorithm was trained using a dataset comprised of paintings by Rembrandt and other 17th century Dutch painters. Three experiments were performed with the proposed algorithm. The first was to build a classifier able to ascertain whether a painting belongs to the Rembrandt or non-Rembrandt category, depending on whether it was painted by this author or not. The second tests included other 17th century painters in four categories. Artworks could be classified as Rembrandt, Eeckhout, Leveck or other Dutch painters. The third experiment used paintings generated by Dall-e 2 and attempted to classify them using the prior categories. Experiments confirmed the hypothesis with best executions reaching accuracy rates of more than 90%. Future research with extended datasets and improved image resolution are suggested to improve the obtained results.
Description
En este artículo, de autoría principal, se discute sobre la posibilidad de utilizar la inteligencia artificial como una herramienta para la detección de falsificaciones de pinturas mediante un algoritmo de aprendizaje profundo y, las posibles implicaciones de estas falsificaciones generadas por AI en el mundo del arte. Para esto, se propone utilizar la AI como una herramienta para proteger las obras de arte y su atribución, utilizándola para detectar, con un alto grado de precisión, posibles falsificaciones creadas por algoritmos AI. Con este fin, el algoritmo propuesto se entrenó utilizando un conjunto de datos compuesto por cuadros de Rembrandt y otros pintores holandeses del siglo XVII. Se realizaron tres experimentos con el algoritmo propuesto. El primero para determinar si un cuadro pertenecía a la categoría Rembrandt o no, dependiendo de si fue pintado por este autor o no. En la segunda prueba se incluyeron otros pintores del siglo XVII en cuatro categorías. Las obras podían clasificarse como Rembrandt, Eeckhout, Leveck u otros pintores holandeses. El tercer experimento utilizó pinturas generadas por DALL-E 2 e intentó clasificarlas utilizando las categorías anteriores. Los experimentos confirmaron la hipótesis y las mejores ejecuciones alcanzaron índices de precisión superiores al 90%. El artículo finaliza con una serie de recomendaciones, en donde se sugieren futuras investigaciones con conjuntos de datos ampliados. En este sentido, un algoritmo de este tipo tendría otras aplicaciones potenciales, como, por ejemplo, apoyar a los especialistas en la primera etapa de atribución de obras de arte cuyos creadores son anónimos o desconocidos.
Collections
- Artículos de Revista [4582]
Except where otherwise noted, this item's license is described as Attribution-NonCommercial-NoDerivs 4.0 International