Les séminaristes quittèrent les lieux en décembre 1906, à la suite à la séparation de l'Eglise et de l'Etat. L'ensemble devait être dévolu à l'administration des Beaux-Arts pour leur permettre d'y abriter ses collections d'ouvrages d'artistes vivants.

Durant la grande crue de 1910 le bâtiment a été mis à disposition des sinistrés, durant la guerre de 1914 -1918 il servait de poste de Secours.