La caserne était construite sur un ancien couvent place Saint-Charles à proximité des quais de Loire.
Dès 1790, la Maison Saint-Charles devient tour à tour, maison d'arrêt, caserne et prison militaire pour Autrichiens et Anglais pris les armes à la main. A partir de 1815, la caserne est occupée par les Régiments Suisses de la Garde Royale.
Occupée par les gendarmes durant la deuxième guerre mondiale puis par une compagnie de CRS à partir de 1945 (la CRS 51).