Le bâtiment du lycée Charlemagne date du 15e siècle.
Cette maison recevait les jésuites ayant prononcé leurs vœux jouxtant l’Église Saint-Louis des Jésuites (actuellement Saint-Paul Saint Louis). En 1762, le Parlement fit fermer les établissements et confia l’enseignement à des laïcs qui formèrent les révolutionnaires de 1789.
Lors des Journées du Patrimoine, il est parfois possible de visiter la cour, l’escalier d’honneur, la grande bibliothèque des Jésuites, l’ancien jardin des Pères et le pavillon dit du Père Lachaise.