Paul Lelong (1799-1846) est l’architecte du Timbre, de la mairie du IIe arrondissement et de la caserne de la rue de la Banque ; La rue doit ce nom dû à son voisinage de ces édifices.