A l’origine, la Caisse d’Epargne de Clamecy se situait place de l’Eglise, dans l’ancienne maison Tartrat. Son accès dans la ville, depuis les principales voies de circulation, était difficile notamment pour les voitures.
Aussi, le conseil des directeurs prit la décision, en 1907, de déplacer l’établissement bancaire et choisit de transformer l’ancien grenier à sel à l’abandon, datant du XVIe siècle, et occupant un emplacement de choix à l’angle des rues Bourgeoise et du Grenier-à-Sel. De cet édifice, une unique galerie de style Renaissance subsiste en partie, donnant sur une cour intérieure, la rendant de ce fait, indécelable depuis la rue.
L’immeuble de la Caisse d’Epargne fut conçu en 1907 par Claude Camuzat (1848-1924), architecte départemental, inspecteur des travaux des édifices diocésains et des Monuments historiques de la Nièvre, auteur par ailleurs de la sous-préfecture de Château-Chinon, du monument de la place Carnot « Aux enfants de la Nièvre, morts pour la France » et de l’asile d’aliénés de la Charité-sur-Loire.
Cet immeuble, évoluant sur trois niveaux, abritait les services de la banque, les logements du caissier principal et du concierge en rez-de-chaussée, une salle de réunion du conseil des Directeurs au 1er étage et, aux 2e et 3e, des locaux dédiés, à la demande de la Ville, au musée municipal. Il fut érigé suivant les plans d'une Caisse d'Épargne du nord de la France.
L’édifice se compose de deux corps de bâtiment et d’une tour d’angle où se trouvait l’entrée principale. On peut observer différents éléments de décoration ornant la façade : balcons, frontons, sculptures, ferronneries ouvragées, lucarnes…
Construit en pierre de taille, richement ornementé, cet établissement est représentatif de l’architecture bancaire du XXe siècle, exprimant puissance, faste et sérieux, dans le but de séduire et donner confiance à la clientèle. Il ouvrit ses portes au public le 15 août 1910  et le montant des travaux s’éleva à 186 506 francs.