La bibliothèque fut crée en 1811, rassemblant les collections de l'encyclopédiste Thomas Pichon, dit Tyrell, léguées par testament en 1777, à sa ville natale, des confiscations révolutionnaires et de nombreux dons. Le 6 juin 1944, les 72 000 volumes de la bibliothèque furent détruits lors des bombardements. Seuls en réchappèrent 1730 manuscrits catalogués et une partie des estampes qui sont depuis conservés aux Archives départementales du Calvados. Une nouvelle bibliothèque installée provisoirement dans l'ancien Hôtel-Dieu fut inaugurée le 14 juillet 1947. En 1965, elle quitta ces locaux pour un immeuble moderne du centre-ville. Une nouvelle médiathèque, construite à quelques pas, a ouvert ses portes en novembre 2006.