Fondée en 1719 par l'abbé Julien de Laillier, curé de Valognes et supérieur du séminaire, la bibliothèque a d'abord été installée au séminaire. Enrichie à la Révolution des fonds confisqués des bibliothèques des couvents suivants : Cordeliers, Capucins, du séminaire de Valognes et des Augustins de Barfleur, elle a occupé pendant quelques années, l'ancienne chapelle du séminaire avant d'être transférée dans les locaux actuels en 1853. Ce bâtiment a été construit vers 1830. Il était prévu d'y faire une salle des fêtes. Mais cette salle était sous-employée. Elle fut donc utilisée pour accueillir la bibliothèque riche de plus de 20 000 ouvrages. Le local ancien étant insuffisant pour le développement de la lecture publique, de nouvelles salles furent inaugurées en 1970 dans un bâtiment perpendiculaire, puis en 1984 et 1999 dans les anciennes halles à grains à proximité.