Le presbytère est l'ancien Manoir de la Bretesche dont l'existence est attestée depuis le XVIIe siècle. Bretesche, devenu aujourd’hui bretèche, est un terme du Moyen-Age, qui désigne dans l’architecture militaire, une pièce de fortification ou un ouvrage avancé qui en renforçait un autre.
Le bâtiment est composé d'un ensemble architectural comprenant un château colombier appelé également pigeonnier mais aussi de granges, d’étables, d’un pressoir et de terres.
Au XXe siècle, Nicolas Lefèbvre, le premier maire d'Elbeuf, devient propriétaire de ce manoir et intervient dans l'amélioration de la propriété.
Le presbytère recèle bien des mystères… Au XXIe siècle, des travaux de voirie confirment la présence d'un souterrain traversant la rue de la Résistance. Si l’on s’en réfère à son nom initial, Manoir de la Bretesche, le presbytère pourrait être la fortification du château Plantefol, appelé aujourd’hui château du Parc, situé de l’autre côté de la rue de la résistance.
Le presbytère a connu de nombreux locataires dont le Père Hamel ou les religieuses de la Congrégation du Sacré-Cœur qui ont marqué notre histoire. Il est aujourd’hui la propriété de la Ville.