Kevés középkori forrás ismert Hédervárról és azok is elég szűkszavúak. A templomairól a legelső írásos adatok a 16. század közepéről ismertek, elsőként az 1561-es canonica visitációból. Ekkor Hédervárnak már évek óta nincs plébánosa, a templomot ólnak használják és javait a lutheránussá lett földesúr kaparintotta meg. E forrásban csak egyetlen templomról esik szó.
A következő vizitáció 1634-ben történt, ebben már két templom szerepel. A plébániatemplom jól épített, két harangja van: a tornyában egy nagy, és egy kisebb az oltárnál. A másik templomot romnak írja. A plébániatemplomot ekkor vették vissza a lutheránusoktól.
Az említett plébániatemplom minden bizonnyal a mostani Boldogasszony-kápolna volt. Pontos építési ideje nem ismert. Kozák Károly a tatárjárás utánra teszi az építését, László Csaba szerint a 15. század első felében épült. A középtornyos templomot síkfedésű hajóval, egyenes záródású, boltozott szentéllyel építették. Kapuja gótikus bélletes. Ezt a formáját egészen 1679-ig megőrizhette, amikor is Héderváry Katalin átalakíttatta. Ekkor épült a templom északi oldalán a lorettói Casa Santa tiszteletére szentelt kápolna. Új ablakokat vágtak és a gótikus kaput ekkor helyezték át a torony nyugati oldalára. A munkálatokat 1680-ban fejezték be.
1697-re már a templom a falun kívül állt és elvesztette a plébániatemplomi szerepét, ami rányomta a bélyegét az állapotára is. A vizitáció már romladozó zsindelyezésről írt, a báró Héderváryak kriptája a templom közepén volt. Végül 1703-ban szentelték fel a templomot, ami a munkák elhúzódását feltételezi.
A templomot a 18. században már nem használták rendszeresen. Emlékkápolnaként a Viczay-család mauzóleumává alakult át: a családtagok sírköveit a templomban, majd a lorettói kápolnában helyezték el (galéria). Az évszázad elejétől a Viczay család tagjai ide temetkeztek, de kialakított kripta nélkül. Az 1780. évi vizitáció szerint a torony és templom tetejét is zsindely fedte, ami nem volt teljesen ép. A végromlás szélén álló síkmennyezet miatt ekkor már veszélyes volt a templomban misézni. A kicsi ablakok nem adtak elég fényt, harang már csak egy volt. 1784-ben már romos templomnak írták le. 1790-ben elbontották a templom körítőfalát.
1807 januárjában a templom és a lorettói kápolna elkorhadt tetőzete beszakadt. Az épületet 1808-ban renoválták, ekkor Grassalkovich Anna új kriptát is építtetett. 1812-ben már nem volt oltár a templomban.
1859-ben Ipolyi Arnold írt a templomról: "A hely régibb korából azonban szintén kevés maradt ránk. Egy márvány keresztelőmedence, ez is az újítás által inkább megsértve, mintsem fenntartva, gót idomú feliratával a XIV. századbóli eredetét tanúsítja. Régibb és részben gót idomú egykori plébániai egyháza jelenleg a Viczayak temetkezési helyéül szolgál, és számos emlékeket foglal magában. Legnevezetesebb báró Viczay Ádámnak, a család egyik legkitűnőbb ősének – ki azt nagyobb fényre és gazdagságra emelte – vörös márványszobra, emellett domborműben a hőst páncélosan, sisakkal fején s buzogánnyal kezében állítva elő. Az egyház melletti, úgynevezett Lorettói kápolna is telve hasonló, részint kisebb és újabb sírkövekkel. Egy érc öntetű lap mögött, melyet csupán a családcímer díszesít, az elhunyt családtagok szíveit tevék le."
A mai, neogótikus templom Khuen-Héderváry Károly átépítésekor jött létre a 19. század végén.
Szőke Béla 1948-ban jelentést írt a kastélyról és templomról: "... Hédervárott áll egy, a Héderváryak családi sírboltját magába foglaló román–gót stílusú kápolna. Tornya villámcsapás következtében megsérült, cserepeinek egy része hiányzik. A falak és különösen a kápolna gót portáléja sérültek. Sürgős javításra lenne itt szükség, amíg a nagyobb rongálódás nagyobb befektetést nem tesz szükségessé. ..."
Források: Székely Zoltán: Hédervári barokk-kori szakrális emlékei; Dr. Radvánszky Béla - Závodszky Levente: A Héderváry-család oklevéltára 1-2 kötet (1909);
A Boldogasszony sorról és a Dózsa György útról is megközelíthető.
Szélesség: N - 47°50'06.5"
Hosszúság: E - 17°27'42.2"