A kolostor monumentális épülete késő gótikus stílusban épült. Építtetői a török verő hadvezér Kinizsi Pál és apósa Magyar Balázs voltak. Az alapítólevél 1483 május 5-re datálódik, de az építés már előrehaladott állapotban volt.
A kolostort a helyi népi monda szerint Kinizsi egy török rab váltságából fedezte. Ezt némileg alátámasztja az a tény, hogy Kinizsi fegyvertársa Báthori István a kenyérmezei csata zsákmányából építette a nyírbátori kolostort és templomot.
A kolostor 1485-86 körül készülhetett el, bár további építkezésekről még 1499-ben is tudunk.
Kinizsi Pál és özvegyének Magyar Benignának második férje is itt lelt örök nyugalmat. Mind a kettő sírkő a várban lett kiállítva.
A mohácsi vész utáni ketté szakadt országban polgárháború dúlt. Mindkét király híveket toborzott. A nagyvázsonyi pálosok a birtokaik fekvése miatt I.Ferdinánd oldalára álltak, aki 1528-ban védlevelet bocsátott ki, melynek értelmében a kolostorban hadakat elszállásolni tilos. Ezzel szemben János király a kolostor javait 1530-ban az örményesi pálosoknak adományozza.
1543-ban a törökök elfoglalják Székesfehérvárt, a barátok többsége Pápára menekült a kolostor kincseivel.
1552-ben Veszprém elestekor már csak néhányan lézengenek a kolostor falai között. A kolostort májusban Horváth Péter, Horváth Gáspár, Csoron János és Gyulaffy László lerombolja "amikor Veszprémet a török megvette, úgy pusztult el. Az urak rájöttek és porral (megj.: puskaporral) hányatták a klastromot, a tálodival és városlődivel együtt, félvén attól, hogy a török beléjük száll." A kövek nagyrészét a vázsonyi vár megerősítésére használták fel.
A kolostorban számos nagyon értékes kódex készült, de csak 4 vészelte át a századok viharait. Ilyen például a Festetics kódex, ami 1492-1494 között íródhatott Magyar Benigna számára. Kinizsit 1492-ben szél ütötte meg, 1494-ben pedig elhunyt. A kódex tartamazza a következő imádságot: "Paal wram betegseegerewl zerzet Imaadsaag". A kódex pdf formátumban letölthető itt.
1513-ban íródott a megtalálójáról elnevezett Czech kódex. Ezt szintén Magyar Benignának készítették.
A Gömöry kódex 1516-ban készült a veszprémi apácák számára. Ennek egyik írója ismert: Tetemi Pál vikárius.
A Peer kódexet 1518-ban írták Csepelyi Simon számára, valószínűleg hálából birtok adományért.
Források: Cselenkó Borbála: Szerzetesrendek az Árpád-kori Zala megyében; Nagyvázsony és környékének utikalauza;
A nagyvázsonyi vártól kb. 5-600 méterre a temető mögötti erdőben találhatók az impozáns romok. Könnyű sétával megközelíthető.
Szélesség: N - 46°59'08.4"
Hosszúság: E - 17°41'21.7"