A fiatal korában a mohácsi csatát is megjárt Zay Ferenc I. Ferdinánd híveként volt az egri vár kapitánya, ő építette ki Szolnok végvárát, de diplomáciai küldetésekben is részt vett. 1547-ben kapta meg a királytól (Zay)Ugróc várát és várbirtokát. A Salczer (Zabláthy) család, vagy a Zay család tagjai építették Ugróc településen a 16. században azt az erődített udvarházat, ami a várkastély elődje volt.
1613-ban reneszánsz stílusban építették át. 1616-ban a Zay család hat tagja között osztották fel, ami a későbbi fejlődésén is meglátszik.
1767-ben a Zay család székhelye lett, ekkor két emeletet építettek rá. 1904-ben a romantika jegyében renoválták.
Könyöki József 1887-ben Zayugróc várának felmérésekor a kastélyt is meglátogatta: "Baántól éjszak nyugati irányban egy órai kocsijárásra fekszik Zayugrócz község. A község déli részén emelkedik egy domb, melyen gróf Zay család ősi kastélya áll. Ezt a 16. században a Zay család építette és körfalakkal is birt. Idők folytán ezen körfal legnagyobb része elpusztult s a kastély annyira és annyiszor szenvedett átidomítást, hogy ma alig vehető ki annak hajdani szerkezete. Ezen kastélyt jelenleg a hazafias érzelmű gróf Zay Albert lakja. "
Divald Kornél a 20. század elején írta róla: "Három szárnyával hosszúkás, négyszögletes udvart körülzáró kétemeletes épület, középső szárnyának félköríves főkapuján egykori felvonóhídról tanúskodó láncnyílások. A kapu felett kettős címer fából (Zay és Károlyi grófi címerek). A kastély udvarában a bal oldali szárny árkádos, a jobb oldali közepén XVII. századi ajtókeret, félköríves nyílásának sarkaiban hármas palmetták. A kastélyt a XVIII. században átalakították. Belsejében családi régiségek és bútorok. A második emeleti nagy teremben, amelyet XVIII. századbeli stukkóboltozat díszít, három XVI. századbeli ágyú, XVI. századbeli szakállas puskák, XVI—XVIII. századbeli fegyverek. Családi képtár, XVII-XIX. századbeli olajfestmények, zászlók, epitáfium 1685-ből. Az első emeleti vörös szalonban rokokó bútorok, fehér alapon vörös cikornyákkal, holicsi kályha, holicsi fajanszedények, meisseni szobrocskák: Európa a bika hátán, pólyás baba alakú szelence. XVII. századbeli intarziás hollandiai kabinet. A sarokszobában, az ebédlőben, faragott ajtókeret kőből, 1654-ből festett Zay-címerrel; XVIII. századi bútorok, fajansz- és ezüstedények. A könyvtárteremben XVIII. századbeli szekrények, kőrisfa betéttel."
1977 óta a kastélyt részleteiben renoválták, de ez a munka még ma sincs befejezve (2023).
Források: Divald Kornél: Felső-Magyarország ingatlan és ingó műemlékeinek lajstroma; Karczag Ákos – Szabó Tibor: Felvidék és Kárpátalja erődített helyei – Várak, castellumok, erődített kastélyok, városfalak, templomvárak, barlangvárak, sáncok és erődök a 10. századtól a 19. század végéig, Budapest, Nemzetstratégiai Kutatóintézet, 2018, II. kötet; Thallóczi Lajos: CSÖMÖRI BÁRÓ ZAY FERENCZ (1885); Váliné Pogány Jolán szerk.: Az örökség hagyományozása Könyöki József műemlékfelmérései 1869-1890 (Forráskiadványok Budapest, 2000);
A várkastélytól 50 méterre lehet parkolni az iskolánál. Jelenleg csak kívülről járható körbe (2023).
Szélesség: N - 48°44'41.6"
Hosszúság: E - 18°20'08.6"