A Répce-patak jobb partján álló épület a korábbi rámóci várkastély maradványa. A földszintes épületből kiemelkedik az emeletes kaputorony, amelynek kora barokk, felvonóhidas kapukerete felett az 1719-es évszám látható, amely talán egy átépítésnek lehet az évszáma.
(Alsó)Rámóc település első említése 1279-ből ismert "villa dicte Rebza" alakban. 1398-ban Répcefő a neve ("Rapchafey"), 1402-ben "Rebnich", majd 1496-ban "Alsorepczefew, Felsewrepczefew". A mai névváltozat elsőként 1595-tól adatolható mint "Also-Ramoth".
A mai kastély helyén álló udvarházat 1558-ban vásárolta meg Petrinjai Horváth Gergely ifjabb Jurusics Miklóstól, a kőszegi hős fiától. Horváth 1569-ben Bejczy Ambrusnak adta el. A 17. század elején Bejczy Dorottya kezével került a a Káldy családhoz, majd 1627-től azoktól leányágon részben a Czirákyakhoz.
A Czirákyak 1652-től perelték az udvarházat és az ahhoz tartozó birtokot, amelynek során először a Káldyak részét szerezték meg, majd a rokonságtól a többit is megvásárolták.
Cziráky Ádám nádori ítélőmester és Mózes nevű fia építtették a kastélyt az udvarház helyén 1652 és 1677 között. 1658-ban Cziráky Ádám már itt élt, tehát ekkorra már voltak lakható részei.
Cziráky László és leánya Katalin, gr. Esterházy Dánielné Rámocz nevű sopronmegyei birtokukon 1701-ben jan. 20-án osztoztak meg a kastélyon. "Az belső három contignatios kastély jutott Katának az külső kastély az öreg palotával obvenialt Lászlónak, a kápolna mindkét részre közös" írta az osztálylevél. A mai épület a külső kastély egy része, a belső azonban ma már nem létezik.
A Cziráky család része 1703-tól Festetics Pál zálogbirtoka lett. 1722-től Sigray-, később Inkey- zálogban volt. Bél Mátyás 1730 körül még a Czirákyak előkelő kastélyaként említi. 1760-tól az Esterházyaké.
1786-ban Korabinszky kisméretű, régi formájú épületnek írta le, viszont Vályi András 1799-ben ezt írja róla: "RÁMOCZ. Vas Vármegyében, földes Ura Gróf Cziráky Uraság, a’ kinek jeles épűletével ékes". Fényes Elek 1851-ben a kastélyról nem ír, de birtokosának herceg Esterházyakat nevezi meg.
Források: Soproni Szemle 35. évf. 3. sz. (1981.); A Vezekényi nemzetség és a gróf Czirákyak. Második és befejező közlemény. (Turul, 1883); Vályi András: Magyar országnak leírása. 3. kötet (1799); Koppány Tibor: Kastélyok a végvárak mögött;
7371 Unterrabnitz, Am Kastell. A településen átvezető útról az iskolánál letérve a Répce hídja után található a kastély.
Szélesség: N - 47°27'15.5"
Hosszúság: E - 16°22'28.2"