Girincset először 1453-ban említik az írott források. A századok során több nemesi család is megfordult a községben, majd a 17. században a terület birtokosai a Dőry grófok lettek.
Dőry Ferenc, a család egyik legtekintélyesebb tagja az 1730-as években kezdte felépítetni girincsi kastélyát, melyet uradalma központjává tett. Később bővítették, átépítették, mai formáját a 19. század elejére nyerte el. A főbejárat fölött a Dőry család címerpajzsa látható. A barokk kastély melletti templomot szintén Dőry Ferenc építtette, akit később itt is helyeztek végső nyugalomra.
A Dőry család jelentős birtoka a reformkortól kezdődően elaprózódott, később a kastélyt is bérbe adták. 1945 után államosították, előbb gyári munkások üdülője, majd sportoló szaktábor és ifjúsági megyei üdülő volt. 1960-tól Gyógypedagógiai Intézet működik az épületben.