Het kasteel is gelegen in een groene omgeving aan een bocht van de Dender, ten noordoosten van het vroegere dorpje Nederboelare, dat nu deel uitmaakt van Geraardsbergen in Oost-Vlaanderen.

De eerste vermelding van een heer van Boelare dateert van eind 11e eeuw, met Etienne van Boelare als eerste bekende naam.

Het kasteel was toen waarschijnlijk een versterkte burcht. De Baronie van Boelare was een van de vijf grote baronieën van het Land van Aalst en omvatte twaalf dorpen.

De familie Van Boelare was de eerste bekende familie die het kasteel bewoonde en de titel van baron droeg. Ze waren een rijke en machtige familie in het Land van Aalst.

Door de eeuwen heen is het kasteel in handen geweest van verschillende adellijke families, waaronder de families De Ghellinck en Vilain XIIII.

Het kasteel is omgracht en wordt omgeven door een uitgestrekt park met een deels gekasseide populierendreef.

Na de brand in 1724 werd het kasteel grondig gerenoveerd.

De witsteen kruisramen werden uitgenomen, boven de ramen werden korfbogen gemetst, de ramen verlaagd en de onderdorpels werden vernieuwd in blauwe hardsteen.

Binnen werden de plafonds vernieuwd en opgeplakt, de schouwen werden vervangen door Lodewijk XV schouwen uit marmer, de wanden en plafond werden bepleisterd in dezelfde Lodewijk XV-stijl.

De arduinen deuringang in Lodewijk XVI-stijl werd ook geplaatst en zo kreeg het kasteel het uitzicht dat we nu kennen.

Op het domein bevindt zich ook een neogotische kapel, gebouwd in de 19e eeuw.

In 2007 werd er een vervangingsnieuwbouw gerealiseerd op het domein voor het rust- en verzorgingstehuis.

Het doet dan ook dienst als rust- en verzorgingstehuis en biedt plaats aan 56 residenten, waaronder 37 in het RVT en 10 in kortverblijf.

Het kasteel is niet open voor publiek, behalve voor gelegenheden zoals Open Monumentendag.

Het park is wel toegankelijk voor wandelaars.