In 1902 bouwden de Zusters Franciscanessen een tehuis voor bejaarden en minder bedeelden. Dit tehuis is in de loop van de jaren uitgegroeid tot sanatorium voor zenuwzieke vrouwen: De Stichting Sint Antonius.
In 1967 hebben de zusters het bestuur overgedragen aan de Stichting Het Hooghuys die de opdracht kreeg een erkend psychiatrisch ziekenhuis te worden.
In 1974 kreeg de Stichting Het Hooghuys de erkenning als psychiatrisch ziekenhuis. In deze jaren veranderden de inzichten in het behandelen van psychiatrische patiënten. Het Hooghuys was een van de eersten die een woonwijk bouwde voor chronische patiënten (in Etten-Leur) en twee opnameklinieken in Breda (de wijk IJpelaar) en in Oosterhout (vlak achter het Pasteur Ziekenhuis) De gedachte die hier achter zat was dat psychiatrische patiënten moesten integreren in de maatschappij en moesten meedoen in de maatschappij. De patiënten moesten niet langer geïsoleerd leven, ver weg van de stad in psychiatrische instellingen die vaak in de bossen gelegen waren.
Uiteindelijk na nog een drietal fusies is het gebouw, inclusief terrein in 2019 aangekocht door de NBU met de bedoeling het hoofd gebouw in oude luister te herstellen. De Residentie Antonius was een feit. De opzet was om 20 appartementen te creëren, allemaal verschillend van karakter en oppervlakte.
In de afgelopen jaren is het pand op sommige plekken aangepast. In de tachtiger jaren is de hoofdpoort voor een gedeelte verwijderd om een open doorgang naar de achterliggende gebouwen te realiseren. De voorzijde is nog authentiek.
De hele achterzijde van het gebouw heeft een modernere look gekregen. Een galerij op de begane grond, een galerij op de eerste etage, beiden voorzien van een glaswand. Op de bovenste etage zijn de appartementen ontsloten door een galerij gecombineerd met balkons.