Begin jaren twintig van de vorige eeuw richtten de partners Barents, Roth en Niewenhuis de Baronie op, waarvan de bedrijfsnaam een samenvoeging is van hun achternamen. In 1982 namen zij de in 1896 opgerichte chocoladefabriek De Heer over waarna het bedrijf onder de huidige naam Baronie - De Heer B.V. verder ging.

De productie van chocolade is de laatste jaren sterk geautomatiseerd met als gevolg de bouw van modernere fabrieken, maar ook de sluiting van verouderde fabrieken zoals die in Alphen aan de Rijn.

Sinds de sluiting in 2001 staat de fabriek er verlaten bij. Het pand is nog tijdelijk antikraak bewoond geweest, maar door de toenemende overlast van vandalen en andere ongenode bezoekers, besloten de kraakwachters in 2005 te vertrekken. Niemand wilde de sloopkosten betalen en de herbestemmingsplannen bleven door eindeloze onderhandelingen op de plank liggen. Daar kwam nog bij dat een gedeelte van het pand tot monument verklaard was en behouden moest blijven. Bedoeling was dat op het terrein kantoren, winkels en appartementen gebouwd zouden worden. Eind 2005 gooide een grote brand nog meer roet in het eten. De monumentale vleugel waar de hoofdingang zich bevond, brandde volledig uit; uitgerekend het gedeelte dat behouden had moeten blijven. Grappen over ongeduldige investeerders deden al snel de ronde.

In april 2007 heeft de eigenaar van het voormalige Baronieterrein, Chris Bosman, het complex verkocht aan Green Real Estate, de investeringsmaatschappij van textielmagnaat Jan Zeeman, die het zal gaan ontwikkelen. De Alphenaren hopen dat hiermee een einde komt aan de langslepende onderhandelingsgeschiedenis van deze 'doorn in het oog'.