V prvi polovici 16. stoletja je zgradil stavbo kot salonsko nadstropno hišo še neznan gradbenik. (To bi lahko bil eden od prvih lastnikov podjetja Ferlacher Hammerwerke v tem času, Thomas, Paul ali Georg Tifrer – tudi Tiffrer.)

06.09.1662 so stavbo kupile trgovske družine Huebmershoffen (od leta 1738 kot "von Silbernagl" podeden) in leta 1780 jo je povečal Ignaz Freiherr von Silbernagl v sedanjo obliko.
 

Družina Silbernagl je bila skozi 182 let (1692 – 1874) lastnica gradu.
 

Zaradi denarne krize leta 1873 je morala družina Huebmershoffen von Silbernagl prodati podjetja Paulu Mühlbacherju, tako tudi grad.
 

Leta 1879 je deleže kupil Mühlbacherjev nečak Gustav Voigt, zato je grad istega leta prešel v njegovo last. Družina Voigt je ostala lastnik gradu 78 let do 25.07.1957, ko je pravica do lastništva prešla na "KESTAG" Ferlach.
 

Občina Borovlje je s sklepom občinskega sveta z dne 16.07.1991 grad kupila od ene od naslednic podjetja KESTAG, "VOEST-ALPINE-Steinel" v Linzu s sredstvi zvezne vlade in države, da bi za prebivalce Borovelj ohranila dragocen zgodovinski dragulj z veličastnim naravnim parkom.

Sosednja upravna stavba (prej hlevi obrti Mühlbacher) je bila kupljena od podjetja KESTAG-Präzisionswerkzeuge-AG s sklepom občinskega sveta z dne 29. septembra 1991.
 

Za izvedbo koroške državne razstave leta 1997 „alles jagd ... eine kulturgeschichte“ je bilo potrebno povezati dva samostojna sosednja objekta "Grad" in "KESTAG - upravna stavba" s povezovalnim objektom in zgraditi " Rondeau" z vseprisotnim razgledom na park.

Ob kasnejši uporabi državne razstave se je orožarski muzej preselil iz mestne hiše v grad in je bil junija 1998 ponovno odprt kot orožarski in lovski muzej. Muzej se je od maja 2001 bistveno razširil s posebno razstavo “Mythos Jagd – Sammlung Horten”.

Danes so v gradu Ferlach poleg orožarskega in lovskega muzeja ter posebne razstave "Mythos Jagd – Sammlung Horten" mestna knjižnica, poročna dvorana, kavarna, pisarna podjetja Kommunal GmbH in kozmetični atelje.

Reprezentativne prireditvene sobe tvorijo uspešno enoto za dogodke vseh vrst.