V Volčjem Potoku na Volčjem hribu (523 m) je svoje dni stal grad. Že leta 1689 ga omenja sloviti polihistor Janez Vajkard Valvasor, a je bil v njegovem času že v ruševinah. Valvasor pravi, da naj bi ime kraju (Wolfsbuhel) dali volkovi, ki »se drže po okoliških gozdovih« in dodaja, da je »kraj jako lep in rodoviten; daje mnogo sadja, ima lepe travnike in njive, ki so na moč rodne«.
Tako torej meni Valvasor; zgodovina dvorca je veliko pestrejša, lastništvo pa se je v dobrih 300 letih nenehno menjavalo. Dvorec Volčji Potok (Wolfsbach) je v dvajsetih letih 17. stoletja sezidal Leopold Raumschüsl. Prehajanje dvorca iz rok v roke se je končalo, ko ga je leta 1882 kupil ljubljanski veletrgovec Ferdinand Souvan. Leta 1885 ga je preuredil ter okoli graščine zasadil park.
Nekatere pred dvorcem ležeče njive in travnike je zasadil z drevjem, naredil park in ga obdal z zidom. Souvan je delno restavriral tudi prvotni grad na slemenu hriba, tako da je viden tloris stolpa in zidov, ki spominjajo na srednjeveške čase. Velik hlev je z vzhodnega dela parka prestavil na vzhodno stran dvorca.
Ferdinand Souvan se je rodil leta 1840 v Ljubljani. Mati Marija Jožefina Pleiweiss je bila sestra politika, časnikarja in živinozdravnika dr. Janeza Bleiweisa. Oče Franc Ksaver je bil uspešen trgovec z manufakturnim blagom ter eden od ustanoviteljev ljubljanske Čitalnice, ki je dal na razpolago tudi prostor. Za trgovca se je izučil pri dedu Valentinu Pleiweissu v Kranju. Skupaj s starejšim bratom Francem Ksaverjem ml. je leta 1865 prevzel očetovo trgovsko podjetje. Brata sta podjetje preimenovala v Franca Ksavera Souvana sinovi in poslovanje močno razširila. Med letoma 1866 in 1870 sta podjetju priključila trgovino strica Konrada Pleiweissa iz Kranja, leta 1868 še trgovino strica Jožefa Pleiweissa na Mestnem trgu v Ljubljani.
Ferdinand je bil trgovsko uspešnejši od brata in je svoji trgovini pridobil velik ugled po vsej Avstro-Ogrski. Kot narodno zavedni Slovenec je podpiral slovenska narodna in trgovska društva.
Poročil se je leta 1868 z Rozo Frölich, hčerjo hotelirja in trgovca Pri zlatem levu v Ljubljani, pred poroko gledališko igralko in recitatorko. V zakonu se jima je rodilo pet otrok, vendar sta se leta 1881 ločila. Najstarejši sin je bil dr. Franc Ferdinand Souvan, avstrijski vicekonzul v Bremnu in Amsterdamu ter konzul v Strasbourgu. Drugi sin je bil Leon Souvan, družabnik očetovega trgovskega podjetja ter glavni oblikovalec parka in arboretuma v Volčjem Potoku.
V slovenski literaturi je znana tudi hči Alma Souvan, neuslišana ljubezen Josipa Murna Aleksandrova, ki ji je posvetil več pesmi.
Posestvo je po njegovi smrti podedoval sin Leon Souvan in poskrbel za nekatera preureditvena dela. Leon je park razširil in poskrbel za številne nasade v njem. Leta 1937 je podrl hlev in ga preoblikovanega v gospodarsko poslopje sezidal izven parka v zahodnem delu posestva. Na njegovem mestu je zgradil garažo, ki preurejena stoji še danes.
Prišla je druga svetovna vojna, ki je bila za dvorec usodna. Trgovec Leon Souvan je pred Nemci pobegnil v Ljubljano. V Volčjem Potoku so okupatorji uredili gospodinjsko šolo, prišel pa je nesrečni 13. april 1944, ki je bil za dvorec usoden.
Več kot 300 let je kljuboval različnim spremembam in številnim lastnikom, a ga je do tal uničil požar, ki so ga zanetili partizani.
Ohranjeni in obnovljeni so le vrtni paviljon, grajska kapela in stopnišče, ki vodi v grajski park. O zgodovini Arboretuma Volčji Potok poroča Andreja Pogačar Špenko: »Leon Souvan se je zapisal v zgodovino Volčjega Potoka kot veliki arhitekt še do danes ohranjenih in zaščitenih arboretskih nasadov. Obzidje prvotnega parka je podrl in park dopolnil z nasadi domačega in eksotičnega drevja. Park, ki je obsegal približno 12 ha, je ob južni in jugozahodni strani obdal z gabrovo živo mejo. V parku sta našla svoje mesto dva z lokvanji in trsjem obrasla ribnika.
Leon Souvan je 50 let posvečal veliko časa, skrbi in pozornosti ureditvi in razširitvi parka. Bil je tudi oblikovalec geometrijskega parterja (francoski park) pred dvorcem in drugih delov parka, v katerih je hotel posnemati naravo (angleški park). Njegov smisel za hortikulturo se izraža tudi v skrbi za gozd, ki ga ni izkoriščal zgolj po gospodarski računici.«
Zavod za spomeniško varstvo LRS je 26. februarja 1946 parkovno ozemlje izločil iz tedanjega agrarnoreformnega razdelitvenega sklada, zaščitili pa so ga z zakonito varstveno odločbo.
Do leta 1949 je Leon Souvan sam vzdrževal park, po njegovi smrti v tem letu pa je posestvo Volčji Potok prevzelo podjetje Gradis. Kot pravi Andreja Pogačar Špenko, je bila
po zakonu o varstvu kulturnih spomenikov in prirodnih znamenitosti v Sloveniji leta 1950 izdana odločba, s katero sta park in parkovni gozd na površini 38 ha v Volčjem Potoku zaščitena kot hortikulturna stvaritev, v kateri se zrcali za slovenski narod pomembna kulturna in naravna dediščina. V začetku leta 1952 je to območje prešlo pod upravo agronomske in gozdarske fakultete Univerze v Ljubljani. Slednja si je ves čas prizadevala, da bi se zaščiteni kompleks postopoma razvil v arboretum za potrebe učnih in znanstvenih ustanov v Sloveniji in v takratni Jugoslaviji. S tem je bila postavljena osnova za ureditev in razvoj današnjega parka.
