Ant šios kalvos, kuri pasipuošusi  „piliakalnio“ paminklu, taip pat stovėjęs rūmas, tik ne medinė pilis, o dvaras, kurį valdė įvairios LDK didikų giminės. Veprių dvaras minimas nuo 1542 m. Tuo metu jis priklausė Kęsgailoms, vėliau – Oginskiams. XVII a. savininkais tapo Šemetos, po jų -Tyzenhauzai. Tikriausiai, Šemetos ant šios kalvos pastatė puošnius dvaro rūmus, kurių liekanos ir dabar „slepiasi“ Veprių žemėje. Deja, Šiaurės karo laikotarpiu rūmai buvo nuniokoti, todėl XIX a. prad. dvaro centras perkeltas į dabartinę vietą ežero terasoje .

 Kaip sugriuvę Veprių pilies rūmai iš lūpų į lūpas perduodama tokia legenda. Vieni ponai, kurie tada Vepriuose gyveno, kažin ką labai nedora buvo padarę. Už tai ištikusi juos tokia nelaimė, kad naktį rūmai tiek įslūgdavę, kad nebuvo galima durų atidaryti. Ir kiek žmonės atkasdavo, tiek rūmai per naktį vėl įslūgdavo į žemę. Kai rūmai įslūgę beveik iki pusės langų, ponai supratę nieko gero nebebusią, todėl išsikraustę iš kalno rūmų ir apsigyvenę žemiau. Taip rūmai kalne įslūgę ligi pusės ir apleisti sugriuvo.

 Veprių dvarvietę 2019 m. papuošė Viktoro Žentelio sukurta skulptūra „Šuoliuojantys per amžių Vyčiai“, skirta Nepriklausomos Lietuvos šimtmečiui pažymėti.

 Papėdėje stovi to paties autoriaus skulptūra „Iš tremties negrįžusiems“.