Ant pilies kalno, esančio šalia miesto centro, XV a. buvo pastatyta mūrinė pilis-tvirtovė. Joje buvo įrengta patalpa seimeliams bei pilies teismo posėdžiams, taip pat bokštas, vėliau pritaikytas kalėjimui. XVII a. pilis prarado strateginę reikšmę ir sunyko, liko tik pilies bokštas, kuris 1794 m. buvo susprogdintas. 1882–1936 m. buvusios pilies teritorijoje veikė turgus, o 1938 m. čia buvo įrengtas parkas.
2019 m. atliekant žvalgomuosius archeologinius tyrimus Ukmergės Pilies kalno teritorijoje, buvo aptiktos iš stambių lauko akmenų sumūrytos XVII–XVIII a. gynybinio bokšto liekanos.
2021 m. Pilies parkas buvo pertvarkytas: atnaujinti pasivaikščiojimo takai, pastatyta vaikų žaidimų aikštelė ir lauko muzikos instrumentai. Taip pat įrengti nauji laiptai į Pilies parką nuo Vilniaus gatvės ir trys apžvalgos aikštelės su apšvietimu, nuo kurių atsiveria Ukmergės panorama
