Park asub ürgoru nõlval ja on oma nime saanud ordulossi varemete järgi. Kui linn 19. saj. teisel poolel kasvas, tekkis vajadus puhkeala järele. 1863.a. saadi mõisalt õigus lossimägesid kasutada. Esimeste korrastustöödega alustati aastal 1893. 1925.a. valmis Varese sild, mis ühendas pargi linnaga.
Huvitav teada:
· Esialgu kasutati pargi heakorrastustöödel arestante – inimesi, kes mingil põhjusel kandsid arestimajas karistust ja said seda hoolsa töö arvelt siis lühendada.
· Pargimaastiku üheks põhikomponendiks on reljeef, oluline on ka veekogu lähedus.