Kiltsi loss on püstitatud 15.-16. saj pärineva vasall-linnuse varemeile. 19. saj kuulus loss von Krusensternide suguvõsale. Adam Johann von Krusensterni juhtimisel teostus Vene esimene ümbermaailmareis (1803-1806), mille põhjal koostas ta just Kiltsis elades “Lõunamere atlase”. 

1920. aastast alates asub lossis kool. Tänu sellele on ajalooline hoone säilinud.

Lossi on võimalik rentida sünnipäeva- ja pulmapidude, koolituste ja seminaride korraldamiseks, alates 2023 suvest on see avatud ettetellimisel ainult gruppidele. 

Lossi ümber on maaliline park, kus saab jalutada.