Johannese kiriku ja paisjärve vahetus läheduses paiknev kalmistu on kantud Eesti kultuurimälestiste riiklikusse registrisse. 

Kalmistu rajati Katariina II 1772. aasta ukaasi kohaselt, mis keelas kirikutesse ja nende ümber matmise.

Hinnaliseks arhitektuuriliseks mälestusmärgiks on 1912. aastal valminud neoklassitsistlike elementidega kaheksatahulise põhiplaaniga kabel.

Suure-Jaani kalmistu on rikas kultuuriloos suurt tähtsust omanud inimeste kalmude poolest. Siia on maetud Mart Saar, Johann Köler ja Artur Kapp.
Siin asub ka Olustvere krahvide Fersenite rahupaik.