Cmentarz założono prawdopodobnie na przełomie XV i XVI wieku. Pierwotnie był miejscem pochówku także dla Żydów warszawskich. Podczas II wojny światowej został zniszczony. Do dziś przetrwały nieliczne nagrobki, najstarszy z 1810 r. Znajduje się tu symboliczna ściana płaczu – pomnik ku czci ofiar Holocaustu.
Kiedyś nieopodal był cmentarz muzułmański. Jego pozostałość stanowi XIX-wieczna tzw. baszta tatarska. Pochodzi z okresu, kiedy stacjonowała tu carska muzułmańska jednostka wojskowa. Obecnie jest to teren liceum.
