Cmentarz powstał w pierwszej połowie XVIII w. i jest miejscem pochówku Żydów z Kromołowa i okolic. Podczas II wojny światowej, Niemcy zniszczyli tutejszą synagogę, a całą ludność żydowską przesiedlili do getta w Zawierciu. Ostatecznie, każdy trafił do obozu zagłady Auschwitz-Birkenau. Nekropolia należy do najstarszych i najlepiej zachowanych zabytków żydowskiej kultury całego regionu. Obok, znajduje się cmentarz wojenny z I wojny światowej.
