Założony w okresie I wojny światowej, cmentarz pierwotnie służył jako miejsce pochówku nieokreślonej liczby żołnierzy Cesarstwa Niemieckiego. W czasie II wojny światowej, w trakcie inwazji Wehrmachtu na Polskę, miała miejsce zacięta bitwa pod Mławą, trwająca 3 dni. Zginęło wtedy ok. 1200 żołnierzy polskich oraz 1800 niemieckich. Niemcy zostali pochowani na trzech cmentarzach zbiorowych, z których jeden znajduje się obok nekropolii z okresu I wojny światowej. W latach 1940–1944, polscy więźniowie obozów hitlerowskich w Iłowie i Mławce budowali i utrzymywali tę mogiłę. Do roku 1945 na cmentarzu spoczęło 1547 żołnierzy Wehrmachtu.
Dzięki staraniom Ludowego Niemieckiego Związku Opieki nad Grobami Wojennymi oraz Polskiej Fundacji Pamięć, w latach 90. cmentarz został zrekonstruowany. Na nekropolię przeniesiono ekshumowanych żołnierzy z pobliskich cmentarzy. Łączna liczba pochówków z okresu II wojny światowej wynosi 12 479. Nazwiska poległych zostały wyryte na blokach granitowych.
