Jest to najstarsza część miasta. Do XVII wieku stał tu zamek. Obecnie najważniejszym budynkiem wzniesienia jest bazylika kolegiacka pw. Narodzenia Najświętszej Maryi Panny. Została zbudowana w XVIII wieku jako katedra unicka. Od tego czasu kilkukrotnie zmieniała wyznanie. Obecnie należy do Kościoła rzymskokatolickiego. Jest to sanktuarium Matki Bożej Chełmskiej.
Jej wyposażenie jest skromne. Uwagę zwraca srebrne antepedium ołtarza głównego z 1750 r., przedstawiające hołd rycerstwa polskiego przed obrazem Matki Boskiej Chełmskiej, po zwycięstwie w bitwie pod Beresteczkiem. Warto odwiedzić także krypty w podziemiach kościoła, gdzie chowani byli m.in. biskupi uniccy.
Wśród licznych zabudowań Góry Zamkowej warto zwrócić uwagę na stojącą przed kościołem XIX-wieczną dzwonnicę, pełniącą funkcję tarasu widokowego. Mieści się w niej także Mauzoleum Ofiar Terroru Hitlerowskiego. Z kolei za kościołem znajduje się Brama Uściługska, zbudowana w 1616 r. Jest to najstarsza zachowana budowla Chełma, niegdyś stanowiąca element jego obwarowań.
