Zamek powstał na terenie Górnego Miasta w 1227 roku. Jego budowę zainicjował Zakon Kawalerów Mieczowych. Należy do najstarszych i największych warowni w Estonii. W późniejszych latach Zakon Inflancki przebudował twierdzę. Dalsze modyfikacje ukształtowały budowlę w stylu barokowym oraz klasycystycznym. Do dziś zachował się mur wraz z wieżą “Długi Herman”, która ma 46 metrów wysokości oraz część muru północnego z dwiema wieżami Landskrona i Pilsztiker.
