Mury miejskie zaczęto wznosić w II połowie XIV w., łącząc je z fortyfikacjami zamku Kapituły Warmińskiej. Konstruowano je z pełnej cegły na podbudowie z kamienia polnego. Ich wysokość dochodziła do 9 m, grubość zaś wynosiła od 1,6 do 2 m. W obręb murów można było się dostać przez jedną z trzech bram: Dolną, Młyńską lub Górną. Jedyną zachowaną do dziś jest ta ostatnia, od XIX w. nazywana Wysoką Bramą. W ciągu murów znalazło się również kilkanaście baszt.

Aby przystosować system fortyfikacji do obrony przed bronią palną, w XVI w. dobudowano drugi, niższy ciąg murów z bastejami od strony północnej i wschodniej. Pod koniec XVIII w. mury przestały spełniać funkcje obronne i zaczęto je powoli rozbierać. Poza ich obręb zabudowa miasta wyszła na początku XIX w.

Najokazalsze i częściowo zrekonstruowane pozostałości murów zachowały się koło bazyliki św. Jakuba. Wzdłuż Łyny wznosi się ciąg budynków, dla których fragmenty murów stanowią element konstrukcyjny. Spore relikty przetrwały u podnóża zamku oraz przy ul. Asnyka i Okopowej. Inne pozostałości fortyfikacji miejskich odkryto podczas wykopalisk przed Wysoką Bramą i przy ul. Staszica.