Oльштын основан на месте, которому естественную защиту с двух сторон обеспечивало русло Лыны. Оборонные преимущества излучины реки дополнили выкопанные рвы и пояс фортификаций вокруг города с тремя воротами и приблизительно дюжиной башен. Городские стены строились этапами и окончательно объединены со стенами замка Варминского Капитула, построенный в 1347-53 годах в западной части планируемого города.

Первая застройка Oльштына имела место в 1353 г. Во время второй в 1378 г. город расширился в северном направлении. До конца XIV в. крепостные стены города сомкнулись и город находился в их пределах фактически до начала XIX в. В это время начали сносить повреждённые стены и застройка зданий вышла за их границы.

Сохранившиеся остатки укреплений города определяют актуальные границы ольштынского Старого Города. Единственным полностью сохранившимся элементом фортификаций являются Высокие Ворота, представляющие вход в старую часть города с северной стороны. С юга такую функцию выполняли Нижние Ворота разрушенные в XIX в.(окрестности моста святого Яна). Западный форпост представляет хорошо сохранившийся замок, в котором в наше время находится Музей Вармии и Мазур. Возле замка возвышается неоготический евангельский костел Христа Спасителя, построенный в 1876-77 годах. С востока пространство старой застройки было закрыто монументальным готическим костелом святого Якова, законченным после десятилетий строительства на рубеже XIV и XV в.

Памятник архитектурной готики украшает также старую городскую площадь в центральной части города. Это Старая Ратуша, первое крыло которой было построено в конце XIV в., а после пожара ее восстановили 1623-24 годах, немного изменив внешний вид. Теперь в здании расположена Воеводская Публичная Библиотека.

Рынок с четырех сторон окружён кольцом зданий XVII и XVIII в. После разрушений, являющихся эффектом II Мировой Войны, эти здания восстановили в измененном виде. В большинстве случаев надстроили верхние этажи, придали зданиям черты стиля барокко и украсили современными декорациями.

Самое старое здание "Дом бурмистра", на фасаде которого сохранились архитектурные элементы XIV в. Здание считают домом основателя и первого бурмистра Oльштына Яна с Лайс. Несколько десятков метров от него находится дом, в которой родился выдающийся архитектор Eрих Mендельсон (1887-1953).

Самой молодой частью застройки Старого Города является комплекс стилизованных зданий, построенный в 2002 г. на Рыбном Рынке, который оставался незастроенным с конца войны.

На первом этаже большинства старинных зданий, а часто также на их верхних этажах, в настоящее время находятся магазины, бары и рестораны. Старый Город является культурным центром Ольштына, в частности летом, когда здесь проходит большинство мероприятий Oльштынского Художественного Лета. Главной сценой этих мероприятий является амфитеатр им. Чеслава Немена у подножия замка, а некоторые из них проходят на Рыбном Рынке и тихих городских улочках Старого Города.