L’Ancien Hôtel-de-Ville occupe le centre de la place du marché de la vieille ville et a été créé comme siège des autorités d’Olsztyn. La partie gothique de l'édifice, qui est à présent l'aile Sud, est l'un des plus anciens monuments architectural de la ville.

Cette partie a été construite vers 1500, probablement à la place d’une construction qui était utilisée par les conseillers et a été érigée dans la seconde moitié du XIVe siècle, après avoir donné des droits municipaux à la ville d’Olsztyn. La nouvelle structure a brûlé lors d'un incendie en 1620. On l’a rapidement reconstruite, car dès les années 1623-1624, en changeant l'aspect de façon significative. On y a construit une petite tour et agrandi les dimensions du bâtiment en lui donnant un style plus baroque. La cave et le rez-de-chaussée ont été transformés en halle de marché. Une autre importante rénovation de l'édifice a eu lieu au XVIIIe siècle.

En 1825, l’hôtel-de-ville est devenu le siège du tribunal, dont les besoins ont tellement augmenté avec le temps que quatre ans plus tard le conseil municipal a été obligé de quitter l’Hôtel-de-Ville. Cet «exil» a duré de nombreuses années. La construction d’une seconde aile à l’immeuble n’a rien changé (1858-1859), puisqu’elle a été occupée par le tribunal.

C'est seulement après la prise de fonction de maire par Oscar Belian, qu’on a réussi à trouver la solution, grâce à la construction d’un nouveau siège pour le tribunal. Le Conseil est revenu à la mairie en 1880, mais y a fonctionné seulement jusqu’en 1915. Il a alors déménagé vers le nouvel hôtel-de-ville, construit à l'emplacement actuel de la place Jean-Paul II.

Dans le bâtiment abandonné, se sont installées l’Ecole de Commerce et la Bibliothèque Publique. Cette dernière a également occupé les locaux de la troisième aile, aile nord, qui a été construite dans les années 1927-1928. La cour intérieure a été alors fermée par un système d’arcades. A l’époque du pouvoir des nazis, les Jeunesses hitlériennes se sont installées dans le bâtiment.

Après l'occupation de la ville par l'Armée Rouge en 1945, l'Ancien Hôtel-de-Ville a été brûlé. Le bâtiment a été reconstruit dans les années 1946-1949, mais sans la petite tour et les autres éléments architecturaux caractéristiques. Ils ont été refaits seulement lors d’une rénovation majeure dans les années 1996-2003, donnant une allure gothique aux façades de l'aile sud. Après avoir enlevé la couche de plâtre, on a découvert des murs en briques rouges décorés entre autres de « dos d’âne » originaux du  gothique tardif.

Dans sa forme actuelle, l'Ancien Hôtel-de-Ville est un bâtiment de trois ailes avec une cour intérieure à arcades et recouvert d'un toit de verre en appentis. Toutes les ailes sont à deux étages mais les ailes sud et nord, recouvertes d'un toit à deux versants, ont aussi un espace utilisable sous le toit. L’attention des touristes est attirée par les horloges solaires situées sur la façade de l'aile sud. L’ensemble du bâtiment est aujourd'hui occupé par la Bibliothèque Publique Régionale.