Die bewegende Geschichte des Turmbergs geht auf das 11. oder 12. Jh. zurück. Durlachs Geschichtsschreiber Fecht weist die Gründung der Burganlage dem Geschlecht von Hohenberg zu, das zu Beginn des 12. Jh. im Pfinzgau ansässig war. 1274 erobert Rudolf von Habsburg die Burgen und Städte Mühlburg, Grecingen und Durlach.
Die Burg bleibt zunächst unversehrt, wird jedoch 1279 durch Konrad III. von Liechtenstein, Bischof von Straßburg, geplündert und in Brand gesetzt. Markgraf Rudolf I. und seine Nachfolger bauen unter teilweiser Benutzung der verbliebenen Mauern die Burg wieder auf.
Aus dieser Zeit stammt auch der heutige gotische Turm.

Wie ein Plan von 1565 besagt, führte der Turm in jenen Jahren nur noch den Namen "Durlacher Warte". Fecht schreibt in seiner Stadtgeschichte über den Turmberg, daß im 15. und 16. Jh. der Burgturm als Standort für seine Stadt und Landwache diente. In dieser Zeit wurde parallel zum Turm der 13 Meter hohe Pfeiler errichtet. Dieser diente als brückenartige Kanonenplattform. Im Jahre 1689 plündern und verwüsten die Franzosen die Stadt Durlach. Dabei wird der Turm in Brand gesetzt, jedoch widerstehen die Mauern den Flammen und Sprengversuchen. Im Laufe der Zeit verliert die Warte an Bedeutung. Glücklicherweise wird der Turmberg im 19. Jhd. als Geschichtsdenkmal und Aussichtspunkt wieder neu entdeckt.