Das Stadtarchiv wurde am 8. Mai 1885 durch Bürgermeister Georg Schuh als Sammelstelle für „alterthümliche oder geschichtliche Gegenstände“ gegründet. Von Anfang an stand es in Verbindung mit dem 1865 gegründeten Verein „Germanisches Museum“, dem Vorläufer des 1919 eröffneten, Heimatmuseums, das seit 1930 in städtischem Besitz ist (heute Stadtmuseum). Seit 1923 waren Archiv und Museum gemeinsam im Altstädter Rathaus untergebracht.

Auf den von Ludwig Göhring und Ernst Deuerlein geschaffenen Grundlagen begann 1945 unter Stadtarchivar Johannes Bischoff der systematische Aufbau zu einer leistungsfähigen Behörde. Von 1978 bis 1984 leitete Dr. Helmut Richter Archiv und Museum, von 1984 bis 2007 stand Dr. Christoph Friederich dem zum Kulturreferat gehörigen Amt vor. Seit 2007 ist Dr. Andreas Jakob Leiter des Stadtarchivs.

1959 wurde im Hof des Altstädter Rathauses ein eigenes Archivgebäude errichtet. Dieses musste jedoch bereits 1987 wegen Baufälligkeit wieder abgerissen werden. Derzeit ist die Archivverwaltung  noch provisorisch in der ehemaligen Feuerwehrgeräteremise der Altstadt hinter dem Stadtmuseum untergebracht. Die Archivbestände sind dabei unter z.T. konservatorisch sehr problematischen Bedingungen auf mehrere Lagerorte innerhalb des Stadtgebietes verteilt.

Nach jahrelangen Verhandlungen konnte 2008 mit konkreten Planungen und 2009 mit dem  Umbau des Museumswinkels in ein modernes und leistungsstarkes Archiv begonnen werden. Der Umzug begann im August 2011. Die Eröffnung des neuen Stadtarchivs fand am 21. Oktober 2011 statt, der Umzug wird aber darüber hinaus noch mehrere Monate andauern, da gleichzeitig eine Umstrukturierung und teilweise Neuordnung der Bestände durchgeführt wird.