Es steht an der Stelle eines ehemals sumpfigen Sees im Stadtgraben beim Äußeren Brückentor, das 1832 abgebrochen wurde.
Das Harmonie-Gebäude wurde 1958 um 5 Meter verkürzt, um Platz für die neue Mainbrücke zu schaffen. Damit büßte es seine ausgewogene Proportion ein.