1923 zogen die Städtischen Sammlungen in das ehemalige Augustinereremitenkloster ein. Schon nach wenigen Jahren zeigte sich, dass der vorhandene Raum nicht ausreichte.

Jahrzehnte sollten vergehen bis 1994 die ersten Pläne für eine Generalsanierung des Museums gemacht wurden.

Das umgebaute und erweiterte Haus wird einer der Mittelpunkte der Stadt sein, nicht zuletzt mit seinen vielen Kunstwerken aus dem Besitz der Erzdiäzese Freiburg, des Münsterfabrikfonds und der Adelhausenstiftung Freiburg. Der erste Bauabschnitt wurde 2010 fertiggestellt, der zweite beginnt 2012.