Nach Schwanthalers Tod gelangten seine Morisken zum Grafen Pallavicini im oberbayerischen Schloss Brannenburg. Verhandlungen des Magistrats über einen Rückkauf scheiterten 1861. Wenig später mussten die Tänzer ihre bayerische Heimat verlassen und verbrachten lange Jahre im italienischen Exil in einer Villa bei Cremona.Auch die zurückgebliebenen Figuren gerieten in Gefahr: Die Stadt leistete sich einen neugotischen Rathausbau, der von 1867 bis 1874 am Marienplatz entstand. Dem alten Rathaus drohte der Abriss. Münchner Künstler und andere Denkmalpflege-Pioniere protestierten und setzten Erhalt und Renovierung des gotischen Bauerbes durch. Von 1883 bis 1889 verschwand aller neu-mittelalterlicher Dekor darin und die Moriskentänzer erhielten neuen Glanz.Die aufstrebende Isarmetropole hatte die Morisken als Wahrzeichen früherer Pracht wiederentdeckt. Umso mehr sehnte die Münchner Bürgerschaft die Rückkehr der fehlenden Kunstwerke herbei. 1887 war es endlich soweit: Für 8.000 Mark in Gold löste Konservator Franz von Seitz die vier „abhanden gekommenen Herren“ in Italien aus und vereinigte die Tänzer im heimatlichen Rathaussaal.