Nur zwei der ehemaligen Kavaliershäuser sind erhalten. Eins davon ist das Rossi-Haus und gehört zum Schlossensemble. Im ersten Viertel des 18. Jahrhunderts errichtet, beherbergte es fürstliche Beamte und später wohlhabende Bürger. Beispielsweise die Familie Ruschka, die als Ziegeleibesitzer beim Bau des Schlosses zu Vermögen gekommen war. Die repräsentativen Räume befanden sich in der Beletage im Obergeschoss.
Im 20. Jahrhundert bewohnte die Familie des jüdischen Mitbürgers und Kaufmanns Leopold Wolf das Rossi-Haus. Auch hier kam es während der Nazidiktatur zu einer ungerechtfertigten Enteignung. 1962 erwarb es der Landkreis Rastatt. Seit 2008 befindet es sich im Besitz der Stadt Rastatt.
Nach umfangreichen Sanierungsarbeiten ist das Rossi-Haus seit Juli 2018 wieder für die Öffentlichkeit zugänglich. Das Atrium wird als Bürgerforum für Veranstaltungen der Stadt genutzt. Außerdem sind hier unter anderem die städtischen Seniorenarbeit, das Seniorenbüro, die Servicestelle Inklusion und die Geschäftsstelle der Seniorenhilfe Rastatt e. V. untergebracht.
Der Schlackenwerther Raum beherbergt eine Dauerausstellung. Im Obergeschoss – der Beletage – steht Heiratswilligen ein geräumiges Trauzimmer zur Verfügung. Dort kann sich das Brautpaar in prächtigem, barockem Ambiente und vor der Kulisse des Residenzschlosses stilvoll das Ja-Wort geben.
Kinder entdecken Rastatt:
Kavaliere und Hofdamen waren so etwas wie Angestellte des Markgrafen, die immer um ihn herum sein mussten. Während die Kavaliere als Berater dem Markgrafen halfen, leisteten die Hofdamen der Markgräfin Gesellschaft.
Außerdem waren sie an der Erziehung der Prinzen und Prinzessinnen beteiligt. Gegenüber der Dienerschaft waren sie meist unfreundlich – und vor Mäusen hatten sie panische Angst. Sehr zum Vergnügen von Siri, der Schlossmaus, und ihrem Freund Ludwig, der Stadtmaus. Kavaliere und Hofdamen wohnten entweder im Schloss oder ganz in der Nähe des Schlosses. Von den Kavaliershäusern aus leitete der Architekt Domenico Egidio Rossi ab 1705 die Ausbauarbeiten am Rastatter Schloss.