Die Besitzer beider Gasthöfe lebten aber nicht nur vom Gastgewerbe, sondern auch von der Landwirtschaft. Großen Schaden nahm der Gasthof samt seiner Hintergebäude, die sich bis zur Engen Gasse erstreckten, während der Stadtbrände 1709 und 1753.

Seit Beginn des 19. Jahrhunderts sprach man vom Gasthof zum „rothen Hirsch“ und ab ca. 1850 vom Hotel „Hirsch“. Die vom Stadtrat erteilte Konzession erlaubte die Verabreichung von alkoholischen und anderen Getränken sowie warmer und kalter Speisen, die Beherbergung Fremder und die Ausspannung in den dafür vorgesehenen Ställen. Auf dem Saal fanden öffentliche Tanz- und andere Veranstaltungen statt. Zu DDR-Zeiten gab es hier neben der Gaststätte im Erdgeschoß eine zentrale Schülerspeisung, wo täglich bis zu 2000 Portionen Essen gekocht wurden.

2001 wurden die Gebäude Markt 6 und 7 bis auf die Vorderfront abgerissen, um im darauffolgenden Neubau im Markt 6 für das Stadtarchiv und Museum und im Markt 7 für die Stadtbibliothek neue, moderne Räumlichkeiten zu schaffen. Auch eine Gaststätte lädt wieder zur Einkehr ein.