تاریخ و کاربرد بنای یاد شده در روزگار صفویّه دقیقاً معلوم نیست. اما ظاهراً، در زمان حکومت قاجار بازسازی شد و با مجموعه کاخ های دیگر، بارها مورد استفادۀ حکام وقت قرار گرفت. تواریخ، در مورد استفاده سیف الدوله محمدمیرزا سلطان - فرزند فتحعلی شاه و حاکم اصفهان ( 1250-1240 ه.ق) از این بنا چندان گویا نیست و چیزی که مسلم است بهره وری او از "عمارت سرپوشیده " است که در مجاورت این و به جای کاخ فعلی استانداری بنا شده بود.

پس از این دوره شواهد و قرائن دقیق تری از این بنا وجود دارد. مسعود میرزا ( ظل السلطان) حاکم وقت اصفهان، آن را با نام "جبه خانه"محل سکونت و حکومت خود قرار داد و تغییراتی را در آن لحاظ کرد. علاقه وافر مسعود میرزا که بیشتر به شهوت شکار او معروف است، او را بر آن داشت تا انبوه سر بزهایی را که در شکارگاه های اختصاصی خود نظیر قمیشلو به تیر تفریح کشته بود، به یادگار روی سطح دیوارهای منقّش به گچ بری های روسی حیاط این کاخ نصب کند. تصاویری که ارنست هولتسر از آن در مجموعه عدیم النظیر عکس های خود، "تالار شاخ " نیز مسمّا کرد.

تدریجاً که ظل السلطان، باغ نو را ساخت، تغییرات دیگری در این مکان ایجاد کرد که استفاده از زیر زمین آن به عنوان زندان از این جمله است. باید یادآور شد که بنای باغ نو، حاصل ویرانی هفده عمارت زیبا و بی بدیل صفویه است که مهم ترین آنها عمارت نمکدان، هفت دست و آینه خانه است.