قصر یاقوت که بهدلیل قرار گرفتنش در محدوده سرخهحصار، به کاخ سرخهحصار نیز شهرت دارد، یکی از کاخهای ناصرالدینشاه قاجار است که در سیونهمین سال پادشاهی او ساخته شد. این قصر دوطبقه بهنوعی حکم تفرجگاه برای شاه قاجار را داشت و ناصرالدینشاه هر وقت هوس شکار میکرد یا دلش تفریح و خوشگذرانی میخواست، از کاخ گلستان راهی قصر یاقوت میشد. اما نکته جالبتوجه درباره کاخ سرخهحصار این است که این عمارت بیش از آنکه تفرجگاه شاه قاجار باشد، آشپزخانه دربار بهحساب میآمد و آشپزان دربار قاجار در آن روزگار میگذراندند.
بهدلیل دومین کارکرد قصر یاقوت یعنی حضور آشپزان، ضربالمثل رایج امروز یعنی «بادمجان دور قابچین» از این مکان متولد شد. به گونهای که شادروان عبدالله مستوفی در کتابش مینویسد: «من خود عکسی از این آشپزان دیدهام که صدر اعظم مشغول پوست کردن بادنجان و سایرین هریک به کاری مشغول بودند. آقایان رجال و بزرگان کشور طوری حساب کار را داشتند که بادنجانها را موقعی که شاه سری به چادر آنها میزد به دور قاب میچیدند و مخصوصاً دقت و سلیقه به کار میبردند که بادنجانها را به طرزی زیبا و شاهپسند دور قابها بچینند تا مسرت خاطر ناصرالدین شاه شود و نسبت به مراتب اخلاص و چاکری آنها اظهار تفقد و عنایت کنند. در نتیجه ضربالمثل بادنجان دور قابچین از همین عمارت بیرون آمد.»
سال ۱۳۳۶ این کاخ با تصویب مجلس شورای ملی در زمان محمدرضا شاه پهلوی تبدیل به بیمارستان ریوی و بعدها بخشهای جراحی و روانی به آن افزوده شد. سال ۱۳۵۵ هم کاخ تبدیل به بخش اداری بیمارستان فوقتخصصی قلب دکتر لواسانی شد و در اختیار عموم قرار گرفت. از آن روز مالکیت این بیمارستان به عهده سازمان تأمین اجتماعی است.