Kültür Tepesi’ni Saat Kulesi ile paylaşan ve “padişaha ait saray” Kasr-ı Hümayun, Av Köşkü olarak da bilinmektedir. Garabet Amira Balyan’a yaptırılan iki katlı yapıda neoklasik, barok ve klasik Osmanlı üsluplarına rastlanmaktadır. Sultan Abdülaziz tarafından yaptırılan ve günümüze ulaşan bu yapının yerinde daha önce IV. Murat döneminde ahşap temeller üzerine inşa edilen ancak deprem ve yangınlar ile yıkılan bir saray olduğu bilinmektedir.
Osmanlı padişahlarına ve birçok devlet adamına hizmet eden müze binasının iç mekan özellikleri dikkat çekmektedir. Mermer işçiliği, sütunları ve tavan işçiliği Dolmabahçe Sarayı’nı anımsatmaktadır. 1967 yılına kadar Vilayet ve Ziraat Odaları olarak kullanılan bina bu tarihten sonra İzmit Müzesi’ne dönüştürülmüştür. 1992 yılında restore edilmiş, 1999 depreminde aldığı hasar sonrasında 2004 yılında tekrar restorasyona başvurularak 2007’de ziyarete açılmıştır.