Il palazzo, voluto da Francesco II marchese di Mantova e marito di Isabella d’Este come suo palazzo privato sede di svaghi e delizie, oggi è sede del museo della città, racchiude le Collezioni Civiche con opere e reperti di grande valore sia storico che artistico.
Un tempo ospitava le imponenti tele dei “Trionfi di Cesare” di Andrea Mantegna di cui oggi rimangono le copie seicentesche rinvenute in una casa privata a Mantova. Gli originali oggi sono conservati ad Hampton Court (Londra). Il palazzo originariamente presentava oltre alle stalle – che alloggiavano i famosi cavalli tanto amati da Francesco – anche un grande loggiato che veniva adibito a teatro per rappresentazioni in occasione del carnevale.
Ricchi giardini con piante rare, cedri e aranci, labirinti di siepi e fontane che si estendevano fino alla vicina Casa del Mantegna, contribuivano al suo splendore. Venne (purtroppo) spogliato nei secoli, ed adibito a caserma, prigione e lazzaretto.