Il Castello di Cavernago è stato costruito tra il 1597 ed il 1610 su un precedente caseggiato di proprietà dei Canonici della cattedrale di Sant’Alessandro in Bergamo. Bartolomeo Colleoni aveva poi acquistato la proprietà nel 1470. Alla morte del Colleoni, Il podere di Cavernago passò a Gerardo Martinengo che aveva sposato sua figlia Ursina; fu un loro nipote, in quarta generazione, Francesco Martinengo Colleoni, a costruire il Castello come è ora. La presenza dei Martinengo Colleoni doveva protrarsi attraverso varie vicende storiche e familiari fino al 1885 quando, con la morte a Cavernago di Venceslao, la famiglia si estingue. Seguirono alcuni passaggi di proprietà conclusi con un periodo di totale decadenza e di completo abbandono dopo la ultima guerra. Nel 1950 il Castello fu acquistato , annesso alla azienda agricola, dal Principe Giovanni Maria Gonzaga che ne iniziò il restauro e la manutenzione. Da tre generazioni i nuovi proprietari con passione ed amore ne hanno fatto la loro dimora e l’oggetto delle loro cure.