Attorno al 1379 venne edificato il Castello Visconteo di Pandino, per  volontà di Regina della Scala, nobile veronese e moglie di Bernabò Visconti duca di Milano, ella mori alcuni anni dopo, nel 1384, probabilmente senza vedere compiuta la costruzione.Inizialmente il castello non ebbe scopi difensivi ma fu concepito come luogo di svaghi: caccia, banchetti, ricevimenti, danze. Del resto a quei tempi attorno all'abitato di Pandino si estendevano rigogliosissimi boschi ricchi di selvaggina e di limpide acque. Lo schema architettonico del castello è molto semplice si tratta di un quadrato regolare di circa 66 metri per lato, delimitato da 4 torri angolari anch'esse a base quadrata. Due sono gli ingressi: uno principale al centro della facciata sud, l'altro sulla facciata opposta asimmetrico rispetto al primo. 
Il cortile interno ha forma quadrata ed è racchiuso in un elegante porticato scandito da archi ad ogiva, mentre il loggiato sovrastante presenta una successione di slanciati pilastri con tracce di affreschi. Questo castello visconteo rappresenta un unicum nel circuito europeo, grazie anche alla bellezza degli affreschi ancora presenti sulle pareti interne, rappresentanti motivi geometrici alternati alle insegne nobiliari degli Scaligeri e dei Visconti. 
Gli affreschi che appaiono sotto il porticato dell'ala sud sono probabilmente votivi e attribuita a Stefano da Pandino. 
In epoca successiva questa dimora campestre venne fortificata con l'aggiunta dei tivellini e la creazione di un fossato perimetrale esterno, data la necessità della Signoria degli Sforza, prima, e di Ludovico il Moro, poi, di contenere le mire espansionistiche della Repubblica Veneta. In seguito divenne possedimento di diversi feudatari, tra i quali i Benzoni di Crema, Sforza, S.Severino, Lanriani e per ultimi i d'Adda che divennero marchesi di Pandino e tennero il feudo per quasi quattro secoli, utilizzando il castello come azienda agricola.  
Questo Castello, costruito relativamente in fretta e con materiali facilmente reperibili, nonostante soventi opere di manutenzione, giunse nel secolo scorso ad un grave stato di degrado con l'abbattimento parziale di due delle quattro torri angolari, dovuto ai guasti causati da un incendio.  Successivamente appropriati interventi ne hanno fatto uno dei castelli meglio conservati della Lombardia. 
Acquistato dall'Amministrazione Comunale nel 1947 dai discendenti dei marchesi d'Adda, oggi è sede del Municipio, della Biblioteca Comunale e del Convitto della Scuola Casearia.  Con i restauri effettuati nei primi anni '70 sono tornati a noi bellissimi affreschi del tardo Rinascimento: decorazioni con fiori e frutta, raffigurazioni della realtà circostante e una apprezzabilissima iconografia religiosa.