Il Castello Cararrese costituisce uno dei più importanti beni storici, architettonici, artistici e militari di Padova. L'antico edificio sorge sull'area che un tempo ospitava il castello fatto costruire da Ezzelino III da Romano, tiranno della città dal 1237 al 1256, come perno difensivo della cinta muraria duecentesca. A costituirne la traccia più notevole è la Torlonga, la maggiore delle due torri dell'antico castello. Caduto il tiranno le fortificazioni furono abbandonate fino alla signoria dei Carraresi che fece ricostruire il Castello e fece dipingere le due torri a scacchi bianchi e rossi. Tutto il castello era decorato dentro e fuori e i restauri degli ultimi dieci anni eseguiti negli ambienti dell'osservatorio hanno consentito di riportare alla luce visibili tracce di vivo colore rosso e di bianco negli angoli più nascosti della Specola che su quel castello fu edificata. Il Castello venne collegato alla Reggia Carrarese dal traghetto alle mura, un passaggio sopraelevato che collegava i centri del potere politico e militare. Con la costruzione delle mura rinascimentali e del lungo periodo di pace di cui godette la città sotto il dominio della Repubblica di Venezia, il valore strategico del Castel Vecchio di Padova, come veniva nominato nel Settecento, venne meno.

Il nuovo Castello
La data e la paternità del nuovo castello trecentesco trovano la prima diretta conferma nel rinvenimento, avvenuto attorno al 1810, di un pozzo nel grande cortile interno al castello trasformata in carcere agli inizi dell'ottocento. In una delle pietre si ritrovò scolpito: 12 giugno 1374 l'illustre Francesco settimo dei Carrara, principi di Padova, costruttore di questo edificio. Nel 1990 fu rinvenuta una seconda firma dell'illustre principe sotto l'intonaco settecentesco con le iniziali FC, ovvero Francesco da Carrara.
I resti del Castello ebbero successivamente usi diversi e in particolare il Castello fu utilizzato come prigione fino al secondo dopoguerra.

La trasformazione in Specola aveva costretto l'architetto Cerato a restaurare le "fabbriche dirupate"; nella nuova casa dell'astronomo tutti i muri erano stati intonacati nascondendo i resti delle antiche decorazioni e l'antico scalone che portava alla torre e alle mura occidentali fu in parte modificato per necessità strutturali.
Un altra notevole testimonianza rinvenuta al primo piano è la decorazione di una parete con pappagalli. Francesco da Carrara aveva fatto decorare tutti gli ambienti del castello difensivo, dove si recava per visitare le truppe e dove poteva soggiornare e pranzare in una grande stanza rallegrata da numerosi pappagalli dipinti sui muri; dalle cronache apprendiamo anche come il suo copricapo fosse adornato con le penne degli esotici uccelli.
Anche al pianoterra della casa dell'astronomo sono state rinvenute decorazioni floreali in parte restaurate, mentre nella volta di quell'ambiente della torre dove nel pavimento si trovava il foro di accesso alle prigioni di Ezzelino, è stato riportato alla luce il grande carro, lo stemma dei carraresi. In questo ambiente ora è collocata la biblioteca dell'osservatorio.
Una testimonianza, rimasta integra nel tempo, è la Madonna con Bambino situata in un ambiente a nord della grande torre, lungo il percorso occidentale delle mura carraresi. I recenti restauri hanno confermato l'opinione che la Madonna trecentesca, da sempre visibile nei locali della Specola, non si trovasse all'interno di una cappella votiva, bensì fosse collocata all'aperto, all'interno della sommità della torretta difensiva sopra menzionata. Si tratta dunque dell'effigie di una Madonna collocata in un luogo dove poteva servire di protezione ed incoraggiamento per i soldati nel caso di attacco al castello.
Alla Specola dunque si trovano prestigiose testimonianze del Castel Vecchio di Padova. Non rimane nulla, invece, se non qualche testimonianza scritta, di un precedente castello con un alta torre detta Torlonga edificato nel decimo secolo a difesa della città ai tempi delle invasioni degli Ungari. Ma quell'edificio e la Torlonga non esistevano più quando Ezzelino da Romano decise di costruire il suo castello: è probabile che fossero crollati durante il disastroso terremoto del 1117 che mandò in rovina molti prestigiosi edifici, non solo a Padova, ma in quasi tutta la pianura padana.