La Repubblica Fiorentina non mancò in seguito di assoggettare Linari al suo controllo e questo fu l'inizio del suo declino. Nel 1432 il castello fu assediato, espugnato e gravemente danneggiato dalle truppe senesi di Filippo Visconti che uccisero tutti i prigionieri e portarono nei bordelli di Siena le donne più belle. Niccolò da Tolentino lo riconquistò quasi subito facendone centro di un suo feudo. Nel 1500, a seguito dell'unità granducale, l'importanza strategica di Linari venne meno. Anche le famiglie Capponi, i nobili Mancini Ridolfini e quella dei Baldi sono da annoverare fra i proprietari successivi.
Nell'ottocento il castello è stato restaurato e fortemente rimaneggiato con aggiunte neogotiche, secondo il gusto dell'epoca che purtroppo non ha risparmiato le strutture originarie medievali costituite dalla 'casa del signore' con torre e altri edifici rurali distribuiti lungo la via centrale lastricata, oggi solo in parte percorribile, che univa le scomparse porte di accesso a Nord chiamata Porta a Salti [quella che vediamo oggi è una ricostruzione medievaleggiante dei primi del '900] e a Sud, probabilmente chiamata Porta al Perone. Le mura, di forma ellittica, sono praticamente scomparse, fatta eccezione per due torri e la base di una terza diruta. Tutto l'insieme versa oggi in un grave stato di abbandono e degrado.