Il castello é di origine antichissima, già citato nel 1077 quando Arrigo IV lo confermò agli Estensi che lo tennero mediante i loro subfeudatari Moregnano. Passò quindi ai Malaspina sotto i quali, di divisione in divisione, arrivò a condividere per moltissimi anni il governo e la sorte del vicino Castello di Monti, e come questo venne adattato a residenza signorile di campagna, con minor fortuna giacché il tempo lo ha rovinato.

Nel 1355,  i figli di Opizzone Malaspina, Ferdinando e Azzone, opereranno una ulteriore divisione dei beni paterni: Licciana, Panicale e terre immediatamente annesse toccano a Federico il quale farà di Panicale il centro del suo piccolo dominio che segue le sorti del feudo di Monti al quale é annesso per divisione ereditaria.

Il Branchi così lo descrive: "Il castello di Panicale fu l'antico capoluogo che situato in monte cedè preso la preminenza all'altro di Licciana, il quale posto in pianura in vicinanza del fiume o torrente Taverone, costituendo in principio una semplice rocca, ebbe in brevissimo tempo, e quasi che per incanto, all'intorno il paese che dal nome stesso della fortezza fu intitolato "

Assaltato e conquistato dai Genovesi nel 1449, Monti restò 14 anni sotto la signoria dei Campofregoso che cedette agli Este di Ferrara per poi tornare ai Malaspina che intrapresero immediatamente opere di ampliamento e rafforzamento delle strutture murarie. 

Nel 1500, in seguito al nuovo assetto territoriale della Lunigiana, Monti fu incorporato nella circoscrizione del marchese Giovanni Spinetta Malaspina insieme a Licciana Nardi, Panicale, Bastia, Terrarossa, Poedenzana e Suvero.

Dopo soli 24 anni di pace il castello fu espugnato dal condottiero Giovanni dalle Bande Nere. Tornato ai Malaspina, nel 1638, alla morte dei Spinetta, il feudo si smembrò.

Nell'anno 1650 i Marchesi Giulio Cesare ed Orazio, un pò per convenienza ed un pò per pressioni ricevute, offrirono "in accomandigia" al Granduca di Toscana i loro territori.

Accomandigia: Patto col quale, nel Medioevo, un Comune od un Signore si mettevano sotto la protezione di un altro Comune o di un altro Signore.

Era difficile ai signori di Licciana vivere tranquilli senza una sicura e potente protezione, nel 1704 il Marchese Iacopo Antonio, una volta ereditato il feudo, si rivolge ancora al governo fiorentino per chiedere che gli fosse almeno "continuata la protezione già concessa e insieme con essa la pensione vitalizia che dalla Camera Granducale godeva". 

Il Branchi assicura che la risposta del Granduca fu positiva poiché "il suo feudo in virtù del passo di Rigoso (passo del Lagastrello) era considerato posto importante per la Toscana".