Sorto probabilmente, in epoca longobarda, come fortilizio isolato, a difesa ed a controllo del territorio, il castello subì nei secoli successivi, trasformazioni e ampliamenti.

Infatti alcuni secoli più tardi, il castello divenne la sede del feudatario ed intorno ad esso si andò formando il primo nucleo del borgo medievale, che darà vita all'attuale centro abitato. Le antiche denominazioni di vicoli e piazzette della Cassano medioevale sono tuttora in uso.

A partire dal 1445, quando Re Alfonso d'Aragona vendette al nobile Garcia I Cavaniglia i feudi di Montella, di Bagnoli Irpino e di Cassano Irpino, il castello prese il nome di
Palazzo Baronale.