Il nucleo originario risale al 1704, stiamo parlando della parte centrale dell’attuale costruzione a U, rivolta verso il centro della città. Fu costruita per volere di Antonio Francesco Manni, un ricco borghese dell’epoca, che fece realizzare il palazzo per poter controllare da vicino i terreni coltivati nei dintorni di cui era proprietario. Passò poi alla famiglia Taverna. A inizio del secolo scorso la villa fu sottoposta a un significativo rimaneggiamento, una parte – quella laterale – fu demolita. La ristrutturazione che ne seguì portò alla disposizione del complesso monumentale degli edifici attorno a un cortile centrale.