Il Castello di Ruffano, situato nel punto più alto del paese, fu edificato da Rinaldo Brancaccio nel 1626 su una preesistente rocca medioevale. L’edificio si presenta privo di un apparato di difesa, rispecchiando perlopiù i canoni architettonici di un grande palazzo baronale costruito come dimora signorile. A caratterizzarne la struttura è la splendida loggia, voluta da Carlo Brancaccio nella seconda metà del 1600, che unisce il palazzo baronale alla Chiesa Matrice; grazie alla “Loggia Brancaccio” i nobili del tempo potevano assistere alle funzioni religiose attraverso un’apposita finestra che affacciava direttamente all'interno dell'edificio sacro.  Nei primi anni dell'800 Nicola Ferrante, come Carlo Brancaccio aveva fatto per Piazza del Popolo, arricchisce il fronte del castello in Piazza S. Francesco col Portico dei Mercanti, sovrastato dalla "Loggia Ferrante". La facciata del castello è impreziosita da diversi bassorilievi con simboli di guerra, scudi, lance e cannoni, mentre il portale reca lo stemma della famiglia Ferrante. Nel grande atrio spicca la statua del principe Brancaccio sotto il cui dominio il feudo raggiunse il massimo splendore.