Fra il XV e il XVI secolo si registra una significativa espansione edilizia verso Sud.
A quest’epoca risale l’edificazione del torrione d’avamposto del castello di Zabut, che, nel secolo successivo, si troverà al centro dell’abitato. Il massiccio torrione del castello venne poi trasformato in palazzo per civile abitazione adattando la struttura quadrangolare alle tipologie edilizie ed esigenze abitative signorili : atrio e cortile interno con scala addossata di antica tradizione catalana. Si ricorda come primo proprietario, fra il XVI e il XVII secolo, il sacerdote Don Bartolo Truncali. Successivamente appartenne ai Panitteri, poi agli Amodei.
Il nome del palazzo si lega a Don Giuseppe Panitteri (1767-1828) Ciantro della Cattedrale di Agrigento, procuratore generale del Marchese della Sambuca, antiquario e collezionista, da Goethe a Schinkel, al Politi, a von Klenze, la sua residenza-museo presso San Nicola ad Agrigento, fu meta di intellettuali, cultori, viaggiatori al tempo del Grand Tour, alla fine del Settecento. Il fronte del palazzo Panitteri si apre sulla strada con il modulo del portale sormontato dal balcone, ricorrente nella architettura palaziale del XVIII secolo. Al piano superiore la facciata è scandita dalla sequenza di finestre con mostre plasticamente decorate.
All’opera di maestranze locali si deve la ricca ornamentazione fitomorfa a intaglio lapideo di repertorio tardo barocco come preludio al gusto rococò, sensibile alla decorazione minuta e e ricca di preziosismi.
Gli ambienti interni del piano nobile si snodano ai lati del vano centrale e presentano volte a crociera; di particolare interesse la raffigurazione della volta nel salone delle feste raffigurante l’Allegoria della musica e della danza, databile alla seconda metà del XIX secolo e partecipe di quel gusto eclettico ereditato dalla temperie neoclassica e preludente al liberty, nel simbolismo articolato delle figure femminili (le muse, le maschere teatrali), e nel trionfo della decorazione floreale a corredo degli strumenti musicali e degli angeli musicanti; una teoria di fregi decorativi neo-cinquecenteschi nella cornice alla base della volta, molto probabilmente databile al XVIII secolo e creata sulla traccia di una preesistenza, ripropone inoltre le grottesche, i grifoni affrontati e le ricche rocailles che rimandano alla originaria vocazione tardo-rinascimentale e barocca dell’edificio. Nel salone l’illusionistica decorazione della volta, seppur lacunosa, rivela un impegnativo impianto scenografico che rimanda alle decorazioni a fresco del tardo-barocco palazzo Nicolaci a Noto).