Anticamente popolato da numerose famiglie nobiliari, Castel di Ieri era ricco di case signorili. Tuttoggi, camminando lungo le strade del centro storico, è possibile ammirare ciò che resta di questi edifici dall'opulento passato.
Oltre a palazzo Gentile, è interessante menzionare anche palazzo Simonetto, che prende il nome dalla via su cui sorge (Via Simonetti).
Costruito nel corso del '300 per volere dei principi Sciarra Colonna, allora feudatari di Goriano Sicoli e Castel di Ieri, questo edificio è un ottimo esempio di casa gentilizia di epoca medievale.
Casa Simonetto è individuabile grazie all'affresco sulla facciata dell'ingresso e che rappresenta una Madonna benedicente con bambino e diversi elementi architettonici.
Altri particolari, appartenenti all'edificio sono la bifora con colonna tortile nella parte alta della facciata e i tre portali in pietra, uno dei quali ha l'aspetto di una porta-bottega, nella parte inferiore.
