Anticamente popolato da numerose famiglie nobiliari, Castel di Ieri era ricco di case signorili. A tutt'oggi, camminando lungo le strade del centro storico, è possibile ammirare ciò che resta di questi edifici dal ricco passato.
Palazzo Simonetto, prende il nome dalla via su cui sorge (Via Simonetti) e, insieme a Palazzo Gentile , è una tra le antiche dimore nobiliari del paese ed è un'abitazione privata, per cui è possibile visitarla solo dall'esterno.
Costruito nel corso del '300 per volere dei principi Sciarra Colonna, allora feudatari di Goriano Sicoli e Castel di Ieri, questo edificio è un ottimo esempio di casa gentilizia di epoca medievale.
Palazzo Simonetto è riconoscibile da una finestra detta "bifora" perché divisa da una colonna tortile (attorcigliata) nella parte alta della facciata e da tre portali in pietra, uno dei quali ha l'aspetto di una porta-bottega, nella parte inferiore.
Sempre sulla facciata dell'edificio è presente un affresco, quasi del tutto sbiadito a causa del tempio e dell'incuria, che rappresenta una Madonna benedicente con bambino e diversi elementi architettonici.
