La sua ubicazione è sulla cima di un colle, poco a sud-est della frazione di Poggi del Sasso.
Il complesso sorse come castello in epoca medievale ed era originariamente un possedimento dell'abbazia di San Galgano presso Siena, che controllava contemporaneamente anche il non lontano castello della Sabatina.
In seguito, la struttura venne trasformata in un convento, che andò sviluppandosi presso un'antica pieve rimasta in funzione almeno fino alla fine del XIV secolo.
Successivamente, la struttura divenne proprietà privata e, nel tardo XVII secolo, venne ristrutturata dai marchesi Patrizi che la trasformarono in una caratteristica fattoria fortificata.
Il castello di Colle Massari, che attualmente è sede di una rinomata e prestigiosa azienda agricola, si presenta come una struttura rurale fortificata, il cui aspetto è stato prevalentemente conferito dai lavori di restauro avvenuti durante il XVII secolo.
Il complesso si sviluppa su tre corpi di fabbrica disposti su altrettanti lati attorno ad un cortile interno a pianta quadrangolare, a cui si accede attraverso una caratteristica porta ad arco che si apre lungo la cortina muraria che chiude il lato privo di corpi di fabbrica.
Ad ogni angolo è presente una torre, che in passato svolgeva funzioni di avvistamento. Delle quattro torri, due si sono ben conservate, mentre le altre due hanno subito alterazioni: della torre sud-orientale, che crollò nel corso del XIX secolo a causa di uno smottamento del terreno, si conservano soltanto le tracce.
La cappella di Santa Marta costituisce la cappella gentilizia ed è situata all'interno del castello; la sua costruzione avvenne nel XVII secolo, andando a sostituire la più antica e scomparsa pieve di Sant'Ippolito a Martura.