Gården har senare ägts av bönder. I början av 1600-talet kom den i adlig ägo, från Maaneskiöld över till släkten Bagge. Peder Bagge d y tvangs genom ekonomiska svårigheter att pantsätta hela egendomen till Margareta Hvitfeldt på Sundsby säteri.
Den nuvarande huvudbyggnaden, Torreby slott, uppfördes 1887 av dåvarande ägaren grosshandlare Nils Georg Sörensen. Slottet har utformats efter engelska ideal där också parken med sina väl skötta gräsmattor, ädellövträd och mjukt formade grusgångar är en viktig del av anläggningen. Här fanns en gång stora fruktodlingar. En del av området är nu golfbana.

