1473 i 1475 roku wzmiankowana jest wieża obronna
w Potoku, wtedy wieś była własnością Wojtka i Marcina herbu Śreniawa piszą
cych się z Potoku. Prawdopodobnie wieża wzniesiona została znacznie wcześniej.
W 1852 roku prawdopodobnie
w miejscu właśnie tej średniowiecznej strażnicy wzniesiono Wincenty Krasiński wzniósł pałac, który później przeszedł
w ręce Raczyńskich.