Jan
z Czarnkowa nie wspomina o żarnowieckim obiekcie na liście wzniesionych przez Kazimierza Wielkiego zamków. Jan Długosz pisze natomiast, że: "Wspomniana przeto królowa Polski Adelajda, która była strzeżona jak jaka wygnanka
w zbudowanym przez króla Kazimierza
z bardzo pięknej, wypalonej cegły zamku
w Żarnowcu". Zamek został zniszczony
w 1524 roku
w czasie wielkiego pożaru
miasta. Wtedy należał on do starosty żarnowieckiego Andrzeja Gnoińskiego.
W połowie XVII wieku zamek wraz
z miastem został zniszczony przez najazd szwedzki.
Relikty założenia ulokowane są na lewym brzegu Pilicy, na północny zachód od rynku w Żarnowcu. Dziś jeszcze widoczne są częściowo zarysy fosy.
Prowadzone
w 1994 roku wykopaliska archeologiczne wykazały istnienie murowanych reliktów. Odsłonięto m.in. basztę narożną, którą wią
że się z najstarszą fazą zamku XIV-XV wiecznego.