1247 roku wzmiankowany jest
w okolicy obecnego Łabiszyna gród. Nie jest znana jego lokalizacja, ale najprawdopodobniej nie było to miejsce gdzie potem wzniesiono zamek. Został on zbudowany
w 1376 roku na południowy-wschód od miasta, bliżej Noteci, naprzeciwko obecnego kościoła parafialnego stojącego po drugiej stronie rzeki. Zamek ufundował Andrzej
z Łabiszyna herbu Prawdzic.
W połowie XV wieku wojewoda gniewkowski i brzesko-kujawski Maciej
z Łabiszyna zamek prawdopodobnie rozbudował. Miasto i zamek były kolejno własnością: do 1595 roku Leszczyców, którzy potem zmienili nazwisko na Kościeleccy, do 1619 roku - Czarnkowskich, do 1644 roku - Rudzińskich, kolejne pięć lat - Opalińskich, potem do 1764 roku - Gembickich. Przed drugą wojną światową panowali tu Skórzewscy.
Nie pozostał ślad po zamku, nie zachowały
się również żadne historyczne wzmianki o jego wyglądzie. Można jedynie zakładać, że był wzniesiony
z cegły i otoczony fosą połączoną
z Notecią.