i
erwsza wzmianka o zamku
w Goraju pochodzi
z 1377 roku, kiedy to Ludwik Węgierski nadał braciom Dymitrowi
z Klecia i Iwanowi castrum oraz klucz ośmiu wsi. Zamek
dostał się w ręce Dymitra, który odtąd
pisał się z Goraja. Długo należał do potomków Dymitra, ostatnia wzmianka poświadczająca istnienie fortalicium pochodzi
z 1481 roku, ale można przypuszczać że jeszcze na początku XVI wieku istniejący zamek był
w rękach wojewody lubelskiego Mikołaja Firleja.
Nie prowadzono niestety badań, które wniosłyby trochę światła
w historię gorajskiego zamku. Prawdopodobnie istniał on na północ od wsi, na cyplu nad doliną Białej Łaby gdzie do dziś widać pozostałości zabudowań dworskich oraz resztki ziemnych fortyfikacji.