Według tradycji istniał tu na początku wieku XII gród, wzniesiony przez Bolesława Krzywoustego, jako twierdza nadgraniczna od strony Łużyc i Czech, być może na miejscu jeszcze starszych umocnień.
Zamek murowany stanął przed rokiem 1291 za panowania Bolka I, księcia świdnicko-jaworskiego.
W XIV wieku zamek jeleniogórski wielokrotnie wymieniany jest
w dokumentach wystawianych przez synów Bolka I. Podobnie jak wiele innych zamków, po przejściu księstwa świdnicko-jaworskiego
w ręce Luksemburgów czeskich, zamek zostaje oddany
w lenno możnym rodom rycerskim. był to zamek stojący
z dala od miasta (założonego
w roku 1288) i nie związany
z jego fortyfikacjami.
W roku 1428 został
zajęty przez wojska husyckie i
w roku 1430 zniszczony przez mieszczan jeleniogórskich. Po dawnym zamku pozostały na górze, zwanej wzgórzem Bolesława Krzywoustego, ślady murów oraz umocnień ziemnych na zachodnim stoku.