Del castillo de Gorafe poco se conserva: puede que dispusiera de dos recintos, estando el inferior localizado a media ladera, pero dado que el monte de arenas y limos se encuentra muy erosionado, no han quedado restos de murallas, excepto un trozo al sudoeste aprovechado en otra construcción. Del primer recinto quedan restos de torres de mampostería al sur y sudoeste, así como un gran trozo de la muralla del lado sudeste, construido en el mismo material y que conserva en buen estado el enfoscado de mortero de cal que lo recubría, dejando ver sus mampuestos. La escasa cerámica de su superficie data su construcción, como muy temprana, en época nazarí. Tras la conquista cristiana del pueblo, tanto el castillo como las tierras circundantes fueron entregados a don Álvaro de Bazán el Viejo, que las vendería poco después.
Actualmente, la conservación del castillo es mala como consecuencia de la erosión y degradación del cerro en el que se asienta, hasta el punto de que de vez en cuando hay desprendimientos de rocas y de parte de los restos conservados sobre las cuevas y casas del pueblo. En lo alto del cerro, en el centro de los restos que quedan, hay una imagen sobre pedestal de un Sagrado Corazón.
