El castillo de San José fue construido entre 1776 y 1779, en la marina próxima a Arrecife, para avistar la llegada de piratas a la isla, y de paso, para dar trabajo a los lanzaroteños, especialmente necesitados tras las erupciones de mitad de siglo. El rey Carlos III mandó construir lo que la imaginación popular acabaría denominando "Fortaleza del Hambre". Su arquitecto Claudio Lisle la situó en los aledaños del puerto de Arrecife y posteriormente fue utilizada como almacén de pólvora.

Tras un siglo de abandono, César Manrique despertó en las autoridades el interés por recuperarlo y convertirlo en un Museo de Arte Contemporáneo, dentro de su politica de convertir Lanzerote en un destino turístico con atractivas ofertas de todo tipo, Para empezar, Manrique limpió el terreno, un descampado polvoriento y pedregoso, y diseñó una explanada frontal que pone de manifiesto la fuerza del edificio y que informa de la esencia de recinto artístico al castillo con la exhibición de algunas piezas de escultura moderna.

Al pie de los cimientos, ante el mar, constnryó un restaurante abierto al océano mediante una cristalera que ocupa todo el frontis. Los accesos al castillo son dos, uno en la parte superior, que da directamente a las salas de exposiciones tras traspasar un puente levadizo y otro que lleva al restaurante, a través de una escalera abrupta limitada por vegetación isleña. La fortaleza fue transformada por César Manrique en uno de los museos de Arte Contemporáneo más importantes del archipiélago canario, cuyos fondos muestran fielmente las corrientes artísticas y los movimientos vanguardistas del siglo XX. Las salas del museo exhiben pinturas de Tápies, Alechinski, Millares, Óscar Domínguez, Antonio González, entre otros. El castillo es escenario habitual de exposiciones itinerantes, conferencias, mesas redondas y encuentros de los gestores locales con los medios de comunicación para el anuncio de eventos de envezgadura.

El castillo contiene además un elegante restaurante con vistas al puerto de Naos y el muelle de Los Mármoles, con cocina intemacional y especialidades locales. Desde las lámparas a los asientos de cuero, cada pieza del mobiliario y la decoración füe seleccionada por el artista lanzaroteño para convectir el recinto en un espacio que es mucbo más que un simple restaurante. Hay que sugerir al visitante que no olvide bajar a conocer los servicios del restaurante Castillo de San José, una zona tan admirable como el resto del inmueble. Las cristaleras a nivel del mar, las plantas, la música y la luz a raudales convierten el cuarto de baño en toda una obra de arte.