El antiguo castillo de Passanant se encuentra situado en lo más alto de la población, desde donde se observa una maravillosa panorámica del Prepirineo, la llanura del Urgell y de la Segarra.
Se levanta sobre una piedra de roca caliza que permitía una correcta cimentación del edificio.
De las prospecciones arqueológicas realizadas se puede afirmar que el castillo de Passanant era una construcción de una cierta entidad, una masía fortificada o castillo palacio de ciertas dimensiones, destinado al control del territorio, centro de explotación agrícola, cobro de tributos y otros derechos, y alojamiento del señor o de su representante. No es, por tanto, asimilable a los tipos de torre fortificada como lo son los ejemplos del término municipal de La Pobla de Ferran, Glorieta o la Sala de Comalats.
El castillo fue declarado «Monumento» en 1949 y catalogado como Bien Cultural de Interés Nacional en 1985. En 2008 se hicieron obras de restauración y adecuación del espacio, creando unas plazas y un recorrido muy visitado por sus espléndidas vistas .
El castillo puede visitarse todo el año. La visita es libre.