Defineix l’skyline de Vallfogona de Riucorb el seu castell, declarat bé cultural d’interès nacional. Fou un castell més de la cadena fortificada que protegia les terres de la marca o frontera del comtat de Manresa abans de la conquesta de Lleida i Tortosa. Degué ser bastit al s. XI, en el moment en què es conquerí l’indret. La primera notícia és del 1116.
S’hi allotjaren tres tipus de senyors feudals. El primer fou en Gombau d’Oluja i la seva esposa, senyor de molts pobles de l’alta vall del Corb. Els templers de Barberà crearen al final del s. XII la sotscomada de Vallfogona. Més tard va passar els hospitalers, sent centre de la Comanda de Vallfogona i membres dependents. A l’exterior destaquen algunes finestres antigues com la llinda de 1579 del comanador Rafael Xammar i d’Agullana, que coincideix amb l’escut dels tres lleons d’Anglaterra.
Tenia muralles emmerletades i una gran torre angular a la que s’accedia per una barbacana fent pontet. En els millors temps hauria estat un grandiós casal aïllat, emmurallat i resguardat per un baluard amb rampa i coronat de merlets. A més, contenia bons cellers i casals espaiosos per a acomodar-hi els fruits del delme dels senyors i fúnebres presons, emblema de jurisdicció dels senyors.
Actualment el castell no és visitable, ja que és un habitatge.
