Le Fort du Portalet, ne pas confondre avec le Col du Pourtalet, a été édifié au sommet d'une falaise au XIXe siècle pour permettre la surveillance des passages entre la France et l'Espagne.
Lorsque l'armée a déserté les lieux, le fort est devenu un centre de vacances, puis le Maréchal Pétain le transforme en prison.
En 1941 le Maréchal y expédie Léon Blum, Paul Reynaud, Georges Mandel et Edouard Daladier.
Mais l'histoire est parfois cruelle... en 1945, c'est le Maréchal Pétain, lui-même, qui sera incarcéré dans ce fort qu'il avait fait aménager pour ses meilleurs ennemis.
Il y restera trois mois avant d'être transféré sur l'Ile d'Yeu où il finira sa vie en 1951.
En 2013, la Communauté de communes de la vallée d'Aspe a reçu le Prix Vauban des mains du président de l'Association Nationale Vauban, Alain Monferrand. Ce prix qui récompense, soit des recherches universitaires, soit des restaurations, a été décerné pour le travail de sauvegarde et de réhabilitation du Fort du Portalet, acquis en 1999 par la collectivité.