De retour de Terre Sainte et en l'absence de Richard Ier, retenu prisonnier en Allemagne, Philippe II s'empare de la forteresse de Gisors en 1193 grâce à l'aide du capitaine de la place, Gilbert de Vascoeuil. Il en profite pour effectuer quelques remaniements et fait ériger la "Tour du Prisonnier".