♜  La ciudad de Gaillon fue un territorio fronterizo, disputado a lo largo de toda la Edad Media, entre el ducado de Normandía y el reino de Francia; ya en el siglo XI se tiene constancia de un primer castillo ducal. El lugar pasó a formar parte de la corona de Francia mediante un tratado en 1195; posteriormente pasó por manos de varios propietarios antes de que, en el siglo XIII, el rey Luis IX lo vendiera al arzobispo de Ruan, quien lo convirtió en su residencia de verano. Pero los conflictos entre los reinos de Francia e Inglaterra se reanudaron y el castillo volvió a quedar en estado de asedio y defensa; finalmente, su demolición fue ordenada en 1424 por el duque de Bedford.

El castillo actual fue construido sobre estas ruinas a partir de 1455 por el arzobispo de Ruan, que quería construir un palacio italiano. De este modo, convirtió a Gaillon en el primer castillo renacentista de Francia. Gaillon fue embellecido y ampliado a lo largo de los años, y posteriormente vendido durante la Revolución.

​
Posteriormente se convirtió en centro de detención (1812-1901), cuartel de guarnición y centro de entrenamiento militar (1901-1925), antes de que el Estado lo adquiriera en 1970, comprometiéndose desde entonces a restaurar y recuperar el castillo.