La tradition rapporte qu'au VIème siècle, St-Martin de Vertou aurait évangélisé l'île et que les moines de St-Colomban venus de l'abbaye irlandaise de Bangor auraient fondé le 1er monastère dédié à St-Hilaire. La fondation fut ruinée au IXème siècle par les Normands.

Au Xème siècle, des moines de Marmoutier (près de Tours) et de St-Cyprien de Poitiers édifient un nouveau monastère dit de St-Etienne sur les hauts de Ker-Châlon et contribuent à la construction de l'église paroissiale de St-Sauveur.

            Du XIVème au XVIIIème, l'Ile d'Yeu, seigneurie puis marquisat au XVIIème, appartient successivement à de grandes familles qui déploient, selon les époques, un système de défense destiné à protéger la population des nombreuses incursions étrangères (espagnoles, hollandaises, anglaises). Mentionné en 1356, un château fort bâti sur un rocher séparé de la falaise Sud par un large fossé subsiste encore de nos jours.

En 1785, Louis XVI rachète la seigneurie insulaire où l'exemption d'impôt royal notamment des taxes sur le sol et le tabac donnait lieu à des pratiques de contrebande devenues considérables.
Pendant la révolution, les insulaires ne prennent pas part au soulèvement insurrectionnel vendéen.