Beauvoir-sur-Mer était à l’origine une cité Gallo-Romaine qui se nommait Ampennum. Ampennum était à cette période une importante villa, située en bord de mer, avec ses salines, ses édifices, ses maisons, ses champs, ses vignes, ses colons, ses serfs etc…

De plus, après la soumission définitive de la Gaule par Jules César en 52 avant Jésus-Christ, l’une des préoccupations premières des romains fut de développer les moyens de communications entre les différentes villes du pays afin de pouvoir améliorer le commerce entre celles-ci. Ainsi, Ampennum se retrouva le point d’aboutissement de trois voies romaines venant de Nantes, de Saintes et de Bourges. L’apport des romains fut considérable et pendant cette période la Gaule allait véritablement se développer dans tous les domaines. On retrouve aujourd’hui dans la régions quelques traces de ce riche héritage laissé par cette civilisation comme par exemple à Saint-Jean de Monts, ou l’on retrouva en 1754 un anneau d’or et plus de 200 pièces ou médailles à l’effigie d’empereurs romains allant de Gallus (194-253) à Posthume (258-267). Cependant, on a tout de même peu de trace sur ce que fut Ampennum avant le VIIème siècle et la création d’un prieuré par Saint-Philbert dans la cité. Ampennum devait être une possession personnelle de l’évêque de Poitiers Ansoald ou alors un ancien domaine de l’Eglise de Poitiers puisque lorsque Ansoald indique dans sa chartre l’origine des villas qu’il donne à Philbert dans cette deuxième moitié du VIIème siècle, il ne le fait pas pour Ampennum. D’un point de vue étymologique, le radicale « pen » dans le nom de la ville veut certainement dire pointe ou cap, ce qui ne serait pas étonnant compte tenu de la position géographique d’Ampennum à cette époque.

Dès la fin du VIIIème siècle, les côtes occidentales, et notamment les côtes qui sont aujourd'hui vendéennes, vont devoir faire face aux attaques des barbares venus des pays du Nord. Charlemagne, pour faire face à cette grave menace, prépare une flottille prête à riposter.
En 820, treize bateaux Vikings s'installent dans l'estuaire de la Seine mais sont repoussés par le dispositif préparé par l'empereur. Les Normands, défaits, décident alors de se rabattre sur l'île de Bouin où ils ravagent tout sur leur passage, pillant les édifices religieux qui possédaient de nombreuses richesses, et notamment le prieuré Saint Philbert de Beauvoir-sur-Mer qui fut également brûlé. Ils retournèrent alors dans leur pays avec un butin considérable.
Les Normands ne réalisaient leurs expéditions que lorsque le printemps arrivait et repartaient avec l'automne et leur trésor. A cette époque, aucune force militaire dans la région n'était capable de leur résister et les cités comme Ampennum devaient subir leurs attaques. En juin 830, l'île de Her (Noirmoutier) fut ravagée et devant le danger qui augmentait au fil du temps, les moines commencèrent à avoir peur, notamment pour les reliques de Saint Philibert. Ainsi, le 7 juin 836, les moines de l'abbaye de Her que Saint Philbert avait créé quelques 160 années auparavant, quittèrent l'île en direction de Tournus en Bourgogne.
Leur première escale fut Ampennum, et du 7 au 9 juin, l'église du prieuré put accueillir les saintes reliques. Ce fut une sage précaution car les Normands ne stoppèrent pas leurs attaques sur les côtes atlantiques et pire encore ils commencèrent à rentrer dans les terres. Face à cela, Charles le chauve, petit-fils de Charlemagne, roi de Francie Occidentale de 840 à 877 et empereur d'Occident de 875 à 877, se montra inventif dans sa lutte. Il prit différentes mesures telles que la restauration des enceintes fortifiées, la construction de ponts sur les fleuves afin de bloquer l'accès des bateaux normands, ou encore la corruption de certains normands pour provoquer des luttes intestines. En 911, Charles le Simple tenta de mettre un terme à ce problème avec le traité de Saint-Clair-sur-Epte.
Le roi offrit un territoire aux Normands (aujourd'hui appelée la Normandie) et en échange, ces derniers se convertirent et reçurent le baptême. Néanmoins, malgré cet accord on retrouve des traces d'incursions viking jusqu'au début du XIème siècle sur les côtes vendéennes.