Les origines du château de Beauvoir-sur-Mer sont certainement antérieures à l'an 1060. Construit notamment avec les pierres de délestage laissées sur les bordures des ports de la ville par les navires venus charger du sel au cours du haut moyen âge, le château reposait sur des dépôts huîtriers amoncelés par la main de l'homme entre les IXème et XIème siècles.
Au fil des siècles, le château s'agrandit, notamment avec Olivier V de Clisson et les seigneurs de Rohan. Dès la fin du XIVème siècle, Beauvoir-sur-Mer était déjà qualifié de ville du fait que le château-fort était devenu une forteresse de grande importance durant la Guerre de cent ans qui opposa les royaumes de France et d'Angleterre.
L'édifice, dont la cour mesurait entre 50 et 60 mètres de côté, était de forme carrée, flanqué à chaque angle de quatre grosses tours. Il était entouré de larges douves qui permettaient plus facilement aux occupants de contenir un siège comme par exemple lors des guerres de religions ou l'on en dénombre deux : celui du comte de Sanzay en 1569 qui contraint la garnison du seigneur protestant, René II de Rhoan, à se rendre faute de vivre, et celui qui se déroula en octobre 1588 lorsque Henri de Navarre, à la tête des huguenots, reprenait le château aux catholiques. En 1610, Louis XIII, fils de Henri IV, décida de soumettre les places protestantes du Poitou. Beauvoir-sur-Mer, ainsi que La Garnache et Talmont résistèrent à sa domination mais finalement le 3 juillet 1621, le maréchal de Praslin, au nom de Louis XIII, prenait possession du château-fort de Beauvoir. En 1689, ne voulant pas que les forteresses du littoral tombent entre les mains des anglais ou des hollandais, et estimant ne pas disposer d'assez de troupes pour les défendre face à d'éventuelles invasions, Louis XIV décida de faire raser toutes les forteresses du littoral. Le château-fort de Beauvoir-sur-Mer ne fut pas épargné.