Bâti sur l'emplacement de l'ancienne fabrique de briques fondée par les Anglais en 1662.
Bangor signifie monastère (regroupement) et doit son nom à la christianisation de l'île par les gallois au Ve siècle. Le nom de Bangor est celui de trois localités du Pays de Galles et de deux d'Irlande.
Les émigrés bretons arrivent du pays de Galles à la fin du Ve siècle et donnent son nom à Bangor. Bangor est desservi d'abord par un moine, lorsque Belle-Ile est donnée en 1004 à l'abbaye de Redon, puis cédée en 1029 à celle de Sainte-Croix de Quimperlé. En effet, après l'invasion normande, Bangor devient possession, avec l'ensemble de l'île, des moines de l'abbaye de Sainte-Croix de Quimperlé. Vers 1029, le quartier de Bangor devient paroisse. C'est à Bangor que réside le prévôt ecclésiastique député par l'Abbaye de Sainte-Croix. Le prieuré de Quimperlé, non localisé à ce jour, est saccagé en 1313 par les Anglais.
En 1454, la bulle Nicolas V excommunie les pirates qui ravagent Belle-Ile à savoir "des églises et plusieurs lieux saints séculiers et
réguliers" (ecclesias quoque et alia pia loca soecularia et regularia). Belle-Ile est échangée en 1585 au profit du duc de Retz. Relevant du Saint-Siège, la paroisse de Bangor est annexée au diocèse de Vannes en 1666.
En 1761, la ville est occupée par l'armée anglaise et en 1766, trente deux familles d'Acadiens s'installent sur le territoire de la paroisse.
Bangor est érigé en commune en 1790 et dépend alors du canton du Palais et du district d'Auray.