Cette magnifique forteresse témoigne entre autres de la puisssance des comtes de Léon jusqu'au milieu du XIVe siècle. Outre le donjon qui domine la Penfeld, de nombreuses tours et bastions érigés du XIIIe au XVIIe siècle composent les impressionnantes défenses de l'ouvrage. Relique du premier château féodal, la tour Azénor (XIIIe) rappelle la tragique histoire de la fille du comte Even. On dit en effet que c'est ici que la jeune femme aurait été injustement emprisonnée.

Les faits se déroulèrent en 537. Epouse du comte Chunaire de Goëlo depuis à peine quelques mois, la jeune Azénor subissait continuellement les critiques acerbes de sa marâtre, la seconde femme de son père. Cette dernière ne manquait jamais une occasion de la calomnier et de porter le discrédit sur la nouvelle mariée. Elle fit tant et si bien qu'elle réussit à convaincre le comte de l'adultère de sa femme.

Fou de jalousie et se croyant déshonoré, il la fit ramener chez son père et emprisonner dans la tour qui porte son nom. Même de là, les gens, émus, l'entendaient prier pour ses propres bourreaux. Selon la sentence prévue, elle devait être brûlée vive pour avoir pêché. Mais, le jour en question, le feu ne voulut pas prendre. Elle fut alors placée dans un tonneau qui fut jeté à la mer. On dit alors qu'un ange l'accompagna, la protégeant contre vents et marées.

Elle accosta quelques mois plus tard sur la terre d'Irlande, ayant mis au monde un beau garçon qu'elle appela Budoc. Sa belle-mère, à l'approche de la mort, finit par avouer sa forfaiture. Le comte s'en alla alors par monts et par vaux, recherchant de pays en pays celle qu'il avait injustement condamnée. Débarquant en Irlande, il remarqua un jeune enfant, le vivant portrait d'Azénor. Ce dernier le mena alors à sa mère, devenue lavandière. Puis ils rentrèrent tous trois en Bretagne.

La légende dit aussi, selon une autre version, que Budoc préféra consacrer sa vie à Dieu dans un monastère irlandais puis que, fuyant les honneurs, il gagna la Bretagne sur une auge de pierre. On raconte qu'il débarqua sur le littoral de Porspoder -L'église est d'ailleurs placée sous son patronage- puis qu'un an plus tard il exerça son patronage à Plourin.
L'inspiration divine le mena ensuite jusqu'à Dol, où il tint une charge importante auprès de l'évêque Magloire pendant une vingtaine d?années.