Au cours du XIIIème siècle, les Templiers issus de la Commanderie d’Argentens (près de Nérac) s’installèrent au Port-Sainte-Marie et y bâtirent une maison et une église suite à une donation de terrains d’un habitant de la ville qui intègre l’Ordre. Un prieuré doté d’une maison (tour du prieur), de divers bâtiments conventuels, d’une maison pour le Commandeur se développa tout au long du XIIIème siècle. Et ce qui ne devait être qu’une chapelle se transforma en une église aux dimensions imposantes, avec sa haute tour de clocher et ses grandes ouvertures.