Un castellum du Haut-Empire était implanté à Saint-Côme. Une voie romaine passait à proximité.
L’église a été construite dans la première moitié du XIIème siècle pour un prieuré qui dépendait de l’abbaye bénédictine de Clairac. Ce prieuré a été cité au XIVème siècle dans une lettre du pape Clément V.
Un clocher-pignon avec deux baies campanaires a été ajouté en 1644. En 1896 des fouilles sont entreprises à l’emplacement du porche et du clocher-pignon du XVIIème siècle qui sont démolis pour construire l’allongement de la nef et le clocher actuel. Ces fouilles ont permis de trouver des fûts de colonnes et un chapiteau en marbre blanc.
L’église Saint-Côme a été inscrite au titre des monuments historiques en 1925.