Un premier château est cité dans le saisimentum, prise de possession du roi de France sur les seigneuries du comte de Toulouse, en 1271, après la mort d’Alphonse de Poitiers et de Jeanne, comtesse de Toulouse, sans postérité.
La seigneurie de Frégimont appartient aux Montpezat quand Amanieu de Montpezat s’en empare en 1418. À la fin du XVIIème siècle, elle devient la propriété de la famille de Lusignan.
En 1769 la seigneurie est achetée par Jean-Pierre Villate de Lagrave, avocat et notable Bordelais. Jean-Pierre Villatte est marié à Louise de Secondat, petite fille de Montesquieu. Le château est alors décrit comme étant en ruine, avec encore une tour servant de prison, une grange, des écuries, chai, four, puits et basse-cour, entourés de murs et fossés.
Le château a été inscrit au titre des Monuments Historiques le 23 septembre 2008.