Cette chapelle a été construite ou plutôt reconstruite au XIVe ou XVe siècle dans un style gothique méridional.
On pense en effet, sans en avoir la preuve formelle, qu’elle aurait été détruite par Simon de Montfort lors de la croisade des Albigeois au XIIIe siècle.
Certains avancent même que cette chapelle était celle d’un village situé tout à proximité et détruit dans les mêmes circonstances et dont ne subsisterait que le cimetière que l’on traverse pour y accéder.
Les habitants se seraient réfugiés et établis sur l’emplacement de l’actuel Villeneuve (villa nova) en bordure d’un escarpement rocheux, donc plus facile à défendre.
En 1630, lors d’une épidémie de peste sévissant sur tout le plateau villeneuvois, les habitants de la commune se tournent vers Marie la suppliant d’être épargnés, car la Vierge de la Gardelle est le « salut des infirmes » comme le mentionne l’écusson que sa statue tient à la main : salus infirmorum, peut-on y lire.
Ayant été exaucés et pour la remercier, ils firent le serment de venir chaque année en pèlerinage le lundi de Pentecôte
En 1653, le curé de la paroisse rapporte de Rome une plaque en marbre et la fait placer dans le chœur où elle est encore. Cette plaque atteste que cette chapelle était dédiée à Marie Immaculée et que la paroisse était confiée à sa garde (comme le mentionne l’inscription en latin gravée sur cette plaque).
Mais la tourmente révolutionnaire entraîne la vente de la chapelle comme bien national en 1793. Elle est transformée en grange. Mais ne pouvant plus honorer leur serment, les habitants de Villeneuve se rendent en pèlerinage à Notre-Dame de la Drèche (à une bonne dizaine de kilomètres quand même, si ce n’est plus !) et curé en tête.
En 1830 la municipalité rachète la chapelle et la fait restaurer.
En 1836 le Conseil municipal adresse une supplique à l’archevêque d’Albi, lui demandant de bien vouloir permettre la réouverture de la chapelle de Notre-Dame de la Gardelle afin, dit la supplique, « de pouvoir y transporter notre vœu à partir de ce jour, et nous délivrer par ce moyen des inconvénients du pénible voyage à Notre-Dame de la Drèche ».
La réponse ne se fait pas attendre. Une semaine après, Monseigneur l’Archevêque répond, « considérant les inconvénients que peut entrainer pour certaines personnes le pèlerinage à Notre Dame de la Drèche, nous consentons volontiers que la procession que monsieur le curé conduisait tous les ans à cette église, se fasse désormais à Notre Dame de La Gardelle et que ce jour-là soit célébrée une messe solennelle dans cette chapelle ».
Le lundi de Pentecôte de cette même année, le Conseil municipal au grand complet vint s’agenouiller aux pieds de la statue de Notre Dame de la Gardelle et le maire, de sa voix autorisée, consacra officiellement la commune entière à Marie et promit, au nom de tous ses habitants, de revenir en pèlerinage chaque année, le lundi de Pentecôte.
Jusqu’à ce jour -et c’est à souligner-, la paroisse de Villeneuve n’y a jamais manqué et renouvelle à cette occasion le vœu fait en 1836.
Un autre usage mérite aussi d’être signalé : il s’agit de la procession aux flambeaux le soir du 15 août à la tombée de la nuit en commémoration du vœu de Louis XIII consacrant la France à Marie.
Enfin en 1947 le curé de l’époque fait décorer entièrement cette chapelle par les fresques d’un artiste russe : Nicolas Greschny.
Plusieurs fresques présentent des étapes de la vie de Marie (Annonciation, Visitation, au pied de la croix…). D’autres concernent le passage de cette vie à la Vie éternelle : mort de Joseph, Dormition de Marie, fresque du Jugement dernier, parabole du Riche et du pauvre Lazare… Couronnement de Marie.
1re chapelle à droite : les mystères joyeux : annonciation, visitation, nativité, présentation de Jésus au temple.
1re chapelle à gauche : les mystères douloureux : l’agonie, la flagellation, le couronnement d’épines, le port de la croix, la crucifixion.
2e chapelle à gauche : les mystères glorieux : la résurrection, l’ascension, la pentecôte, l’assomption, le couronnement de Marie au ciel.
La statue en terre cuite de Marie de style baroque du XVIIIe siècle, malheureusement repeinte d’une couleur proche de celle du mur.
La plaque en marbre grenat rapportée de Rome en 1653, attestant que l’église est dédiée à Marie.
La statue en bois de sainte Madeleine pénitente, que l’abbé Suc dans un rapport à l’archevêque d’Albi (1918) qualifie : « l’objet artistique religieux le plus ancien de Villeneuve ».