Avant d’être un site touristique et un centre culturel de ressourcement, Conso a abrité un monastère puis un séminaire où été formés des centaines de prêtres et d’élèves.
La construction du monastère de Consolation remonte à 1670, la chapelle ayant été achevée en 1683. Pendant plus de deux siècles, ces hauts murs ont abrité un couvent renommé de l’ordre des Minimes qui ferma à la Révolution. Mais avant de devenir un monastère, il semble que le culte de la Vierge Marie ait été célébré en ces lieux depuis le Moyen-Âge avec la présence d’ermites. "Il y aurait eu une apparition de la Vierge Marie dans un chêne" note un ancien séminariste fin connaisseur des lieux.
Le couvent des Minimes, qui ne comptait plus que quatre religieux, a été vendu comme bien national pendant la Révolution et l’église désaffectée est devenue un magasin à fourrage… Après le départ des moines à la Révolution, Consolation a commencé à reprendre vie avec la construction d’un deuxième étage au bâtiment en 1829 et l’ouverture d’un séminaire quelques années plus tard, "d’où sortirent plus de 600 prêtres !"
Le séminaire de Consolation a ouvert ses portes en 1833. "Mgr Louis-Guillaume-Valentin Dubourg, archevêque de Besançon, avait simultanément supprimé les écoles ecclésiastiques d’Ornans et de Belvoir et ces deux écoles avaient été transférées et réunies pour former le petit séminaire de Consolation" apprend-on des écrits du Dr Jean-Marie Thiébaud (Le couvent et le séminaire de Consolation, histoire du Moyen-Âge à nos jours).
Fermé en 1906 après une diminution du nombre d’élèves, dont tous ne se destinaient pas à la prêtrise (80 pensionnaires par an contre 150 dans les années 1860-1880) et transféré à Ornans, sous la direction de l’abbé Bobinet, puis à Maîche en 1910 (les locaux d’Ornans ayant été confisqués par la République pour être donnés à l’école Perrenot de Granvelle), le séminaire de Consolation fut à nouveau en activité dès 1920 pour 168 séminaristes sous la direction du chanoine Paul Rognon.

Depuis le début du XXème siècle, le site a donc servi d’internat pour le petit séminaire (l’équivalent du collège) dans lequel des centaines de jeunes garçons ont passé leur scolarité entre la 6ème et la 3ème. Il a fermé définitivement en 1978 après avoir commencé à former plus de 600 prêtres de 1833 à 1906, et environ 300 prêtres et missionnaires de 1920 à 1978.
Les derniers élèves arrivés à Conso en 1978 ont alors effectué leurs deux dernières années de collège à Orchamps-Vennes. Depuis cette date, Conso est un centre de rassemblement pour les catholiques du diocèse, et se structure peu à peu comme un centre culturel, touristique et de ressourcement.