L'ordre est né au XIIè siècle, sur la montagne où le prophète Elie, 800 ans avant Jésus-Christ était venu se retirer pour prier le Très Haut.
Comme l'explique le père A. M. Zacharie Igirukwayo ocd, chroniqueur de l'histoire du Carmel:
"Ces ermites qui allaient devenir ancêtres de la famille carmélitaine eurent l’intuition spirituelle de se choisir la Vierge Marie Mère de Dieu comme patronne du lieu de leur implantation et de tous ceux qui l’habitaient."
L’Ordre du Carmel n’a jamais connu de fondateur propre.
La vie primitive des Carmes était totalement imprégnée de l’esprit du Prophète Elie, leur Père spirituel ; esprit dans lequel s’introduisit ensuite la dévotion à la Vierge.
Rapidement cette dévotion sera prédominante, influant de manière décisive la vie de l’Ordre, et les frères se reconnurent sous l’appellation : "les ermites frères de l'Ordre de Marie du Mont Carmel"*.
N.B. Le n°54 des Constitutions précise tout cela et présente ensuite l'expérience mariale du Carmel chez les Réformateurs du Carmel, Thérèse d'Avila, et saint Jean de la Croix.
*Bulle d'Innocent IV Ex parte dilectorum" I-1252