崇峻天皇の第三皇子蜂子皇子が開山したと伝えられる。蘇我馬子の追跡を逃れて、船で日本海を北上し、由良(→「由良」参照)・八乙女に上陸した。そこで三本足の烏に導かれて羽黒山に登り、次いで月山(→「月山」参照)と湯殿山(→「湯殿山」参照)を開いたという説が最も知られている。
 室町末期頃までは羽黒山・月山・葉山を出羽三山と称し、湯殿山を総奥院とした。戦国時代になると羽黒山の修験・衆徒は動乱に巻込まれて、三山踏破の修行は困難となる。また、葉山や慈恩寺教団との間に対立も生じたことにより、一時は大物忌神社を祀る鳥海山(→「鳥海山」参照)が本地仏は薬師仏であるところから、出羽三山に加えられた。その後、戦国末期から湯殿山を三山の一山とするとともに、総奥院と定めたといわれる。
 三山の本地垂迹は、羽黒山は本地が正観音、垂迹が倉稲魂命、以下月山は阿弥陀如来・月読命、湯殿山は大日如来・大山祇命である。羽黒山では現世利益を、月山で死後の体験をして、湯殿山で新しい生命をいただいて生まれ変わる、という類いまれな「三関三度の霊山」として栄えている。