ศาลเจ้าโยชิมิสึสร้างในศตวรรษที่ 8 ในฐานะ "วัด" เพื่อใช้เป็นที่พักของผู้ที่เดินทางมาปฏิบัติธรรมบนเขา แต่เปลี่ยนสถานะจาก "วัด" มาเป็น "ศาลเจ้า" หลังจากที่มีการแบ่งแยกพุทธศาสนากับชินโตออกจากกันในสมัยปฏิรูปเมจิ โดยศาลเจ้าเคยถูกใช้เป็นที่หลบภัยของโยชิสึเนะในศตวรรษที่ 12 และเป็นพระราชวังชั่วคราวของพระจักรพรรดิโกะไดโกในศตวรรษที่ 14
นอกจากประวัติศาสตร์และตำนานเรื่องเล่าในสมัยโบราณ ปัจจุบันศาลเจ้าโยชิมิสึได้รับความนิยมอย่างมากในการเดินทางมาชมดอกซากุระในเทศกาลฮานามิและชมใบไม้เปลี่ยนสีในฤดูใบไม้ร่วงที่สามารถชมทิวทัศน์ทั่วเนินเขาได้โดยไม่มีอะไรมาบดบัง