寺伝によれば大宝元年(701年)に行基が創建し、油が湧出した所から「油山寺」の名が付いたという。その後天平勝宝元年(749年) 孝謙天皇が眼病平癒を願い、当寺の「るりの滝」の水で眼を洗浄したところ、全快したので勅願寺に定めたとされる。以来、特に目の守護、眼病平癒の寺として信仰を集める。また、一山の守護神軍善坊大権現は足腰の神として古来より東海道を往来する旅人の信仰を集める。
元亀3年(1572年)、兵火により焼失。天正2年(1574年)から三重塔の再建が開始されるが、工事には長い年月を要し、屋上の相輪を上げたのは40年近く後の慶長16年(1611年)であった。