社伝には崇神天皇の御代の創建とある。延喜式神名帳では「阿夫利神社」と記載され、小社に列している。
中世以降は大山寺を拠点とする修験道(大山修験)が盛んになり、源頼朝を始め、北条氏・徳川氏など、武家の崇敬を受けた。 江戸時代には当社に参詣する講(大山講)が関東各地に組織され、多くの庶民が参詣した。
明治時代になると神仏分離令を機に巻き起こった廃仏毀釈の大波に、強い勢力を保持していた大山寺も一呑みにされる。この時期に「石尊大権現・大山寺」の称は廃され、旧来の「阿夫利神社」に改称された。明治6年(1873年)には県社に列格している。
戦後、神社本庁には属さず、昭和27年(1952年)8月より阿夫利神社本庁として単独
で運営されてきたが、近年、神社本庁の傘下に入った(阿夫利神社本庁も存続)。