寺伝によれば天平5年(733年)行基によって開かれたとされ、当初の寺号は地蔵寺であったが寛治7年(1093年)に井伊共保が葬られた際にその法号から自浄寺と改められた。
平安時代から井伊氏の菩提寺であったとされる。元中年間(1384年-1392年)宗良親王(後醍醐天皇の皇子)がこの寺を中興したともいう。
戦国時代の永禄3年(1560年)に戦死した井伊直盛がこの寺に葬られると、直盛の法号から龍潭寺と改められた。
関ヶ原の戦いの戦勝にともない、井伊氏が近江国に転封となってからも井伊氏の外護を受け、江戸幕府からも朱印状を与えられた。