硫黄島はその昔、流刑地として位置していました。 平安末期、源平の抗争の中で失脚した高僧、俊寛らが強制連行されてきた島としても知られています。
俊寛は村上源氏の出身で、京極御坊、白河御坊、鹿ケ谷などに多くの山荘を構えていたといいます。治承元年(1177年)、京都・鹿谷でめぐらした平家討伐の陰謀が漏れ、藤原成経、平康頼らとともに流されてきたのが鬼界ヶ島と呼ばれた硫黄島です。
成経と康頼は後に許され、島を去ってゆきましたが、俊寛だけは平清盛の怒りが解けず一人取り残されました。そして長浜川の上流に粗末な庵を結び、ひとり住んでいましたが2年後の1179年、失意のうちに37歳で亡くなりました。島の人たちはその生涯を哀れみ、俊寛が行き来した川原に墓を建て、のちに彼の住まいの跡に墓を移転し、俊寛堂として祀ってきました。今もお盆には俊寛を弔う送り火が焚かれます。