昔馬産地の遠野町では唯一の馬頭観音堂です。参詣者で賑わいました。堂内に馬を飼い、当たりくじの人がその馬をもらったそうです。翌年その馬の仔を奉納し、くじ当たりの人が仔馬を引き受けるという行事で有名でした。　

平安時代の名僧､徳一の墓所といわれています。僧最澄や空海との法論は､日本仏教史上に有名です。いわきに13カ寺創建して会津に向かったと言われています。入定とは高僧が入滅した所､すなわち墓所ではないかと伝承されています。

戦国時代「いわき（磐城）」を支配した、岩城家の領内においてめずらしく、石垣を使用した平山城です。城の重要部分は、根古屋の平坦な地にありました。城主であった「上遠野家」は、下野国（栃木県)小山荘の豪族小山家の分流です。