JR安房鴨川駅の南、「石見堂下」バス停から、いかにも漁師町らしい細い坂道を登っていくと、数軒の民宿に挟まれるようにして石見堂が現れます。
当初は西浜の海面に浮かぶ岩山にあったという石見堂。天保年間（1830～1844）に現在地へ移されたといいます。現在のお堂は明治15年に再建されたもの。現在は半キロほど離れた金剛院の境外仏堂になっています。

ご本尊は真言宗の六観音のうちのひとつ、如意輪観世音菩薩。天上界を担当する観音菩薩です。如意輪観世音像は右手を頬にあてて考えるポーズをとっており、煩悩を破壊する仏法の象徴とされる如意宝珠を持っています。戦時中には、艦砲射撃を避けるべく近所の女衆のリヤカーに乗せられて、10㎞先の山中にある白滝不動まで疎開したそうです。
2代目武志伊八郎信常のものとされる、向拝の龍彫刻も見事です。