創建は応永７年（1400年）、僧・宥伝(ゆうでん)の父が深く仏教に帰依して、私財を投じて寺院を建立。宥海僧都を招いて、実乗院と称したのが始まりと伝えられています。
その後、宥伝が本尊に供える水を井戸から汲もうしたところ、水面に「宝珠」の文字が浮かび出ました。かくて宥伝は実乗院を宝珠院と改めたといわれています。この閼伽井(あかい)という井戸は、現在も本堂の前にあります。

観音堂の向拝虹梁の龍の彫刻は、「波の伊八」こと初代武志伊八郎信由の作品で、寛政２年(1790)、伊八が39歳のときのもの。
安房国長狭郡下打墨村で代々名主を務めた武志家に生まれた伊八は10歳のときから彫刻を始め、躍動感と立体感にあふれる横波の作風は葛飾北斎にも大きな影響を与えました。その作風は昭和29年に没した5代目伊八まで200年にわたって継承され、安房一帯の寺社に優れた彫刻を多く残しました。

当地は安房国の国府が置かれた“まほろば”の地といわれ、中世に至るまで安房地方の中心地でした。参道入口には元八幡神社があり、いまもその面影を残しています。