天平19年（747）、行基菩薩が聖観音菩薩像を刻んで、一宇を建立したのが始まりといわれる普門寺。古くは山中にあって、岩戸観音と呼ばれていました。天保15年（1844）に改築されて信仰を集めましたが、観音像は大正６年（1917）に正文寺(しょうぶんじ)の祖師堂へ移され、現在に至ります。
正文寺は12世紀に三浦半島から渡ってきた真田氏の頭領・真田源吾が創建した禅宗の寺。

中興の祖・正木頼忠の娘が、お万の方です。お万の方はのちに徳川家康の側室となって、紀州徳川家の祖になった頼宣、水戸徳川家の祖となった頼房を生んだ人物。祖師堂には、お万の方の御駕籠を担いだ棒が展示されています。

本堂の向拝にある鳳凰と龍の彫刻は、千倉の後藤義孝の記銘があります。安房の名工・後藤義光の弟子である義孝は、関東大震災後に建てられた歌舞伎座や明治座の装飾彫刻を手がけた人物として知られています。
また、昭和11年に完成した国会議事堂参議院の玉座を飾る大鳳凰も義孝の作品です。