高速館山道の鋸南富士インター前を過ぎ高速道の高架下を通って佐久間地区の山間部へ入っていき、佐久間小学校跡地を過ぎるとＹ字の分かれ道に。そこを左へと進み、湯宿の前を通り過ぎて、御堂下橋を渡ると、左手に往生寺があります。
山門を仰ぎながら石段を上がると、静寂に包まれた境内が。正面奥が阿弥陀如来立像を安置した本堂。左手前が聖観音を安置した観音堂です。お堂の前にはソテツ、赤い山椿が植えられています。

往生寺は徳川時代には30石の朱印地を賜った有力な寺院でした。ご詠歌の「いつも絶えせぬ法(のり・読経）の声かな」からは、当時の繁栄ぶりを窺うことができます。

観音堂内には聖観音坐像と共に、不動明王坐像と弘法大使像が安置され、享保15年（1730）奉納のご詠歌額や明治4年に安房在住の歌人たちが奉納した歌額が残されている。