洲崎神社に隣接する真言宗の寺、養老寺。正式名は妙法山観音寺で、かつては洲崎神社の社僧も務めた別当寺です。
寺名は養老元年（717）の創建に由来しており、開祖は役の行者(えんのぎょうじゃ)と伝えられています。役の行者は奈良時代の山岳修行者で、修験道の祖。社伝では養老元年、境内の鐘ヶ池が地変で埋まり、鐘を守っていた大蛇が災いを起こしたといわれています。祈祷により大蛇を退治したのが役の行者だったとのこと。

洲崎周辺では、頼朝伝説も数多く残されています。当寺に伝わる「一本すすき」伝説もそのひとつ。
伊豆での挙兵に失敗して安房に逃れた頼朝は、洲崎神社に参詣して坂東武者の結集を祈願。昼食の時に箸代わりに使ったすすきを「我が武運が強ければここに根付けよ」と地に挿し、それが根付いたのです。現在、観音堂前の階段手前右側に群生しているすすきが、頼朝の挿したすすきの子孫と伝えられ、「片葉のすすき」あるいは「一本すすき」と呼ばれています。

ご詠歌の通り、洲崎は東京湾の入口に当たる海上交通の要所。
近所には浦賀水道を行き来する船を見守る洲崎灯台があり、豊かな漁場としても名高い地です。