創建は奈良時代の養老２年（718）。役小角(えんのおずぬ)が小庵を建てたのが始まりといわれています。その後平安時代の天長8年(831)、慈覚大師により改築され、山王権現が併せて祀られました。
その後火災で焼失するも、小松民部正壽により七堂伽藍は再建され、檀特山医王院小松寺とされました。
当初は天台宗、のちに真言宗に改宗。徳川家康や里見義康らの寄進を受けて、大寺院として修行道場になった歴史もあります。

ご詠歌の「乙王(おとおう)が滝」は仁王門、駐車場を過ぎた林の中にあります。この滝にはある言い伝えが。乙王とは、小松寺を再建した小松民部正壽の子・千代若丸に仕えた少年。寺の再建落成法要で歌舞を奏している最中に、千代若丸が天狗にさらわれ、平久里郷で変死。その死を嘆いた乙王がこの滝に身を投げたということです。

また小松寺には七不思議も伝えられています。七不思議とは、①晴天の雨②土中の鐘③暗夜の読経④天狗の飛び違い⑤半葉の樒⑥七色が淵⑦乙王が滝のこと。
また観音御塚の埋蔵金伝説も。非常事態に備えて里見家が財宝を埋めたのだそうです。豊富な自然、そして伝説に彩られた名刹なのです。