神亀三年(七二六)行基菩薩が、聖武天皇の勅願に依り一宇を創建したのが始まりである。 豊臣秀吉が北野大茶会の縁により献木した｢五色八重散り椿｣があったところから、一般に｢椿寺｣と呼ばれている。
　一木作りの十一面観音菩薩像(御丈五尺三寸、平安時代前期、慈覚大師作と伝えられる)が観音堂に奉祀してある。