奈良に都があったころ、元正天皇をたずねてインドから「善無畏三蔵」という高僧が興福寺へ来られました。
大和巡歴の途中、たまたま今の柳本へ来て、小川のほとりにある一本の大きな柳の木を見て、非常に驚かれました。そして、感ずるところがあって、この地こそ仏の聖地であるとして寺を建てられ、附近を楊本と名づけられました。これが楊本の地名の起こりであって、柳本と書くようになったのはずっと後のことです。
善無畏三蔵の創建と伝えられる「五智堂」は、傘の形をしていて、支柱を除けば四方吹放しとなるところから、俗に「傘堂」とも呼ばれている珍しい堂です。鎌倉中期の建物と考えられ、国の重要文化財になっています。また、五智堂は、支柱の上方の四面を額で覆い五智如来の梵字(サンスクリット)が刻んであって、どこから見ても正面に当たるので、「真面堂」と呼ばれます。
また、形が小さいというので、「豆堂」とも呼ばれています。