美馬市美馬町郡里は、縄文・弥生時代から人々の生活の跡が多く残り、古墳時代には、吉野川流域に多く見られる古墳群が物語っているように、奈良に匹敵するような文化が栄えていた。
古墳時代後期の６世紀中、聖徳太子が生まれる少し前、この美馬の国を治める佐伯氏は、栄華を極めており、その富と権力を死後も誇示するために、太鼓塚と棚塚を建設した。
これら「段の塚穴」は、徳島県での国指定史跡第１号であり、段の塚穴型石室として特徴的な石室で、文化財的価値を非常に高く評価されている。
飛鳥時代、大化の改新が行われた頃、この美馬の地は、佐伯氏という豪族が支配しており、郡衙が置かれるなど、徳島県西部（美馬・三好）地区の中心は、寺町のある美馬郡里であったことから、粟の国、長の国、美馬の国の阿波３国説が有力である。
白鳳期には、その郡里の中心である現在の中山路地区に、立光寺（郡里廃寺）という奈良の法隆寺に匹敵する寺があった。敷地面積２万㎡、南大門、中門を入ると、右側に五重塔、左側に金堂があり、正面には講堂を配した法起寺式の大伽藍であった。
隆盛を見たのも１００年余りで、吉野川の氾濫や鍋倉谷川の増水等の天変地異や一族の内部抗争、また、新興仏教の出現による信仰の変遷により、８世紀後半には、栄華を極めた立光寺も廃寺同然となった。
立光寺に遅れること約５０年、８世紀初頭に、維摩寺が建立され、後に福妙寺と改称された。
１１５６年に保元の乱が起こり、崇徳上皇が讃岐に流され、４５歳の年で亡くなられた。崇徳上皇の妻である阿波の内侍は、菩提を弔うため、後白河院の目を逃れて、母の生国である阿波国美馬の福妙寺を改め願勝寺とした。真言宗宝壺山願勝寺の誕生である。（１１６４年）
平安時代に、願勝寺の直ぐ東に真如寺という天台宗の寺院があった。鎌倉時代に入り、今の千葉県で戦乱が起き、その国の豪族千葉一族は、時の執権北条時頼に追われた。
千葉彦太郎常重は、九死に一生を得、重清城主小笠原長清の内室が地縁で会ったのを頼りにこの地に逃れ、廃寺同然であった天台宗真如寺を浄土真宗に改宗し、安楽寺が誕生した。１２５９年のことである。
江戸時代中頃には、末寺８４ヶ寺、勤番寺８ヶ寺を持つ大きな寺でしたが、１７２８年、８代将軍徳川吉宗の時代に離末を行い、その離末金で現在の門が建立された。
徳島県の五大門（丈六寺、熊谷寺、高越寺、箸蔵寺、安楽寺）の一つで、朱色に塗られていることから、安楽寺のことを「赤門寺」と呼んでいる。
戦国時代になると、安楽寺８代住職願証の弟林証が、安楽寺の１２坊の一つとして光暁山林照寺を開基した。１５２０年のことである。
１６０９年、徳川家康が天下統一し、江戸幕府を開いた少し後に、安楽寺１０代住職正宗が３男了宗を連れて隠居し、至心山西教寺を開基し、隠居寺と称される。
このように立光寺（郡里廃寺）から始まり、願勝寺、安楽寺、林照寺、西教寺と４つの寺が自然発生的な形で固まったところにあることから、この地域を寺町という愛称で呼ぶようになり、今日に至っている。