平清盛たいらのきよもりが海路の安全守護神として建立し、自らの繁栄を祈願したとも、文永8年（1271）に淨音じょうおんが開いたとも伝えられています。魚御堂うおのみどうともよばれており、境内にある礎石そせきは、黒田長政くろだなかまさの浜本陣はまほんじんにあったものを絵屋えやの鷹見たかみ家にゆずり、それが阿弥陀寺に寄贈されたものだといわれています。