Historia festiwalu Sanja Matsuri sięga VII wieku n.e. Przed około 1350 laty Hamanari i Takenari Hinokuma, dwaj bracia trudniący się rybołóstwem, przypadkowo wyłowili z rzeki Sumidy statuetkę, którą zanieśli do Manakachi Haji , przedstawiciela  lokalnej inteligencji w tamtych czasach. Haji poznał od razu, że jest to święty posążek, przedstawiający boginię Kannon. Aby upamiętnić to wydarzenie, postanowili  w trójkę wybudować świątynię.

Jako założyciele świątyni Sensoji otrzymali miano Sanja Daigongen i sami stali się obiektem kultu. Ponad 700 lat temu w pobliżu Sensoji postawiono im świątynię Asakusa Jinja. W okresie Meiji festiwal Sanja Matsuri stał się jednym z bardziej popularnych w Japonii. Przestano używać jednak nazwy Sanja Daigongen.

Festiwal Sanja Matsuri znany jest także jako Kannon Matsuri lub Asakusa Matsuri.