谈起南海神庙的建立，人们自然会问起南海神的名字。南海神叫祝融，也有史书称其为祝赤，就是祝融和赤帝的合称。其实祝融和赤帝是同一人，祝融本是火神，今天一旦发生火灾，人们仍然认为祝融君光临。祝融究竟是谁呢？他又怎样合水火为一神的呢？这有许多的传说。
传说一： 祝融是中国帝王。他以火施化，号为赤帝。相传，祝融还是一个音乐家，他经常在高山上奏起悠扬动听、感人肺腑的乐曲，使黎民百姓精神振奋，情绪高昂，对生活充满热爱。祝融死后，葬在南岳衡山之阳，后人为了纪念他，就把南岳最高峰称为祝融峰。
传说二： 上古帝喾（音酷）在位时，有一个叫重黎的人，是颛顼的儿子，他的官职是火正，即火官。重黎忠于职守，努力为帝喾和广大黎民服务，当火官有功，帝喾于是赐以祝融的封号。祝是永远、继续的意思，融是光明的象征，就是希望重黎继续用火来照耀大地，永远给人带来光明。祝融死后，葬在南岳衡山舜庙的南峰，即今之祝融峰下。
南海祝融庙会活动
传说三： 黄帝时期，祝融就是其六相之一。黄帝南巡，分不清方向，于是派祝融辨别方向，祝融辨别出了南方。也就是说，衡阳的南岳，最先是由祝融辨别出来的，他因此担任了司徒的职务。后来，祝融被封楚地，成为楚人的始祖。
今天位于湖南衡阳的南岳祝融峰顶还有一座祝融殿，殿后岩石上建有石栏杆，可以凭栏瞭望北山的风光。
这个火神，楚人的始祖祝融又怎样兼任海神的呢？古人认为，南方属火，火又是光明的象征，火之本在水，故祝融合水火为一神，且符合周文王八卦中离卦属火，方位在南方的卦象。
传说四： 尧帝时期，洪水滔天，淹没了山岗和许多房屋，黎民百姓生活于水深火热之中。尧帝下令鲧（人名）去治理洪水。可是九年过去了，毫无成效。后来，鲧知道天上有一种名为息壤的宝物，只要用一点来投向大地，马上就会生长起来，积成山，堆成堤。于是鲧想办法到天上偷了息壤到人间，用它堵塞洪水，息壤被投到水边马上变成为长长的堤坝，大地终于渐渐看不见洪水踪迹了。但是，上帝知道宝物息壤被窃，非常震怒，就派火神祝融下凡，在一个叫羽山的地方把鲧杀死，并夺回余下的息壤。上帝还命祝融监视人间治水，命他掌管一方之水的大权。由于祝融属南方之神，所以就合水火为一神，兼任南海之神了。
既然祝融兼了南海之神，当然要选择一个供他管理南海的驻地。这个地点至少要有两个条件：一是靠近南海出海口，附近有港口，方便海船的出入和人员的祭祀；二是附近要有一定的人口，能经常有人到庙中顶礼膜拜和供奉管理。位于南海之滨珠江口的扶胥镇（今黄埔庙头村）离广州古城约八十里，在珠江北岸，面临扶胥江（珠江的一段），东连狮子洋，下接虎门，背靠广州，是古代出入广州的海路交通要道，经此放洋出海，可以抵达南海各国。地理位置十分优越，被称为去海不过百步，向来风涛万顷，岸临不测之渊。于是，这里成为建海神庙理想之地，人们就在此建立了南海神祠，使祝融有了居所。
但是，祝融本身是火神，又兼火水两职，衡阳南岳祝融峰才是其真正的宫殿，南海神庙则为其离宫。清初岭南三大家之一的屈大均在《广东新语》中说：“南海之帝实祝融。祝融火帝也，帝以南岳。又帝以南海……故祝融兼为火水之帝。其都南岳，故南岳主峰名祝融，其离宫在扶胥。”所以，唐宋八大家之一的韩愈撰写著名的《南海神广利王庙碑》云：南海阴墟，祝融之宅。据历史学家考证，魏晋南北朝以来，中原地区动乱，而岭南则相对稳定。
当时，一大批的中原人南迁，促进了广州地区经济的发展和商都的繁荣。三国吴黄武五年（２２６），吴王孙权为了更好地统治岭南，将原来的交州分出南海等郡，新设置广州，史称“交广分治”。交广分治后，州治设在广州，广州之名自此始。这一举措有力地加强了广州的地位和影响。由此可见，南海神庙的建立，是与南北朝以来，广州地区相对稳定，地位提高，经济发展较快，海上交通贸易频繁有着密切关系。当时，中国和西域各国的交往，除了西北陆上丝绸之路外，海上交通贸易也急剧发展，不少海外商贾、僧人等乘舟从海上来华贸易和传播佛教文化，中国海舶亦经广州出洋到南番诸国。
由于海上风云变幻莫测，祈求海神保护的愿望也与日俱增。隋文帝开皇十四年（５９４）下诏建南海神庙，可以说是水到渠成，适应了当时民间和官府的需要。