碧雲寺座落於山靈水秀的台南縣關仔嶺半山腰中,坐東向西,背倚秀麗的枕頭山,面迎廣闊的嘉南平原,附近林木茂盛;四周碧綠青翠,雲煙縹緲,「水火同源」與本寺同屬一脈源,地下蘊涵豐富之天然氣,故名「火山碧雲寺」。本寺在宗教的莊嚴氣氛中,並兼具賞心悅目的詩情畫意,是全台一處得天獨厚的靈山勝境,更是修行者參禪悟道的好地方。
清康熙四十年(1701年),第一代開山祖師釋應祥,由福建省泉州府名剎開元寺奉請一尊觀音佛祖聖像,渡海來台,從竹仔港(今高雄縣永安鄉)登陸上岸,隨後寄居於阿公店(今高雄縣岡山鎮),數月後為了尋找更適合參禪悟道的環境,再奉迎觀音佛祖遍遊南部各大叢林,最後於枕頭山下(今台南縣白河鎮仙草埔)暫且落腳。時光荏冉,歲月如梭,如此過了數年,由於應祥師通徹孔孟之學及勘輿之術,發現於枕頭山南麓半山腰有一處「半壁吊燈火」之靈穴更適合靈修參禪;應祥師遂獨自帶著觀音佛祖上山,披荊斬棘,草建茅堂,即為為本寺之前身。