白云禅院始建于明代万历四十六年（公元1618年）因内有小阁侍奉观音，故人们俗称为"观音阁"。这是一座徽派寺院风格的古建；青瓦灰墙、马头挑檐。历代几毁几修。清初禅院破败。康熙年间曾作修茸乾隆年间又作修理；咸丰、光绪年间再次重修，但民国期间已经倒塌，直到1986年，才由政府拨款重新大修，恢复可原貌原样。

　　白云禅院规模不算宏大。但却远近闻名，这是因为"山不在高，有仙则灵，水不在深，有龙则名"，"观音阁"的传说则因优美传说而引人注目。明末清初画家，新安画派的师神浙江，就在白云禅院依窗、观赏山水，拨墨作画，发出了'搜尽奇峰作画稿'的千古绝唱，说出了艺术创作的真谛；还有白云禅院曾助清官海瑞的故事，相传海瑞在淳字任知县时。反贪锄恶，得罪了启云山上的神灵，欲加害于海瑞，海瑞刚直不阿，一路尽力为民办事，进了白云禅院，观音见他勤政为民，一身正气，挺身而出，智胜神灵，保佑海瑞平安无罪，这虽然是一个神话传说，但亦反映了群众对清官、好官拥戴的心声。白云禅院现已开辟为黄宾虹纪念馆，常有全国各地的画师来此面对练江，师承新安画风，挥毫泼墨，切磋技艺，禅院东首是相公潭，西首山壁有摩岩石刻"一带云根"四个大字，为明代末年名士孙子贞所书。