紫云寺座落在云阳东北麓的紫微谷。山谷朝东北开口,近邻洣水。紫云山是从北麓进山的第一座山峰。东侧是紫红岩石构成的山峦,属丹霞地貌。而西南山体出露岩石是青灰色的板页岩。两种绝然不同地质结构的山体连为一体,很是奇特。古人对这种地质现象不理解,产生了很多遐想。有的认为这里承接了南岳衡山的灵气,如清代张璿的《紫云山》诗称紫云山“应是衡山第几峰……”清诗人陈有为在《紫云山》诗中称赞紫云山“秀出群峦别作峰。”人们把这里视为“风水宝地”,清代茶陵籍状元萧锦忠死后,儿孙们按照他的遗嘱,把他安葬在这块地盘。佛、道两家更是把这里看作修道悟禅的“洞天福地”。历代在这里建有紫云仙、真武殿、观音庵、紫云寺。
紫云寺始建唐代,原名观音庵,又称青莲庵,俗称紫云仙。1996年修复,改名紫云寺。2007年,广东东莞观音古寺住持释自度募款扩建、改造紫云寺。扩建改造后,形成以大雄宝殿、天王殿为主的仿古建筑群。这些建筑气势恢宏,雕梁画栋,制作精美。在层峰蟠峦的掩映下,蔚为壮观。