圣安寺位于岳阳市八仙台的楞伽北峰，与南津古渡隔水相望，建于中唐大历以前。据《巴陵县志》载：圣安寺为唐杨凭建。
岳州无姓大和尚名法剑，始出家时从师卓然，居南阳立山，后几经转徙从房州兴龙寺来居岳州，设道场于椤伽北峰。因其深研佛道，名传遐迩。唐大历四年（769），道州刺史杨炎上京赴宰相任过岳州时往寺拜访，闻其道深为感服，以为宜居京师，并执意请他同赴京师，被无姓婉言谢绝。岳州守李萼盛气凌人，欲屈其道，无姓仅数言便使李萼折服，并拜其为师。河东裴藏之举族投奔其门下受教。无姓和尚还精通预测学，对很多人的前程荣衰都作了准确的预
测，如《碑阴记》中所志宰相杨炎的任期去留，就一语中的。无姓和尚居楞伽北峰50年未出闾里。唐元和四年（809），京兆尹杨凭与和州刺史张惟俭为之广购山地扩建道场，弘扬道法。后来，无姓和尚圆寂于岳州并葬于此。当时有不少文人士宦为之撰记作传写文章，唐代著名文学家柳宗元撰有《岳州圣安寺无群和尚碑》与《碑阴记》，足见其影响一斑。
圣安寺自唐代以后，逐渐荒废。1997年，南岳南台寺方丈宝昙大和尚携其徒怀梵法师来岳阳，就古圣安寺原址征地100亩重建岳阳古道场。
寺为五进，一进山门为为圣安寺大门，仿颐和园内的佛香阁牌坊而建，共五门，又总称为智慧门。其山门前上书一对联：“水不在深洞庭百尺容纳四水，山非于高古刹千年普照三湘”，山门背面上又书一对联“云锁龟山佛地重光人夭喜，峰藏古寺道场再建衣钵传”， 一字一句之中，道尽了岁月沧桑和佛教文化再度光大的喜悦。进山门经鼎塔式铁香炉，穿过圆形放生池上的小桥，面前耸峙的便是高约6米的观世音铜像。
二进是天王殿，主殿二层，中间为重檐歇山顶式，两边偏殿为四角攒尖顶。天王殿是圣安寺的主要建筑之一，在中国近代寺院建筑中，独具特色。它由天王殿、钟鼓楼、藏经阁组成。殿内香烟缭绕，供有弥勒佛像，佛像袒背露腹，手掐念珠，笑口常开，弥勒佛像两侧，供着四大护法神将，俗称“四大金刚”，又称四大天王。雕像高大威武，造型线条优美流畅，栩栩如生。殿内佛笼背面还塑有韦驮神将，他史佛教中护法神，手持降魔杵，法像庄严，给人一种不怒而威的气势。
三进为大雄宝殿，殿匾和“佛光普照”门额皆当代大书法家赵朴初书丹。殿为重桅歇山顶，正面挑出牌楼，檐角高翘错落有致。殿内供三尊大佛。中间的佛是世人所说的佛教教主“释迦牟尼”、“释迦”是部落民族的名称，意思是“仁”、“寂”，合起来是“能仁”、“能寂”、“释迦族的圣人”，释迦佛左边拿宝塔的佛叫东方净玻璃世界教主药师佛；手上捧有莲花的称之为西方极乐世界教主阿弥陀佛，此佛引导人们修行念佛，命终之时归命西方极乐世界。大殿两角，一为文殊菩萨，另一为普贤菩萨，他们与大悲观世音菩萨，大愿地藏菩萨合称为佛教中的“四大菩萨”，各表一法，形成我国佛教四大名山独特的佛教文化。大雄宝殿为寺中主殿，重要道场佛事活动都在这儿举行。
四进念佛堂为重檐歇顶式。殿中供奉西方三圣，每天皆有僧人伴清灯捧黄卷在此念佛诵经。
五进观音殿为三层三檐歇山顶殿宇，高耸于台阶之上的半山腰。殿内供奉千手千眼观世音菩萨，是湖南最大的观音像。高约5米，香樟木雕塑装金，工艺精湛。菩萨双目微含，嘴角带笑，一派智慧仁慈；殿内装饰典雅，肃穆庄严。
殿后山顶之上巍然耸立着金碧辉煌的万佛塔，亦为镇山之塔。塔高53米，占地200平方米，为九级八方楼阁式。塔的第一层供奉释迦如来佛像一尊，塔顶供奉九千九百九十九尊小金佛像。小金佛像莲坐上刻捐赠功德者其名。塔的周围亭台楼榭、花草树木相互为衬托，境如西方极乐世界，美不胜收。在塔基上，右可俯视南湖美景，七座小龟山浮于水面，时浮时
沉，栩栩如生；往左远眺洞庭，来往商旅船只白帆点点；正面鸟瞰巴陵城，整个城市尽收眼底。登塔一望，风景更是绝伦，使人流连忘返。
自1997年重建以来，二十年之间，圣安寺重建竣工。现在的圣安寺根据《巴陵县志》、《柳宗元全集》所描述的方位而定址。《巴陵县志》：“圣安寺一统志，在县东南五里，楞伽北峰”。二十年之间，圣安寺恢复了唐代圣安寺的宏伟规模，征地六百亩，耗资几千万元，建殿宇、僧舍数万平方米，造九层五十三米万佛塔一座，今日的圣安寺规模胜过唐代，成为岳阳市的佛教中心、旅游观光胜地，被评为国家AAAA景区。
