宋绍兴3至4年，胡安国父子定居南岳，在南岳书院开坛讲授《春秋》，宣扬爱国主义和“经世致用”的哲学思想，湖湘学派自此发端。
在此期间，胡安国完成了《春秋传》30卷、《资治通鉴举要补遗》100卷、《文定集》等理学著作，开创了以“经世致用”等为灵魂的湖湘文化学，后其弟子受邀前往岳麓书院任山长，湖湘文化始由衡阳移至长沙。
曾国潘在《重修胡文定公书院记》中写道：“天下书院，楚为盛；楚之书院，衡为盛。”其中，最具有代表性的是石鼓书院和船山书院。位于蒸水湘江交汇之处的石鼓书院，既是中国四大书院中创造最早并具有确切史志记载的书院，也是中国历史上唯一两位皇帝赐匾额的书院。古代著名诗人、词家和思想家韩愈、周敦颐、朱熹、张轼、范成大、辛弃疾、文天祥、王阳明等均到过此地，或讲学授徒，或赋诗作记；船山书院则是清末最著名的书院。曾有很长一段时间，船山书院“海内传经问学者踵相接”，“岳麓、城南、渌江书院学子纷纷南下”，一时有“学在船山”之称。

一座具有美好未来的城市，必然异常珍惜自己的历史；一个具有强烈发展意识的地区，必然注重对历史文化的继承和发展。
近年来，衡阳市委、市政府用文化把脉城市规划，用文化提升城市品位，掀起了文化广场、文化馆所、文化景点、文化遗址、文化商圈等项目建设热潮。
改造升级古衡阳八景中的雁峰烟雨、岳屏雪岭、西湖白莲；在湘江东岸，先后拆除近10万平方米的建筑，改扩建了湘南学联、欧阳故宅、彭玉麟公馆，打造了明清文化一条街；发展抗战文化，改扩建了抗战纪念城、南岳忠烈祠、陆家新屋等抗战遗址……通过对一批文化遗迹和景点的保护性建设，衡阳千年文脉得以重新点亮。
在新一轮城市规划修编中，衡阳突出中国历史文化名城、具有鲜明特色的湘南重镇、现代宜居城市等定位，对重大文化项目进行了统筹规划。重点以“三江六岸”为脉，围绕湘南学联、东洲岛等标志性景区，打造十里文化长廊；着手打造中南第一盐湖景区——衡阳福海文化旅游休闲公园；规划以衡阳云集产业文化科技园区为平台，推进印刷产业、文化创意等集群集聚……

与此同时，“石鼓书院大讲坛”、“衡岳讲坛”、“衡阳市民讲堂”等150多个以创建学习型党组织为宗旨的讲坛，在衡阳各地风生水起；余秋雨、于丹、王世明、陈晋、纪连海等知名专家学者来衡讲学，场场火爆；“文明新风拂雁城”、“春满衡阳”、“和风衡州”、“幸福衡阳”、公共文化服务进社区等品牌“文化大餐”，更是将文化送到百姓家门口。