1937年7月7日，日本发动了全面侵华战争。在不到一年的时间里，平、津、沪、宁等地相继被日军占领。1938年10月下旬，随着日军新攻势的展开，广州、武汉两重镇又接连沦陷，抗战形势异常严峻。 抗日战争转入相持阶段以后，蒋介石于1938年10月召开高级将领会议，并邀请了朱德参加。会上，朱德向蒋介石提交了国共两党联合举办游击干部训练班的建议，得到蒋介石的赞同。

1938年11月，蒋介石在衡山召开中华民国第一次最高军事会议，中共代表周恩来、叶剑英、郭沫若应邀参加。在这次会议上，蒋介石确定接受中共中央建议，两党共同创办“南岳游击干部训练班”，并筹建南岳“忠烈祠”安葬抗日阵亡将士。会议决定创办游击干部训练班，班址设在南岳衡山。定名为“军事委员会南岳游击干部训练班”，并请中共方面派员参加。经中共中央决定，派叶剑英和李涛、边章五、吴系如、薛子正、李崇等参加教学工作。不久训练班成立，并改名为军事委员会军训部南岳游击干部训练班，蒋介石兼主任，白崇禧、陈诚兼副主任；汤恩伯、叶剑英二人任正副教育长。后来，汤调河南前线，李默庵受陈诚指定继任教育长。

学员来源为四个方面:全国各战区部队按分配名额选送校级和尉级的军官,各省、县政府及各级国民党党部选送的党政人员,三民主义青年团部保送的人员,从衡山、衡阳、曲江、桂林、吉安等地直接招考的部分高中毕业生(其中女学员占1/10)。学员结业后,即分批分配到各战区部队任职。学员中少部分是上校、中校军衔,大多数为少校军衔。一些中外名人也曾来此讲课、作报告的学习，其中有苏联顾问讲授炮兵协同作战；胡愈之先生讲“对日本帝国主义的分析”，日本反战作家鹿地亘讲述“对日军阀的解剖和日本国内的民主斗争”等专题讲座。越南共产党胡志明曾化名胡光在游干班学习和工作，后来成为越南共产党主席。

第二次衡山军事会议于1939年10月下旬在南岳召开的江南各战区党政军联席会议，着重总结湘北会战的经验教训。

第三次衡山军事会议于1941年10月16日开幕，会期7天，会议对湘北会战的胜利进行了清醒、正确的估价。

衡山半山亭附近有一所“蒋宋官邸”的老别墅，是国民党时期湖南省主席何键所建，故又名何公馆。一九三0至一九四四年间，蒋介石八上南岳，五次与夫人宋美龄居住于此。在屋后的参天古木之中，隐藏着一个钢筋混凝土结构的“衡山指挥所”神秘堡垒。沿着数十级台阶深入，身处一个二十平方米的地下密室，室内可容数十人，排水、通风、照明设施良好，当年蒋宋二人及国民党高级将领在此抵御日军的空袭和指挥抗战。尘封六十多年后，地下密室才被后人发现清出。现今，海峡对岸的台湾最高军事指挥中心还继沿用“衡山指挥所”的名称。