1944年4月，侵华日军发动了“一号作战”计划，想要打通大陆交通线，在日军紧逼下，国军仓皇后退。日军迅猛直指衡阳。日军指挥官横山勇认为日军可以迅速拿下衡阳，但没想到在这里遭到了前所未有的抵抗。阻挡日军前行脚步的是国民革命军第10军。第10军号称泰山军，这只军队是首批接收美械装备的五个军之一，与74军齐名。蒋介石给第10军的命令是坚守衡阳10天至15天。
1944年6月1日，第10军军长方先觉率所部抵达衡阳城，马上巩固防守阵地。6月23日，侵华日军横山勇指挥第68、116两个师团5万多人，在飞机和坦克重炮的掩护下，向衡阳发动了进攻。方先觉指挥自己的部队多次打退攻击的日军。
6月25日夜，日军渡过湘江向衡阳西南郊守军主阵地发起猛烈进攻，被守军打退。
6月28日激战中，日军第68师团师团长佐久间中将、参谋长原田贞三郎大佐、各联队的联队长全部身负重伤，佐久间中将在后送途中死亡。日军战史记录，“整个第68师团的战力，为之瘫痪。”日军不得不重新审视这场战役。
7月11日，日军对衡阳再次发动大规模的进攻，这次日军又增加了四个重炮大队和两个迫击炮大队，几昼夜的激战，日军这两个师团付出了伤亡8000人的代价，阵亡一名联队长和6名大队长，中层指挥官几乎全部换过，泰山军第10军伤亡4000人。日军受阻，损兵折将的日军丧心病狂之际使用了毒气弹，但是依然没有拿下衡阳。日军每前进一步都会付出极大代价。由于伤亡过大，日军不得不暂缓进攻。
7月15日，衡阳战役已经持续了20余日。这日拂晓，日军一部占据下新街道阵地后，以沿江岸边的房屋为掩护，集结兵力向五桂岭阵地发起进攻。守军采用火攻，王嘉祥带领5名勇士冲入房屋，将房屋全部点燃，但6名勇士被日军子弹封锁，无法突围，最后全部被大火吞噬。50多名鬼子被烧死，为他们殉葬。
日军根本想不到衡阳这样难打，日军大本营斥责指挥官横山勇无能，横山勇孤注一掷再调派58、13两个师团加强进攻，这样，攻击衡阳的日军已经近10万人，日军四个师团合力对衡阳城发动了凶猛进攻。
7月16日凌晨，狗急跳墙的日军向阵地发射毒气弹，守军连长臧肖侠让士兵把布沾水没水就用尿捂着口鼻，待日军炮击停止后又继续冲杀，就这样仍然英勇打退日军的进攻。全连仅剩下了30人。
日军最高指挥官横山勇不得亲自抵达衡阳，指挥攻城作战。
8月7日，日军以坦克为前导攻破衡阳城墙，日军大部进入城区，城中开始混战。8日凌晨，日军攻占城厢核心区域，指挥系统瘫痪。在城内的各残余部队，有的冒死突围被日军杀害，有的开枪自尽，了此残生；有的向空中鸣枪，对天抗议，有的跺脚捶胸，泣不成声。坚守了整整47天的衡阳城，最终还是陷落了，众人极不甘心。
8月6日，日军第58师团对衡阳城西北角的天主教堂发起了进攻。在这座两层的钢筋混凝土小楼里，中国守军第190师第568团第三营坚守在这里，这些士兵已经多日水米没打牙，靠的是宁战死不屈服，凭一口气在支撑着。日军以一部进行正面进攻，一部迅速冲到鹿角用炸药炸开了一个缺口。经过激战，日军数十残兵窜入天主堂内拼死顽抗。
方先觉派出特务营前往天主堂增援。日军第68师团第57旅团旅团长志摩源吉少将被国军狙击手两发子弹爆头，子弹从右眼打进，左耳下打出，志摩源吉当场倒地身亡。日军进攻的三个大队被打残。800编制黑濑第1大队剩80余人，第2大队活着的只有8个人。第1、第3大队队长被打死，第2队队长负重伤。
日军伤亡惨重，堆尸如山，已经到了无法收回尸体的地步。无奈之际，日军对战死的日兵只能砍下其左手，挂一牌写上其名，拿回去火化。日本人认为他们的灵魂会依附在每个人的左手上。
8月7日，也是衡阳战役的46天，这天凌晨，日军第95大队付出惨重代价后占领了天主教堂，随即青山街阵地猛攻。坚守在青山街的190师第7团第三营王金鼎营长及其所部全部壮烈牺牲，无一生还。日军第一次以一个整队的规模攻入衡阳城。
这日黄昏，方先觉召集各师师长前来开会，当师长们来到时，方先觉说，日军已经攻入到衡阳城里，这是他的失职。他掏出枪来要自杀，被部下及时阻止。
战斗到8月8日凌晨，衡阳城内的第10军已经伤亡惨重，轻伤员、马夫、炊事员已经都冲上了战场，47天血战，空气中弥漫着尸体的腐臭和硝烟的味道。第10军1.7万人，阵亡7600多人，负伤6700多人，剩下的近3000人也因为弹尽粮绝，濒临死亡线。衡阳战役，已经到了最后关头，为保全8000多名伤员和已经无法再战的士兵，方先觉决定作出与日军谈判的决定。方先觉提出了几个要求：一是日军进城不准杀害俘虏；二是保留第10军建制；三是要求日军对受伤的官兵给予人道待遇；四是要求日军立刻停火；五是要求保证他与各师师长的人格不受侮辱。尽最后努力保全自己士兵的性命，这是他最后能做的。
8月8日上午10点，方向觉带领剩余将领在一条壕沟里，与日军第68师团师团长堤三树男及各联队指挥官谈判。日军拒绝了方先觉的条件，要求方先觉第10军放下武器，将第10军改编为“先和军”，日军对第10军伤兵的生命予以保障。方先觉基本接受了日军的和谈条件，历时47天的衡阳保卫战终告结束。全部日军入城。
方先觉与其他将领被日军软禁在一所独栋房子里，等待他被感化。10月19日，参谋孙鸣玉逃出衡阳。戴笠亲自策划营救方先觉的方案，11月19日，在伪衡阳县自卫司令王伟能的帮助下，方先觉逃出日军囚笼。
在衡阳保卫战战役中，击毙击伤日军近8万伤亡超过3万人，日军多支部队被打残。是抗战8年敌我伤亡比例最大的战役，也是正面交战时间最久的城市保卫战。这一仗震动了日本朝野，东条英机内阁谢罪下台，日本打通大陆交通线的计划受到了严重阻碍。纵观中国抗日战争全过程，论及战役持久、战斗惨烈、重创日军，非此役莫属。这场战役被誉为东方的莫斯科保卫战，深远影响无有出其右者，衡阳也因此战成为了中国唯一的“抗战纪念城”。虽然，衡阳最终陷落，但无愧于“英雄之城”“落日孤城”。
这场战役是日军战史中记载的唯一一次，日军伤亡超过我军的战例。日军战史在评论这场战役时说，“尤其敌人之碉堡位置，颇尽选择之能……形成有猛烈之交叉火网，于上端构有手榴弹投掷壕，我军既难以接近，也无法攀登，此种伟大之防御工事，实为中日战争以来所初见，也堪称中国军队智慧与努力之结晶。”“原定一日完成之攻城战，实际延衍四十余日，不独严重妨碍‘打通大陆’的日程，并且遭受重大伤亡，实为一苦难之战役。”日军战史最后总结道，“苦难的衡阳战役，终于告一段落……牺牲之大，令人惊骇。”
