建安十四年，四月。
李通战死，隆中营垒被破，水师舟船行进，欲载汉南数万百姓而走。屯驻岘山的曹仁得知隆中营垒遭袭，百姓将被劫掠，欲出兵救之。
然霍峻早有准备，柤中赶来的张飞在岘山南部虚张声势，用马尾捆用树枝，往来奔驰，以为虚张声势之用。让高翔在檀溪西段上岸，以五千兵马列却月阵，阻曹仁西进的兵马。
时霍峻自率万人也从汉南登岸，与高翔、张飞从多面包夹，与曹仁展开对峙。在多面迎敌的情况下，曹仁尝试派出牛金向西支援李通，却被高翔击退。对峙半日，黄忠率舟舸抵达，与张飞合兵。
见霍峻援兵不断增加，舟舸也装着数万百姓撤退而走，曹仁最终放弃派兵支援隆中的念头，转而加固营垒城防，防止霍峻举兵攻城。
霍峻深知自家底细，知道以自己帐下兵马，打不下襄阳，能夺走数万汉南百姓已是取了水师的巧。于是在次日的夜间，霍峻率帐下军士登船南撤，张飞、黄忠二将也烧营携民而走。
曹仁心有不甘，自率精锐步骑抄小路追击，击败撤退的后军。张飞让黄忠携民先撤，自率步骑英勇断后，这才让曹仁放弃追击。
此战，霍峻掠走汉南数万，得柤中民夷六万余人，合有十余万口。但十余万百姓也非汉南所有百姓，在汉水上游山区及襄阳城内依有数万百姓，曹仁将百姓尽数迁往叶、宛。
在霍峻、曹仁二人这般操作后，自当阳到襄阳的两三百里的丘陵、平原地带空无人烟，在未来的日子里，其间地带怕是仅有斥候、军士往来的身影。
襄阳彻底成为军事要塞，曹操在汉南少有的据点。而当阳、新城以南的数百里江汉平原，虽遭过曹操败军的劫掠，但依旧保留了南郡的精华。土地肥沃，百姓殷实，休养生息数年，凭南郡一地之力，足能养数万军士。
得闻霍峻率军南归，闲来无事的刘备带上鲁肃偷偷起程向北，欲见霍峻。
此时的霍峻正巡视公安新城，入目所见新城城郭未起，但城池的地段选址已定。在新城的工地上，士吏、农夫、工匠忙碌不停，或是工匠用墨盒、垂线等工具，在那丈量城池；或是农夫拿着铁锹、锄头等工具，在那挖掘地基；亦或是士吏持笔簿、挑算盘等物，在那巡视、盘点物资。
徐盛摊开城池图纸，指点说道：“都督，公安新城将依山而建，又临汉水，南北三百余步，东西二百余步。欲建城门三座，别置内城、瓮城，城高三丈，又以石砖筑城