天子听闻有所感，便召见歌女问道：“汝因何而歌？”歌女惶恐答说：“入宫以来，三岁离家，不见父母，心有所感，故而歌之”说罢以袖捂面，泪流不止
天子也心怀忧伤，他对常侍张让说：“我离河间家中二十余载，往年牵黄于野，逐雁于林，颇为之喜乐，不知如今林野安在？”于是赏赐歌女三金，又禀告董太后，召来独女万年公主，于内朝知会三公，不日将北巡河间国旧宅
袁绍连夜将消息告知王芬，王芬便上奏道：“黑山贼军屡掠百姓，滥杀积山，贼首张燕更以不臣之心，行叛逆之举朝廷以其势大不可骤制，遂委其以中郎将之任，然皇恩天德，当正天下之顺逆，白四海之忠孝，不宜因窘缺勤，纵恶自生臣不度德量力，偶有薄名于海内，身负昭天子明德之责，故愿整众备材，逐亡扫北，清河北九千里之地！”
天子应允九月十二，天子出雒阳，夜宿首阳山，次日当于孟津过河水
不料是夜时，天子登山望天遥望河北，但见一道赤光从北方天迹升起，划分天地东西，隔断星汉，经三刻而消天子以为这是上苍的征兆，便又召来韩说，问以天象何解
韩说解说道：“赤气冲霄，当是离上乾下，火在天上，大有之卦由是君子以遏恶扬善，顺天休命即当遏恶扬善，可知气从北生，恶从北来陛下当大中而上下应之，则善恶自明”
天子便顺应天命，取消行程，次日起驾回宫未久，天子又下命王芬冀州罢兵休憩，提拔其为司空加侍郎，入朝与天子议事
王芬收到诏令后惶恐不安，只能按令解散部众，正不知如何回朝间袁绍又派长沙人吴臣前来与他私下会面
吴臣劝说他道：“天子性情乖僻，喜怒无常，视臣子如仇雠，视常侍如恩养，不可以君待之而今公之谋划，事关天下，一朝暴现，则党锢之事复现矣！若公知廉耻，念黎庶，当知决不可返京如今天子多疾，何不挂印隐于东平家中，待新皇登基，大赦之后乃可无碍！”
王芬仔细思量片刻，唯有无奈应允，当即解下印绶挂于园中，听从吴臣建议，轻骑简从趁夜逃离邺城
待到九月二十三，吴臣风尘仆仆地赶回雒阳，直奔袁绍府内袁绍正手持经书，口中吟诵不停，见他到来便放书问道：“王使君之事如何？”
吴臣安然回答：“王使君听闻天子诏令，忧心如焚，便挂印辞官而去，两日后，便在东阿自缢而死，跟随他的三名侍从也是忠义之人，见主君自尽，当即自溺于河水，令人感怀不已”
袁绍满意颔首，只是想起此事前后，不由又拿起经书叹道：“夏禹以来二千岁，臣子能行伊霍事者，至今亦不过伊霍二人耳，心忧天下而猝不能成者，时也？命也？”