大业十二年五月末，隋帝杨广至江都，江南迎驾者，络绎于途，让隋帝杨广分外欢喜。
这个时候太常卿，讷言苏威来给皇帝添堵，说什么江南大族纷纷来投，不过是因为义军毁坏家宅，戮其子弟，来求至尊相庇尔，不如借此驱之
他的意思挺明白，就是想着乘人之危，借此要挟，让大族拿出粮食人马来，不定还能让朝廷缓口气儿。
苏威这人其实就不用多说了，这人家世很好，他的父亲更是西魏名臣苏绰，西魏年间，能和八柱国相提并论者不多，苏绰就是其一。
苏威自己也不差，是文帝年间，朝中三位巨头中的一个。
因为不事武功的缘故，位列高炯，杨素之后，掌管着大隋的财政大权，为文帝之治立下过很多功劳。
大业初年，接任杨素为尚书左仆射，不久罢官，后又被重新启用，一直在皇帝身边参赞朝政，很受信任，但官职嘛，和从前就无法相比了。
隋帝杨广也不会容忍文帝年间的老臣再占据高位。
这次劝谏，让隋帝杨广直接火冒三丈，这位皇帝精神都快崩溃了，面子对于他来说，好像是唯一还能让他死死抓在自己手里的东西了。
再加上在东都的时候，苏威就一直在说他不喜欢的话，劝他不要再提征伐高句丽之事，跟他说如今天下到处都是匪患，跟他说不如回去长安，那里有更多的军事人才
于是，六月间，苏威免官，还牵连到了亲族，全都被皇帝罢免了官职，撵回家去了。
这个时候，苏威如蒙大赦，直接就想跑回关西老家去。
这位老臣精着呢。虽说年纪越大越有些官迷的倾向，这让他在大业初年做出了接任杨素为尚书左仆射的愚蠢决定，在朝中风评大坏，没几天就被罢了官。
但他的眼光还是很准的。如今这个结果让他很满意，尽了些人臣本分，又能全身而退，何乐而不为呢。
此时此刻，他就算再想当官儿。也不会跟着隋帝杨广瞎转悠了，覆巢之下焉有完卵？
但他高兴的有点早，随即诏令又下来了，令他在江都闭门思过，显然，皇帝杨广身边信得过的人是越来越少，而内史郎，金子光禄大夫虞世基也很是不愿苏威远离，兔死狐悲的意味很重。
于是，苏威非常无奈的被强留在了江都。
这个时候。他招来自己的几个儿子，叮嘱他们，世道纷乱，若无意于功名富贵，宜隐于山林，若欲投效他人