人上告李世民说李靖纵兵劫掠，李世民也就呵斥了李靖一番，不过也没有做出杀人的举动来，过了阵子又给李靖加了封赏，并说，
“隋将史万岁破达头可汗，有功不赏，以罪致戮。朕则不然，当赦公之罪，录公之勋。”（《旧唐书》）
此后李靖一直身居高位，但是上朝之后就把自己当成木头桩子，“靖性沉厚，每与时宰参议，恂恂然似不能言。”
当了四年大官之后，李靖就坚决请辞，李世民对此十分欣慰。
太宗遣中书侍郎岑文本谓曰：“朕观自古已来，身居富贵，能知止足者甚少。不问愚智，莫能自知，才虽不堪，强欲居职，纵有疾病，犹自勉强。公能识达大体，深足可嘉，朕今非直成公雅志，欲以公为一代楷模。”
后来李靖又奉命征讨吐谷浑，结果被人说他谋反，李世民调查一番后将诬告的人流放岭南，但此后李靖就称疾闭门不出了。
但李世民实则还是放心不下李靖，644年，李世民准备亲征高句丽，当时年过七旬的李靖已经抱病多日，李世民亲自去探望，
靖谢曰：“老臣宜从，但犬马之疾，曰月增甚，恐死于道路，仰累陛下。”（《隋唐嘉话》）
显见李靖是不想去的，却想不到李世民说了一句，
昔司马仲达非不老病，竟能自强，立勋魏室。（《隋唐嘉话》）
这话可就重了，司马懿当年可是装病然后突然暴起消灭了政敌，最后夺了曹魏的大权。
李靖马上就明白过来，
靖叩头曰：“老臣请举病行矣。”至相州，病笃不能进。
就此可见，李世民对李靖一直不放心，直到让他离开了长安，这才算是了却了一桩心事。
世人常言，李世民能容功臣，是因为他出身贵族自有心胸，而刘邦和朱元璋之所以杀戮功臣，是因为他们都是平民出身，所以担心那些曾经和他们平起平坐的功臣们会窥觑他们的皇帝宝座。但观其实质。刘邦杀八大异姓王是为了让天下真正一统，而朱元璋杀功臣则是在他年纪渐老之后，他是怕自己的儿孙驾驭不了这些功臣。
其实李世民一样对李靖猜忌，只不过李世民有自己的胸襟就是了。而且唐朝的功臣们，除了李靖之外，并没有韩信、徐达这种能够灭国的统帅人物，也因为达不到功高盖主的程度，所以李世民也对他们没有多少担心之处。即便是侯君集等人造反，也不过是飞蛾扑火，甚至引不起李世民的震怒来。
所以说啊，当一个人有了能力之一并不一定是好事，你看看程咬金，在外人眼里撒泼打浑，打仗勇猛，又是福将，最后活的逍遥，什么也不怕，自己儿子女儿也是过的平平安安，这样的人才是聪明。
好在李靖也是聪明之人，他知道李世民一直都猜忌他，所以他一直表现就是自己