，可以统辖当时大明的主要军事力量，这也为朱元璋所认可，并定以为制。
然而，在众所周知的大肆杀戮功臣之后，五府的力量大为削弱。比如在胡惟庸之狱中被诛杀的延安侯唐胜宗，平凉侯费聚和吉安侯陆仲亨，就曾任大都督府同知、佥事。以及在蓝玉党案中被诛杀的蓝玉本人，以及鹤寿侯张翼、舶胪侯朱寿、定远侯王弼，都曾就任大都督府高级长官(同知、佥事)。
因此也可以说，朱元璋对武臣大加杀戮，背后原因之一就是对于五府军权的掌控。
再然后，到了英宗土木之变，随着张辅之死，五府的势力在朝廷中枢几乎被一扫而空。而与此同时，中枢之中由文官所掌握的兵部从于谦设置团营起，重要性开始出现飞跃，就更加使得五府的地位一蹶不振。这两点本书前文有述，就不多说了。
但是，五府的衰落绝不仅仅只是由于其首脑人物被打压或者战死，其中还有更加深刻的内在因素，而这个内在因素才是眼下高务实关注的重点。
内在因素是什么？是卫所的衰落，是军户的逃亡、不堪一战。
按照高务实的理解，明代的以文制武政策固然在很大程度上限制和削弱了五府的地位和权力，但是对于五府为代表的卫所军事体系来说，只能算是一种相对的外部作用，而其在内部的因素亦有深刻影响。
明初，“五府—都司—卫所”建立起来的卫所军制，在洪武至正统时期承担了最主要的军事职能，自朱元璋着手统一战争开始，至正统年间的屡次军事行动，无不由卫所军队为主力进行。
直到正统十四年，王振挟英宗出征瓦剌所统帅的五十万京军，仍然是以卫所军制为基础的。所以，在如此情况之下，作为卫所军队的主要领导机构，五府权力势必不容小觑。
然而土木之变以后，中枢决策核心便完全集中于以文官为主的内阁和以内臣为主司礼监之上，武臣对于国家政策的干预亦不复存在。
出现这种现象，除了皇帝使用以文制武的政策之外，一个主要的内部动因便是卫所制度的不断瓦解。卫所官军已逐渐不能担任国家作战的主力，从而被募兵制所取代，导致五府在此过程中丧失了权力基础。
为什么大明对于京营的改制从来没有停过，但却始终改不出个效果？原因也就在于此。
你五府掌握的直属卫所本身都已经糜烂不堪了，怎么指望从这些卫所里挑选出来的京营能有战斗力？
而且，朝廷还长期随意使用五府统帅的军户、工匠等来做事，尤其是京畿附近有什么工程，几乎都会使用到军户。这就让京畿卫所的战斗属性越发不明显，越发显得像是一支在编奴隶。
但现在就不同了。
第一个不同，是禁卫军彻底不要军户，而是直接向