，但时机一直不成熟
如果李元吉老老实实守着武德门，李世民向李渊强说，反而会显着他多事
如今，发生了李元吉放护军进武德殿院中驻扎之事，李世民就有了更换武德门守卫的理由
李世民当即去见李渊，向李渊陈述了其中的利害
李渊也觉得李世民所说的事不得不防，从李建成、李元吉私募勇士，调动突骑骑兵之事来看，李建成似乎已开始蠢蠢欲动假如他与李元吉联合，带兵从武德门进入，宫中除了宫女，就是宦者，一个个手无寸铁，那可是如入无人之境
李渊当即拟了手敕，交给李世民，让李世民带领武卫、监门卫到武德门查看齐王府护军撤离情况，并由监门卫接管武德门守卫
李世民带人来到武德门，让齐王府守卫去通禀李元吉
李元吉来到武德门，听说要对武德门守卫进行换防，心中恼怒万分，但李世民拿有李渊手敕，李元吉敢怒不敢言，只得照李渊手敕执行
李世民派人进入武德殿院中，对齐王府护军撤离情况进行督查，直到撤出最后一兵一卒，才让监门卫将武德门守卫接管
李建成、李元吉私募勇士，私调突骑骑兵入京，遭到李渊训斥，以遣散所募勇士，太子府右虞侯率可达志流放巂州，撤换武德门守卫收场
李建成、李元吉与李世民之间的争斗，也暂时消停了几日
到了五月，天气渐渐变得暑热
一日，观音婢和李世民对坐于垂拱后殿，观音婢身着轻薄的纱衣，手中不停摇着团扇，仍是香汗淋漓
李世民看着观音婢说道，“天气越来越热，我们是否找一个地方避一下暑热？”
观音婢发牢骚道，“听说宜州凤凰谷的仁智宫快要建好，到时候你肯定要陪阿爷到仁智宫避暑，我们母子却无资格跟着去，只能靠手中的扇子来解暑了”
说着，观音婢将手中的团扇连着扇了几下
李渊崇尚节俭，不主张大建宫室
李世民听说，宜州凤凰谷中仁智宫虽是名为行宫，实则是建得十分简陋，并非宫殿建筑，多为草房瓦舍，地方也狭小
按李世民的估计，到时候他随着过去，也要和随行的护卫们一起在宫外搭设营帐居住，所以李世民也不想观音婢带着孩子们去凑这个热闹
另外，李世民心中还谋划着一件大事，也不想让观音婢和孩子跟着去冒险
有了这个打算之后，李世民觉得还是让观音婢留在弘义宫为好，现在见观音婢抱怨天热，就笑着道，“我有一个好去处，说不定那里可以躲避暑热”
观音婢停下手中的扇子，问道，“是哪里？”
李世民提醒观音婢，“阿婢可否记得花园之中那处青屋瓦舍，小桥流水，蚘树修竹”
经李世民一提醒，观音婢也恍然记起那个如诗如画的地方她迫不及待地道，“我们不如现在就去看看”