李世民虽因赏赐李神通田庄一事得罪过张婕妤，但也"遍见诸妃"，"有以赂遗"，试图改善关系。其妻长孙氏更是频繁出入宫禁，在高祖和妃嫔之间"尽力弥缝"，以争取后宫支持，但收效甚微。
武德六年（623年）以后，李世民深感处境艰难，曾对人感叹"不为兄弟所容，实有功高不赏之惧"。兄弟间的猜忌与敌意日益加深，形同水火。
武德七年（624年）六月，李渊前往仁智宫（今陕西宜君西南）避暑，留太子李建成居守长安。李建成派人运送铠甲至庆州，途经豳州时被揭发。同时，宁州人杜风举也赶赴仁智宫告发太子与庆州都督杨文干勾结谋反（一说李建成私下吩咐杨文干"募健儿送京师"，"欲以为变"）。
李渊闻讯大怒，立即召李建成至仁智宫究问，又命司农卿宇文颖赴庆州传召杨文干。不料宇文颖到庆州后，反而煽动杨文干起兵叛乱。李渊惊怒交加，担心事态扩大、牵连太子党羽众多，遂派李世民前往讨伐，并私下许诺："杨文干事成后，立汝为太子，废建成为蜀王，以蜀地狭小偏僻，不足为患。"
然而李世民平乱归来，李渊却在李元吉与诸妃的苦苦哀求，以及封德彝等人的游说下改变主意。他仅令李建成回京居守，"惟责以兄弟不睦"，将责任推诿于东宫和秦王府的幕僚王珪、韦挺、杜淹，将其流放外地了事。李世民空欢喜一场，对父亲的出尔反尔深感失望。
武德九年（626年），矛盾终于激化到顶点。李建成夜召李世民饮酒，暗中下毒，李世民饮后"心中暴痛，吐血数升"，险些丧命。李渊得知后无可奈何，对李世民说："看你们兄弟，终究是不和，一同待在京邑，必生忿争。"他提出一个折中方案：命李世民返回陕东道大行台所在的洛阳，"自陕以东，悉宜主之"，并可建天子旌旗，效仿西汉梁孝王刘武的故事，实际上是将天下一分为二。
李建成、李元吉闻讯大惊，认为放虎归山、于己不利，遂暗中阻挠。一面派人上书谏止，一面入宫对李渊陈说利害，称李世民若据洛阳，"有土地甲兵，不可复制"。李渊耳根软弱，再次放弃此议。
此后李建成加紧行动，或收买、或贬谪，翦除李世民的羽翼。秦王府幕僚人人自危，"日夜劝世民诛建成、元吉"。李世民犹豫未决，念及兄弟之情，迟迟不忍下手。
恰在此时，突厥入寇，李建成举荐李元吉督诸军北征，并奏请带走秦王府的主要将领尉迟敬德、程知节、秦叔宝等及精锐士卒。此举意在彻底架空李
…。。