为了进一步巩固自己的地位，在韦后的安排下，武三思次子武崇训娶了李显之女安乐公主，李、武两家又成了亲家，可谓亲上加亲。从此以后，武三思出入后宫更是家常便饭，一次，武三思进宫与韦后玩纸牌赌博游戏，赌桌就设在李显的龙床上，两人都上了龙床，一边摸牌，一边摸手，笑声连连，欢语阵阵。而李显此时也没闲着，正兴致勃勃地坐在一旁小凳上给两人记牌分，加减乘除，好不忙碌。真是自己带着绿帽子还要替情敌数钱。提前过上共产共妻生活的李显，窝囊得可谓是前无古人，难有来者。
凭着亲家、情人、情敌三人组的特殊关系，武三思肆无忌惮地扶植党羽，安插亲信，不臣之心日益显露，朝中有反对他的大臣如宰相张柬之等，皆为武三思陷害而死，一时之间，武三思把握朝政，气焰熏天。
说起来，李显不只是有个好妻子，他还有个好女儿安乐公主。安乐公主是李显的第七个女儿，小叫名李裹儿，是李显与韦氏赴房州时韦氏在途中分娩的，因当时情况窘迫，李显匆忙中撕下所穿襟袍的一部分做襁褓裹其身，遂有此名。李裹儿是李显与韦后在患难状况中抚养长大的，三人感情特别深，李显与韦氏对李裹儿十分宠爱，自幼听其所欲，无不允许，所以安乐公主从小就养成了骄横任性的脾气。待李显重回东宫后，李裹儿己十多岁了，长得是姿性聪慧，容貌美艳，武则天看见李裹儿，也格外欣赏她的秀外慧中，遂封为安乐公主，此时，李显、韦后、安乐公主是吉祥的一家。
李显重新坐上皇帝的宝座后，安乐公主时常挂念父皇的身体，一心想替朝廷分担政务，便认真地向父皇建议，加封自己做皇太女。李显虽然再怎么对她女儿百依百顺，但这个荒唐的请求也是绝不可能答应的。于是，他便委婉的拒绝了安乐公主的请求。这样，安乐公主碰了个软钉子，从此对自己的父亲心怀怨恨起来。
公元710年，即景龙四年，韦后想效法武则天君临天下的野心日渐膨胀，安乐公主对皇太女的位置也是朝思暮想，糊里糊涂的李显在她们眼里，越来越显的碍手碍脚。狠毒的母女俩一合计，干脆在一天中午给他送了一个有毒但美味的馅饼。李显并没有怀疑自己的妻子、女儿会害死自己，便傻乎乎的吃下去了。不想当天便毒发身亡，窝囊的死在了自己妻子和女儿的阴谋之下。
李显一生是极其悲惨可怜的，先是有一个空前绝后的强悍母亲，后有一个仿效婆母的淫乱妻子，更有一个把他视为皇位绊脚石的绝情女儿。母亲、妻子、女儿，男人生命中最重要的三个女人在他这里却成了冷血、恶毒、凶残的代名词。在漫长的封建社会的宫廷斗争中，是毫无亲情可言的。不知道李显在毒发痛苦倒地时心里有何感想，也许结束这种生不如死的窝囊生活，才恰恰是他最大的心愿！