公元755年，安史之乱爆发。第二年唐玄宗逃至马嵬坡(今陕西兴平县西北)处时，随行将士处死宰相杨国忠，并强迫杨玉环自尽，史称“马嵬坡兵变”。兵变后唐玄宗西逃，太子李亨在灵武(今宁夏省内)即位，是为唐肃宗。
朝廷是在一个内忧外困的情况下建立起来的，唐肃宗深感举步维艰，于是急召因避杨国忠弄权而归隐山林的李泌相辅。二人相见后，唐肃宗非常高兴，事无小都向他咨询，对他言无不从，甚至睡觉时也同榻而眠。
后来，李泌看到唐肃宗宠信皇后张良娣，纵容她F涉政事;又任用宦官李辅国专权，国家朝政在这两派势力的斗争下，越来越乱。李泌感到自己一人之力势单力薄，待在朝中已经成为了别人眼中钉，为了避免灭族，李泌决定再次退隐山林。
因此，当长安收复后，李泌就对唐肃宗说：“您对我的恩情重如山，如今我已经粗浅地回报了一些圣恩，从今以后，请陛下准许我做个闲人吧。”
唐肃宗不同意，说：“我同先生忧患多年，应与先生共同享乐，您为什么要离开我呢?”李泌对挽留之情深厚的唐肃宗说我有五不可留，希望您听完后让我离开，免于一死。”
唐肃宗连忙问哪五个不可留的理由。
李泌回答说：“我遇您太早，您任我太重，宠任我太深，我的功劳太高，事迹太奇，所以不能留在朝中。如果您不让我走，就是杀了我。”
唐肃宗再三挽留都没有用，后只得同意了李泌的请求。
临行之际，李泌对唐肃宗说：“您对我这么信任、这么恩宠，建宁王被冤杀一案我也不敢说。现在我说出来，不是想追究此事，而是提醒您将来不要出现类似的情况。”
唐肃宗吃惊地说：“建宁王听信小人的话，谋害兄长，想夺储位，我不得不把他赐死，先生应该很清楚啊!”
李泌摇摇头：“建宁王如果有此心，他的兄长广平王应该怨恨他，可是每当广平王跟我谈起此事来，都哭着说弟弟冤枉。况且平定叛乱时，您想让建宁王为天下兵马元帅，我不同意，请您改任广平王。如果建宁王想夺太子位，一定非常记恨我，为什么后来他却对我更加恭敬和友善呢?”
听着听着唐肃宗也有感于怀，忍不住哭了：“先生说得对，我知道错了，但事情已经过去，我不想再听这事了。”
李泌说：“我提起此事，是为了让陛下警戒将来。当年天后(武则天)有四个儿子，长子太子李弘因其聪明招来杀身之祸，改立次子李贤，李贤内心恐惧，就作了一首《黄台瓜辞》：‘种瓜黄台下，瓜熟子离离。一摘使瓜好，再摘使瓜稀，三摘尤可为，四摘抱蔓归。’情意恳切，他的目的是想使天后感动，但最后还是流徙而死于黔中。而今您已经摘了一个瓜了，千万不能再摘了。”唐肃宗深受震动，说自己•定会i己住的，让李泌放心。这次谈话后，李泌即入衡山，归隐泉林去广李泌之所以选择在临别时说出这么一•番肺腑之言，是因为他感到皇后张良娣仗宠想立自己亲生的儿子为太子，为此就暗地里捏造流言，构陷广平王。皇宫立嗣历来是个敏感而危险的话题，各方势力的眼线众多，关系复杂，李泌不敢在庭广众之下表明，临走之前说出来，既给唐肃宗提个醒，同时也提高了自身的安全系数，可谓煞费苦心。
李泌深知肃宗无远图、无略、无洪量、无厚德，重于私情、昧于事理、患难之时尚可折节下士，太平之时则难兼听忠言，伴君如伴虎，不如及早抽身为妙。