王氏家族的人如此花天酒地地过着豪华生活，这笔不少的开销可都是要转嫁到老百姓身上去的。老百姓对他们极为不满，就作歌讽刺道：“五侯初起，曲阳最怒。坏决高都，连竟外杜。土山渐台西白虎”，那时王政君的五个兄弟在同一天被封为列侯，号称“五侯”。这首民歌就是谴责他们起造府第，穷奢极欲。当时土地兼并十分严重，奴婢买卖日益猖獗，西汉的统治基础已经开始不那么稳固了。
而王家人的所作所为对这严重的局势无异于火上浇油。那时的人们都相信天人感应，所以面对着这糟糕政事，老天爷也克尽职守，变出许多“灾异”来：又是日蚀，又是地震，什么刮风下雨的就更不在话下。弄得皇帝和大小臣僚整天惶恐不安，小心检讨自己究竟是在什么地方得罪了老天爷。王氏的骄奢本来就是众矢之的，现在就被一些大臣揪出来承担得罪老天爷的罪责。王章，刘向等人天天向皇帝上书，声讨王氏的罪过。但所谓天有不测风云，老天爷弄出来的“灾异”究竟因为什么，其实谁都说不太清楚。皇帝就被这“天变”的官司弄得晕头转向，最后，到底王家还是他的亲戚，王太后又一直在他耳朵边哭哭啼啼，王章和刘向就倒了霉。王章被投入监狱，不久竟死在里头。刘向总算因为他是汉室宗亲，便被赶回了老家退休去了。这么一来，王家的权势更加不可一世，汉成帝也就索性把大权交出，任凭他们去为所欲为。
诸事不管的汉成帝更加沉溺到与赵氏姐妹的欢爱中去。由于他有“不举”的毛病，就命人四处寻访春药。不久果然有方士给他献上所炼的大丹，叫做“慎恤胶”。这药很有效力，汉成帝只消一丸就能与赵合德彻夜欢愉。赵合德怕这宝贝被其它宫女所得，就撒娇弄痴的逼着成帝将所有的药都交给自己保管。结果有一天，两人都喝醉了，赵合德就趁醉一下子给皇帝喂了七颗丹药。
皇帝吃了这么多丹药，特别亢奋，这天夜里九成帐里春光无限，侍立殿外的宫婢终夜都听得见他和赵合德的嘻笑之声。但正所谓乐极生悲吧，皇帝早已被掏虚的身体已经经不得这样的折腾，竟然死在了赵合德身上，真是“精尽人亡”，从此长留这“温柔乡”了。想到他爷爷汉宣帝当年对他的期许，这个结局真是一个讽刺。赵合德一看皇帝死了，自知大事不好，为了避免接受审判而供出她和成帝的床闱之事，就自杀身亡了。
皇帝死了，没有儿子，便立了定陶王刘康的儿子刘欣为帝，是为汉哀帝。这位皇帝的荒唐比起成帝来是有过之而无不及，形容同性恋的典故“断袖”，就是在说他和宠臣董贤。而王家的权势虽然暂时受到了打击，但到底根深蒂固，不久哀帝一死，王家就又迅速地执掌了朝廷大权，到了王莽，干脆篡汉自立，建立了新朝。