待郑元和回来，已是人去楼空，鸨母对他冷言相讽，绝口不露李亚仙的去向。郑元和明白自己身无分文。已经没有资格再做青楼娇客，李仙亚毕竟不是自己名正言顺的妻子，也就无法与鸨母论理。沉落于贫寒孤寂中的郑元和开始想到家乡和父母，想到自己前来京城的初衷，如今不但功名无成，而且败落到这般地步，他根本无法回家向父母交待。
不管怎么说，总得先找一个落脚和吃饭的地方才行，于是他只好厚着脸皮去找长安城中的亲戚朋友。大家虽然还客客气气地对他，但谁都知道他那段荒唐的历史，心中对他十分鄙夷，因而也就没有谁愿意收留他长住。
他失意、他愤怒、他诅咒、他发狂似地在长安街市上流浪，上顿不接下顿。最后，还算凭着他的一点才识和表，谋到一份“凶肆歌者”的差事，勉强解决了温饱之需。所谓“凶肆歌者”，就是殡仪馆里的司仪人员，包办撰写祭文、表礼司仪、悲唱挽歌、执绋送葬等一整套丧事。因古人忌讳死人，所以这种职业被视为下贱之职，一般正经的读书人是不愿意去做的。郑元和堂堂一个官家弟子，现在来做这种事，实在也是迫不得已。对这一套工作，郑元和倒是颇能胜任，他文章感人，仪态从容，歌声清越，还常常一边唱挽歌，一边想到自己悲凉的遭遇。痛切之情愈加逼真，这样还时常能获得丧家额外的赏金。生活问题虽然暂时不用发愁，但是徒有满腹经论，无以发挥，前途茫然，不知将来会走到怎么地步？他真怕自己的一生就在做“凶肆歌者”中浑浑噩噩地过去了！
郑仁仰在常州左等右盼，巴望着儿子的好消息传来。先前还风闻儿子在长安舞花弄月的消息，但他心想青春少年做点荒唐事，无须大惊小怪。后来新科发榜了，他从前看到后，从后看到前，不但没有儿子的名字，竟然没了一点点儿子的音讯。于是他以入京觐皇上为由，来到长安，寻找宝贝儿子。经过几天的奔波、四下的探访，最后竟然在一个送葬的行列中找到了郑元和，他正手执丧幡，长放悲歌。见到此情此景，素重脸面的郑刺史气得全身发抖，几乎不敢相信亲眼所见。待他回过神来，不由分说地命左右把郑元和从队伍中拖出来，挟持到郊外的曲江杏园墙外，扬起皮鞭，对儿子一顿没头没脑的抽打，边打边怒骂到：“老夫望子成龙，想不到你的志行如此卑贱，我还未死，你就大唱起挽歌来，真是玷辱了郑家的门风，愧对列祖列宗！”发泄之后，郑刺史带着随从转身离去，临走时丢下一句话：“从今以后，我没有你这个儿子，你也没有我这个老子了！”
郑元和被打得遍体鳞伤，加之又羞又悲。只剩下悠悠一线气息。后来被好心的过路人找来医生勉强救活，但伤处一直未愈，又值盛夏，全身肉烂生蛆，臭不可闻，无人愿管，成了一个路边的乞丐。秋叶落尽，又是冬初，郑元和仍然是一袭破烂的单衣，瑟缩在东城门角，饥寒交迫，竭尽最后一点气力发出乞讨的哀号。
李亚仙被鸨母软禁了一段时间，行动得不到丝毫自由。过了些时候，鸨母渐渐放松了监视，她便设法四处打听郑郎的消息，却一直了无音讯，让她几乎都绝望了。这天乘车路过东城门，忽闻一阵哀乞声。她不由自主地心中一沉，命车夫放慢车速仔细辨听，那声音好熟悉！于是她轻轻掀开车幔，寻声望去，那蜷缩在墙角的乞丐竟然正是她梦寐以求的郑郎。不由泪如泉涌，毫不顾路人惊疑的注视，冲到郑元和身旁，脱下身上的披风，裹在郑郎身上，也不嫌弃他身上的污秽和腥臭，把虚弱的郑郎抱在怀中，呜呜咽咽地大哭了起来。