当时祖父病重不能理事，族中其他人生怕得罪赵王，切割为求自保。
而她的小叔父作为赵王鹰犬爪牙，与谢承政见不合，更因为祖父偏爱她父亲而对她们多有怨恨之心，以不忍兄长骨肉分离为由，逼她和母亲离京随父亲流放。
母亲出身小门小户，娘家也已无人供她们母女投奔，再加上双亲鹣鲽情深，于是母亲带她跟在父亲流放队伍后面。
一贯体弱多病的母亲连日奔波颠沛，带着她一路走，一路病，最后病倒在青石镇外的小村庄，她正是因为到镇上求人帮母亲治病才遇上孔覆。可惜母亲病入膏肓、无力回天，孔覆纵有妙手也救不回来，况且那时他的医术并没有如今这般炉火纯青，他帮忙安葬了母亲并收留了她。
被流放的谢承已经走远，当时只有九岁的时雨无法追赶父亲行程，再加上谢承自己带罪之身，她跟着只会更添累赘。