后来郭圣通被废,刘秀最终还是立了阴丽华为后,她的儿子后来即位,成了汉明帝。
真正要说的是他当了皇上之后,人说「天子娶九女,诸侯纳三妇」。皇上三宫四院七十二嫔妃从来都是正常,可刘秀却是皇帝中的例外。
他对嫔嫱并没有什么兴趣,为了尽可能地减少后宫人数,他更改了西汉以来的宫廷制度,把多达十五级的后宫姬妾制度缩减为五级,除了皇后郭圣通和贵人阴丽华,其他的就是「美人」、「宫人」和「采女」。
由于他对后宫的莺莺燕燕没有兴趣,所以后头这三级连俸禄他都没给安排,不但姬妾的人数少,而且她们的寝宫,他也很少光顾。因此,其中只有许美人凑巧为他生下了儿子刘英,被封为楚王,这是刘秀唯一一个并非由郭圣通和阴丽华生育的孩子。而且,楚王所得的封国,也是十一个皇子中最差劲的。