杨广决定营造东都、普选美女后，即刻传旨令宇文恺、封德彝营造显仁宫于洛阳，天下各类材料俱听凭选用。从各州府征发大批民夫，加急遣往东都，充作役使之力。营造行宫的匠作工费，除江都东都，现在兴役地方之外，每省府、每州县要出银三千两，加速送往洛阳。同时宣许延辅等十个有头有脸的太监，令他们十人分往天下普选美女。不论地方，只选十五至二十，上相上等的美女，选到便立即送入京来备用。
宇文恺、封德彝领了旨意后便即可奔赴洛阳。逼着各州府加速征集人力，采集材料。因为催促得急，需索得又多，很快便搞得四方骚动，百姓遭殃。而许廷辅等人领了旨意之后，也飞快地前往各地，大张皇榜，捉媒供报，催选美女，很快也搞得四方鼎沸。
历来君王向百姓索取人力物品，中间都要经过无数官吏，难免会出现假公济私、克扣盘剥之事。建造行宫的工程浩大，需索又杂，各级官吏层层盘剥下来，对百姓大加欺诈，乃至于敲骨吸髓，搞得百姓苦不堪言。而许庭辅等人普选美女，仗着皇命在身，不顾死活得硬催，逼得各地官员慌不择路，难免对百姓强征硬讨。许庭辅等人手脚又不干净之辈，随便又向各州府敲诈钱财。官吏们岂肯自己掏腰包满足他们的贪欲，自然要从百姓身上征索，自己还要抽点油水。百姓们被害得失人失财，怨声鼎沸。
把百姓大大栽害了一番之后，宇文恺等人终于把显仁宫建成了。显仁宫里琼门玉户，金殿瑶阶，飞栋冲霄，连楹接汉，恍然如神苑仙家，九天帝阙。而督造之臣虞世基为了讨好杨广，又上表奏请杨广在显仁宫旁再修西苑。杨广现在只担心行宫不够奢华宽敞，一奏即准。虞世基便在选定之地的南半边开了五个湖，每湖方圆十里，在湖边种满奇花异草。湖旁筑长堤，一百步设一亭，五十步设一榭，堤边栽满桃花柳树。又寻最上等的材料，造些龙船凤舸，放在众湖之中以备游览之用。在北边掘一个北海，方圆足足有四十里，筑渠与五湖相通。又在北海中造起三座山：一座蓬莱，一座方丈，一座瀛洲，仿海上三神山。山上又筑起楼台殿阁，与奇峰怪树交相掩映。山顶被堆得高出百丈，站在山顶便可以回眺西京。交界中间造正殿，又在海北一带凿一道长渠，引外边活水，曲通于海。在渠旁建十六院，以便安置宫女嫔妃。建造西苑时虞世基极尽奢华之能事。殿堂苑墙，庭院台榭均以琉璃作瓦，紫脂泥壁，以至于金装银裹，用了不知多少奇材异料，远看便如锦绣裁成、珠玑造就一般灿烂光华。建成之后又在宫苑中种满珍奇花木，放上珍禽异兽，把宫苑里搞得百花满园，桃李环屋，芙蓉绕堤，仙鹤成行，青鹿交游，说不尽的奢华美丽。不知坑害了多少性命，耗费了多少钱粮。