铁云换了一个环境，不再是道台衙门公子，街上也没有人朝他指指点点“这位就是道台少爷”。他现在是平头百姓了，住的是普通民宅，远离官衙，出入无人注目，少人恭维，平淡的生活使他恍恍若有所失。但也有好处，无拘无碍，自由自在，本来就落拓不拘小节，举止放浪的他，此时更无需时时检点了。可惜家中天地太小，上有父母管教，下有大哥的约束，大哥一双严厉的眼睛仿佛对他老是看不顺眼，有乖礼教的地方，轻则当面呵斥，重则禀告老父，少不了一顿教训。父兄忙于置产，他成了一个累赘的闲人，无人理会，古板的少奶奶嘉丽又栓不住他的心，他的心早飞到城外西苑去了，那儿有美妓，有醇酒，有戏园杂耍，有斗鸡走狗三教九流的朋友，令他向往，令他陶醉。他为人风流，上回去扬州时，就已有了几个喜好玩乐的朋友，把他引入妓院，“初聆弦索语，乍餍绮罗香。菱姐饶憨态，青儿爱淡妆。琵琶真荡魄，钗钏烂生光。”后来回到淮安，渴爱寻花探柳的姐夫庄克家又把他带到西苑妓院，沉缅于冶语艳情之中。“江湖愁日下，风雨返山阳。更扫陶潜径，爱修子贡墙。南河寻故址，西苑访新庄。忽见双珠出，聊探一脔尝。”《忆丙子岁（光绪二年）二十六韵》。现在寂寞无聊，三姐夫又来邀他作伴，脚一滑，又走向西苑寻欢作乐去了
转眼到了光绪四年，铁云日日浸淫在妓馆女色之中，日子久了，哪有不透的风声，一日传到孟熊耳中，立即禀告了老父，成忠深恨儿子不成器，把铁云叫了来狠狠地训斥了一顿，不许他再去西苑
朱夫人乘机劝道：“铁云成亲五年，除了过继的大章，只生了个女孩
我们一共只有两房儿子，二房若再无子，刘氏门中更觉人丁衰落，不是兴旺气象。不如让他去扬州与衡家姑娘圆房，一则早生儿子，二则他与若英感情甚好，或许能栓住他的心，不致于再去不三不四的地方胡闹。”成忠想想也是，便给了铁云一千两银票，让十三岁的李贵跟了去扬州
朱夫人也让儿子带去四项珍贵的首饰，作为给若英的见面礼。嘉丽听说丈夫去扬州纳妾，也拿出一对绣花枕套作为赠礼。铁云又和母亲说了，若英进门之后仍然在扬州常住，因为衡母无人照应。好在扬州文风兴盛，人才荟萃，淮安比较闭塞，若是读书交友做学问，还是住在扬州为好，所以他准备一半时间在扬州，一半时间回淮安，可以两边兼顾。朱夫人本不甚喜欢这个不听话的儿子，在不在身边，倒也无所谓，和成忠说了，都答应了