好友同僚斟酌后，三易其稿，终于呈上了一份反对的奏章给皇帝。结果此事被唐王知晓，在崇祯面前弹劾陈子壮，于是崇祯以“非祖间亲，欺罔恣肆”将其下狱。
刑部大牢里，与陈子壮同时被囚的官员共六十六名，除他之外的部级官员还有二十三人，包括那位在陕西车厢峡误信李自成诈降，使得农民军死而复生的五省兵马总督陈奇瑜。最后幸得众多同僚及皇太后求情，陈子壮才被释放，罢官遣返。
陈子壮在京城前门痛哭叩首，告别了皇帝，登上驴背，出潞河登舟南返，写下了《潞河感述》：
夹道看人叱短驴，青门杨柳肯萧疏？
开笼宠过乘轩鹤，得水欢深涸辙鱼。
天外先驰生入梦，匣中教卷未焚书。
兴公不为轻饶舌，那得寻君赋遂初。
谁想他还未到家，便听说髡贼已经占领了广州城。若是他此时返回京城，说不定缺兵少将的崇祯皇帝会任命他一个南赣总督之类的职务，调动数省兵马协助熊文灿剿灭髡贼。但他心忧母亲，于是快马加鞭赶在髡贼封锁关隘之前回到了广州。
这种世事不随自己的意愿而改变的无力感令陈子壮颇感沮丧，他想筑云淙别业，其实也另有苦心，一以祈母寿，一以耗壮心。
“陵谷流迁非我事，笑啼淡荡逐人场。”离京时的人生感悟，他至今仍记忆犹新。他自己也想借这青灯古佛，收拾心情。
“母亲教训的是，儿子定不辱家风，誓与那髡贼周旋到底，复我大明江山。”陈子壮答得恭敬，实则内心颇为迷茫。
“大哥，你可还记得我与你提起过的奇男子岩野先生？”说话的是刚刚搀扶朱老太太的年轻人，陈子壮的胞弟陈子升，与他年龄相差十九岁。
“记得，我在京时曾与他有过书信往来，此人知古今厉害，怀经济大略，只可惜屡试不中，实乃圣上之损失。”
岩野先生就是“岭南三忠”里的陈邦彦，字令斌，号岩野。陈子壮在京时，陈子升与陈邦彦、黎遂球等人往来颇多，关系非同一般。
陈子升道：“前些日子岩野先生曾与我密会，他欲登门拜访大哥，共商大事。”
“看来我岭南也不尽是些酒囊饭袋、贪财忘义之辈。陈令斌忠君体国