数月后，柳生落榜归来。他在黄色大道上犹豫不决地行走。虽一心向往与小姐重逢，可落榜之耻无法回避。他走走停停，时快时慢。赴京之时尚是春意喧闹，如今归来却已是萧萧秋色。极目远眺，天淡云闲，一时茫茫。眼看着那城渐近，柳生越发百感交集。近旁有一条河流，柳生便走到水旁，见水中映出的人并非锦衣绣缎，只是布衣寒褛。心想赴京之时是这般模样，归来仍旧是这般模样。季节尚能更换，他却无力锦衣荣归，又如何有脸与小姐相会。
柳生心里思量着重新上路，不觉来到了城门口。一片喧哗声从城门蜂拥而出，城中繁荣的景象立刻清晰在目。
柳生行至喧闹的街市，不由止步不前，虽然离去数月，可街市的面貌依然如故，全不受季节更换影响。柳生置身其间，再度回想数月前与小姐绣楼相逢之事，似乎是虚幻中的一桩风流逸事。然而小姐临别之言却千真万确，小姐的声音点滴响起：
"不管榜上有无功名，还请早去早回。"
柳生此刻心里波浪迭起，不能继续犹豫，便急步朝前走去。小姐伫立窗口远眺的情景，在柳生急步走去时栩栩如生。
因为过久的期待而变得幽怨的目光，在柳生的想象里含满泪水。重逢的情形是黯然无语，也可能是鲜艳的。他将再次攀绳而上则必定无疑。
然而柳生行至那富贵的深宅大院前，展示给他的却是断井颓垣，一片废墟。小姐的绣楼已不复存在，小姐又如何能够伫立窗前？面对一片荒凉，柳生一阵头晕目眩。眼前的一切始料不及，似乎是瞬间来到。回想数月前首次在这里所见的荣华富贵，历历在目似乎就在刚才。再看废墟之上却是朽木烂石，杂草丛生，一片凄凉景象。往日威武的石狮也不知去向。
柳生在往日的正门处呆立半晌，才沿着那一片废墟走去。
行不多远他止住脚步，心说此处便是偏门。偏门处自然也是荒凉一片。柳生继续行走，来到了往日的后花园处，一截颓垣孤苦伶仃站立着，有半扇门斜靠在那里。这后门倒还依稀可见。柳生踏上废墟，深浅不一地行走过去，细细分辨何处是九曲石桥，何处是荷花满盖的池塘，何处是凉亭和朱栏，何处是翠竹百十竿，何处是桃杏争妍。往日的一切皆烟消云散，倒是两棵大枫树犹存，可树干也已是伤痕累累。那当初尚是柘黄的枫叶，入了秋季，又几经霜打，如今红红一片，如同涂满血一般，十分耀眼。几片落叶纷纷扬扬掉落下来，这枫树虽在盛时，可也已经显露出落魄的光景来了。
最后，柳生才来到往日的绣楼前。见几堆残瓦，几根朽木，中间一些杂草和野花。往昔繁荣的桃杏现在何方？唯有几朵白色的野花在残瓦间隙里苟且生长。柳生抬头仰视，一片空旷。可是昔日攀绳而上进入绣楼的情景，在这一片空旷时隐约显露出来。显然是重温，可也十分真切，仿佛身临其境。然而柳生的重温并未持续到最后，而在道出那句"今日一别，难再相逢"处蓦然终止。绣楼转瞬消去，那一片空旷依旧出现。柳生醒悟过来，仔细回味这话，没料到居然说中了。
此刻暮色开始降临，柳生依旧站立片刻，然后才转身离去。他离去时仍然走来时的路，如数月前一般走出后门。此后在废墟一旁行走，最后一次回顾昔日的繁荣。
待柳生来到街市上，已是掌灯时候。两旁酒楼茶亭悬满灯笼，耀如白日。街上依旧人流不息，走路人并不带灯笼。柳生向两旁卖酒的，卖茶的，卖面的，卖馄钝的一一打听小姐的去向，然而无人知晓。正在惆怅时，一小厮指点着告知柳生：
"这人一定知晓。"
柳生随即望去，见酒店柜台外一人席地而坐，蓬头污面衣衫褴褛。小厮告知柳生，此人即是那深宅大院的管家。柳生赶紧过去，那管家两眼睁着，却是无精打采，见柳生过去，便伸出一只满是污垢的手，向柳生乞讨。柳生从包袱里摸出几文放入他的手掌。管家接住立即精神起来，站起把钱拍在柜台上，要了一碗水酒，一饮而尽。随即又软绵绵坐落下去斜靠在柜台上。柳生向他打听小姐的去处，他听后双眼一闭，喃喃说道：
"昔日的荣华富贵呵。"
翻来覆去只此一句。柳生再问过一次，管家睁开眼来，一双污手又伸将过来。柳生又给了几文，他照旧换了水酒喝下。
而回答柳生的仍然是：
"昔日的荣华富贵呵。"
柳生叹息一声，知道也问不出什么，便转身离去，他在街市里行走了数十步，然后不知不觉地拐入一条僻巷。巷中一处悬着灯笼，灯笼下正卖着茶水。柳生见了，才发觉自己又饥又渴，就走将过去，在一条长凳上落坐，要了一碗茶水，慢慢饮起来。身旁的锅里正煮着水，茶桌上插着几株时鲜的花朵。柳生辨认出是菊花、海棠、兰花三种。柳生不由想起数月前步入那后花园的情形，那时桃、杏、梨三花怒放，而菊、兰和海堂尚未盛开。谁想到如今却在这里开放了。