来蜨园谢家是邑中书香门第，诗礼名家，几代都中过进士。谢家好治园林。乾嘉之世，是谢家鼎盛时期，盖了一座很大的园子。流觞曲水，太湖石假山，冰花小径两边的书带草，至今犹在。当花园落成时正值百花盛开，飞来很多蝴蝶，成群成阵，蔚为奇观，即名之为来蜨园。一时题咏甚多，大都离不开庄周，这也是很自然的。园中花木，后来海棠丁香，都已枯死，只有几棵很大的桂花，还很健壮，每到八月，香闻园外。原来有几个花匠，都已相继离散，只有一个老花匠一直还留了下来。他是个聋子，姓陈，大家都叫他陈聋子。他白天睡觉，夜晚守更。每天日落，他各处巡视一回（来蜨园任人游览，但除非与主人商量，不能留宿夜饮），把园门锁上，偌大一个园子便都交给清风明月，听不到一点声音。
谢家人丁不旺，几代单传，又都短寿。谢普天是唯一可以继承香火的胤孙。他还有个姑妈谢淑媛，是嫡亲的，比谢普天小三岁。这地方叫姑妈为“孃孃”，谢普天叫谢淑媛为“孃孃”或“小孃”。小孃长得很漂亮。
谢普天相貌英俊，也极聪明。他热爱艺术，曾在上海美专学过画——国画和油画，素描功底扎实，也学过雕塑。不到毕业，就停学回乡，在中学教美术课。因为谢家接连办了好几次丧事，内囊已空，只剩下一个空大架子，他得维持这个空有流觞曲沼、湖石假山的有名的“谢家花园”（本地人只称“来蜨园”为“谢家花园”，很多人也不认识“蜨”字），供应三个人吃饭，包括陈聋子。陈聋子恋旧，不计较工钱，但饭总得让人家吃饱。停学回乡，这在谢普天是一种牺牲。
谢普天和谢淑媛都住在“祖堂屋”。“祖堂屋”是一座很大的五间大厅，正面大案上列供谢家祖先的牌位，别无陈设，显得空荡荡的。谢普天、谢淑媛各住一间卧室，房门对房门。谢普天对小孃照顾得很体贴细致。谢家生计，虽然拮据，但谢普天不让小孃受委屈，在衣着穿戴上不使小孃在同学面前显得寒碜。夏天，香云纱旗袍；冬天，软缎面丝棉袄、西装呢裤、白羊绒围巾。那几年兴一种叫做“童花头”的发式（前面留出长刘海，两边遮住耳朵，后面削薄修平，因为样子像儿童，故名“童花头”），都是谢普天给她修剪，比理发店修剪得还要“登样”。谢普天是学美术的，手很巧，剪个“童花头”还在话下吗？谢淑嫒皮肤细嫩，每年都要长冻疮。谢普天给小孃用双氧水轻轻地浸润了冻疮痂巴，轻轻地脱下袜子，轻轻地用双氧水给她擦洗，拭净。“疼吗？”——“不疼。你的手真轻！”
单靠中学的薪水不够用，谢普天想出另外一种生财之道——画炭精粉肖像。一个铜制高脚放大镜，镜面有经纬刻度，放在照片上；一张整张的重磅画纸上也用长米达尺绘出经纬度，用铅笔描出轮廓，然后用剪齐胶固的羊毫笔蘸了炭精粉，对照原照，反复擦蹭。谢普天解嘲自笑：“这是艺术么？”但是有的人家喜欢这样的炭精粉画的肖像，因为：“很像！”本地有几个画这样肖像的“画家”，而以谢普天生意最好，因为同是炭精像，谢普天能画出眼神、脸上的肌肉和衣服的质感，那年头时兴银灰色的“宁缎”，叫做“慕本缎”。
为了赶期交“货”，谢普天每天工作到很晚，在煤油灯下聚精会神地一笔一笔擦蹭。小孃坐在旁边做针线，或看小说——无非是《红楼梦》《花月痕》、苏曼殊的《断鸿零雁记》之类的言情小说。到十二点，小孃才回房睡觉，临走说一声：“别太晚了！”
一天夜里大雷雨，疾风暴雨，声震屋瓦。小孃神色慌张，推开普天的房门：
“我怕！”
“怕？那你在我这儿呆会。”
“我不回去。”
“……”
“你跟我睡！”
“那使不得！”
“使得！使得！”
谢淑媛已经脱了衣裳，噗的一声把灯吹熄了。
雨还在下。一个一个蓝色的闪把屋里照亮，一切都照得极清楚。炸雷不断，好像要把天和地劈碎。
他们陷入无法解决的矛盾之中。他们在做爱时觉得很快乐，但是忽然又觉得很痛苦。他们很轻松，又很沉重。他们无法摆脱犯罪感。谢淑媛从小娇惯，做什么都很任性，她不像谢普天整天心烦意乱。她在无法排解时就说：“活该！”但有时又想：死了算了！
每年清明节谢家要上坟。谢家的祖茔在东乡，来蜨园在城西，从谢家花园到祖坟，要经过一条东大街。谢淑媛是很喜欢上坟的。街上店铺很多，可以东张西望。小风吹着，全身舒服。从去年起，她不愿走东大街了。她叫陈聋子挑了放祭品的圆笼自己从东大街先走，她和普天从来蜨园后门出来，绕过大淖、泰山庙，再走河岸上向东。她不愿走东大街，因为走东大街要经过居家灯笼店。
居家姊妹三个，都是疯子。大姐好一点，有点像个正常人，她照料灯笼店，照料一家人吃饭——一日三餐，两粥一饭。糙米饭、青菜汤。疯得最厉害的是兄弟，他什么也不做，一早起来就唱，坐在柜台里，穿了靛蓝染的大襟短褂。不知道他唱的是什么，只听到沙哑沉闷的声音（本地叫这种很不悦耳的声音为“呆声绕气”）。他哪有这么多唱的，一天唱到晚！妹妹总坐在柜台的一头糊灯笼，脸上带着一种奇怪的微笑。姐妹二人都和兄弟通奸。疯兄弟每天轮流和她们睡，不跟他睡他就闹。居家灯笼店的事情街上人都知道，谢淑媛也知道。她觉得“硌应”。
隔墙有耳，谢家的事外间渐有传闻。街谈巷议，觉得岂有此理。有一天大早，谢普天在来蜨园后门不显眼处发现一张没头帖子：
管什么大姑妈小姑妈，
你只管花恋蝶蝶恋花，
满城风雨人闲话，
谁怕！
倒不如海走天涯，
赤条条来去无牵挂，
倒大来潇洒。
谢普天估计得出，这是谁写的，——本县会写散曲的再没有别人，最后两句是一种善意的规劝。
他和小孃孃商量了一下：走！离开这座县城，走得远远的！他的一个上海美专的同学顾山是云南人，他写信去说，想到云南来。顾山回信说欢迎他来，昆明气候好，物价也便宜，他会给他帮助。把一块祖传的大蕉叶白端砚、一箱字画卖给了季匋民，攒了路费，他们就上路了。计划经上海、香港，从海防坐滇越铁路火车到昆明。
谢淑媛没有见过海，没有坐过海船，她很兴奋，很活泼，走上甲板，靠着船舷，说说笑笑，指指点点，显得没有一点心事，说：“我这辈子值得了！”
谢普天经顾山介绍，在武成路租了一间画室。他画了不少工笔重彩的山水、人物、花卉，有人欣赏，卖出了一些，但是最受欢迎的还是炭精肖像，供不应求。昆明果然是四季如春，鸡、干巴菌、牛肝菌、青头菌都非常好吃，谢淑媛高兴极了。他们游览了很多地方：石林、阳中海、西山、金殿、黑龙潭、大理，一直到玉龙雪山。读万卷书，行万里路，谢普天的画大有进步。他画了一些裸体人像，谢淑媛给他当模特。画完了，谢淑媛仔仔细细看了，说：“这是我吗？我这么好看？”谢普天抱着小孃周身吻了个遍，“不要让别人看！”——“当然！”
谢淑媛变得沉默起来，一天说不了几句话。谢普天问：“你怎么啦？”——“我有啦！”谢普天先是一愣，接着说：“也好嘛。”——“还好哩！”
谢淑媛老是做噩梦。梦见母亲打她，打她的全身，打她的脸；梦见她生了一个怪胎，样子很可怕；梦见她从玉龙雪山失足掉了下来，一直掉，半天也不到地……每次都是大叫醒来。
谢淑媛的肚子一天比一天大，已经显形了。她抚摸着膨大的小腹，说：“我作的孽！我作的孽！报应！报应！”
谢淑媛死了。死于难产血崩。
谢普天把给小孃画的裸体肖像交给顾山保存，拜托他十年后找个出版社出版。顾山看了，说：“真美！”
谢普天把小孃的骨灰装在手制的瓷瓶里带回家乡，在来蜨园选一棵桂花，把骨灰埋在桂花下面的土里，埋得很深，很深。
谢普天和陈聋子（他还活着）告别，飘然而去，不知所终。