很久很久以前，有一个人的名字叫做淳于棼。他爱喝酒，可酒量却不怎么好。瞧！他今晚又在跟朋友在那颗大槐树下喝酒了。今天他多喝了几杯酒，好像是因为好久没有见到两个朋友了，心头一高兴，就忘记了自己酒量不好的事，不一会儿，便因为喝太多而醉倒了。他的朋友把他扶到床上休息，便离开了。
睡觉时，淳于棼做了一个梦。他梦到自己一个人在树下喝酒，突然，树干这里出现了一个洞，里面出来了一个人，于是淳于棼和那个人交谈了一下。原来，那个人是大槐国的使者，专门来找人才的。使者看淳于棼长得不错，看起来蛮有学问，便带着他进入了大槐国。他们到了大槐国，淳于棼先去见国王，国王见他长得不错，看起来也很有学问，非常高兴，便将自己的女儿许配给了他。
因为大槐国的南柯郡有一哥为了金银财宝而卖命的官员，害得那里民不聊生，于是国王便派淳于棼去管理南柯郡。淳于棼到了南柯郡以后，宣布了几条规定：在这里，没有贵贱贫穷之分，只要救助难民、穷人的人，都是好市民；市民以后买东西价钱减少百分之五；市民交给官府的税也减少百分之十。这几条规定下来，百姓们欢呼雀跃。几个月后，国王视察这个地区，发现百姓过上了幸福的生活，便奖励了淳于棼，而淳于棼把国王的赏赐分给了百姓们，他更受百姓们的爱戴。
过了一段时间，敌国来进攻大槐国，这次敌人像打了兴奋剂一样，一直猛攻，很快达到了主城附近。国王急得像热锅上的蚂蚁团团转，赶紧召集文武大臣想办法。有一个人推荐说让淳于棼来领军抗敌，国王便立刻让淳于棼带兵迎敌。可是淳于棼根本不懂兵法，也打了一个打败仗，土头土脸的回来了。国王知道后，气得发狂，就将淳于棼贬为平民。淳于棼心想：哎，我一世英名，偏偏就毁在这个事情上。越想越想不通，于是他大喊一声，想把心中的郁闷一吐为快。
而这一声大喊把淳于棼从梦中惊醒，淳于棼才发现原来这些只是一个梦。他看了看那棵大槐树，原来大槐国只是大槐树下的一个蚂蚁洞。
南柯一梦这个故事形如一场大梦或比如一场空。