明朝万历二十三年，江南乌镇阴雨连绵，镇东头的破庙里常卧着个叫陈阿牛的青年。他爹娘在他十岁那年死于一场怪病，尸骨埋在庙后老槐树下，如今只剩他靠着给镇西张员外家放牛混口饭吃。陈阿牛生得高大，肩宽背厚，可一身洗得发白的粗布短打，再加三十岁仍光棍一条，镇里人见了他，不是躲就是绕。
张员外名叫张万霖，年过半百，脸上的肉堆得像发面馒头，手指上的玉扳指能映出人影。他家里良田百亩，镇上半条街的铺子都是他的，去年冬天还花五百两银子买了个小妾，名叫苏怜雪。苏怜雪才十六岁，是邻镇粮商的女儿，去年粮商遭了大火，爹娘都被烧死，她被牙婆卖到张府时，哭得眼睛肿得像核桃。张万霖把她当宝贝，日日让她穿绫罗绸缎，吃山珍海味，可苏怜雪的绣鞋上总沾着泥 —— 她总在深夜偷偷去后花园，对着月亮抹眼泪。
三月初三那天，张万霖带着苏怜雪去镇北的慈云寺上香。那天风大，吹得寺里的幡旗哗啦啦响，苏怜雪头上的青纱盖头被风掀起一角，露出半张雪白的脸，睫毛上还挂着雨珠。陈阿牛正好牵着牛从寺后路过，一眼就瞅见了那半张脸，顿时像被钉在原地。牛绳从手里滑出去，老黄牛啃着墙根的草，他却直勾勾地盯着苏怜雪，连眼睛都忘了眨。
苏怜雪被他看得慌，连忙把盖头拉下来，指尖都在抖。张万霖回头见了，脸瞬间沉得像庙里的阎王，几步冲过去把苏怜雪护在身后，指着陈阿牛的鼻子骂：“哪来的野小子？也不看看自己什么德行，敢盯我的人！” 陈阿牛这才醒过神，吓得连忙跪下，膝盖砸在青石板上，疼得他龇牙咧嘴。张万霖还不解气，一脚踹在他背上，骂骂咧咧地带着苏怜雪走了，留下陈阿牛趴在地上，望着他们的背影，嘴里满是血腥味。
回到张府，张万霖还在骂陈阿牛，苏怜雪坐在床边，手里绞着帕子。她想起陈阿牛看她时的眼神，不像张万霖那样满是欲望，倒带着点可怜的痴傻，心里竟莫名一动。夜里她睡不着，听见窗外有虫鸣，还有风吹过竹林的沙沙声，总觉得那声音里藏着什么，让她浑身发毛。
过了半个月，张万霖要去苏州收租，临走前叮嘱管家看好苏怜雪，不许她踏出府门半步。苏怜雪在院里闷得慌，午后去后花园散心，刚走到月洞门，就看见墙头上有个黑影。她吓得往后退了两步，仔细一看，竟是陈阿牛。陈阿牛也看见她了，慌忙缩了回去，墙头上的茅草簌簌往下掉。
苏怜雪的心跳得厉害，可不知怎的，竟朝着墙根走了两步，轻声喊：“外面的人…… 是那天寺里的大哥吗？”
墙后沉默了片刻，传来陈阿牛的声音，带着点颤：“是我…… 姑娘，我不是故意来的，就是…… 就是想看看你。”
苏怜雪咬着唇，看了看四周，午后的阳光被乌云遮住，后花园里静得吓人，只有风吹竹叶的声音，像有人在哭。她犹豫了一会儿，说道：“你…… 你要是不嫌弃，就翻进来吧，我有话跟你说。”
陈阿牛愣了愣，连忙翻墙进来，落地时没站稳，摔了一跤，手上沾了泥。苏怜雪看着他，突然红了眼：“大哥，我知道你是好人，可我…… 我就像笼里的鸟，飞不出去。要是你不嫌弃我…… 我们就做这一时的夫妻，也好过我日日守着那个老头子。”
陈阿牛听了，连忙爬起来，一把抓住她的手，他的手又粗又硬，却很暖和：“姑娘，我不嫌弃！我这辈子都不会嫌弃你！”
那天下午，他们在花园的凉亭里成就了好事。凉亭里的石桌上积着灰，梁上挂着个破灯笼，风一吹就晃，像个吊死鬼。事后苏怜雪靠在陈阿牛怀里，眼泪掉在他的粗布衣服上：“阿牛哥，这事千万不能让第三个人知道，张万霖心狠手辣，要是被他发现，我们俩都得死。” 陈阿牛连连点头，把她抱得更紧了。
从那以后，陈阿牛每天夜里都翻墙进来，和苏怜雪在凉亭里相会。乌镇的雨总不停，夜里的风带着水汽，吹在身上凉飕飕的。有一次，他们正说着话，突然听见柴房那边传来 “吱呀” 一声，像是有人开门。苏怜雪吓得立刻捂住嘴，陈阿牛也屏住呼吸，躲在凉亭的柱子后面，过了好一会儿，才听见脚步声渐渐远了。苏怜雪的脸吓得惨白，抓住陈阿牛的手，手心全是汗：“阿牛哥，我总觉得这府里不对劲，夜里总听见有人哭，就在柴房那边。” 陈阿牛也觉得害怕，可看着苏怜雪的脸，还是硬着头皮说：“别怕，有我呢。”
可纸终究包不住火。四月初十那天，张万霖提前从苏州回来了。他刚进府，就看见苏怜雪从后花园出来，裙摆上沾着几根稻草，还有一点泥土。张万霖的眼瞬间眯了起来，他记得苏怜雪最爱干净，平日里连花园的石子路都要丫鬟扫干净，怎么会沾上稻草？他把苏怜雪叫到屋里，手里把玩着玉扳指，声音冷得像冰：“你裙子上的稻草，哪来的？”
苏怜雪心里一慌，手都在抖：“老爷，我…… 我下午在花园里散步，不小心摔了一跤，沾到的。”
“摔了一跤？” 张万霖冷笑一声，“我怎么没看见你身上有伤口？还有，这泥土的颜色，是后花园的吗？”
苏怜雪说不出话，眼泪在眼眶里打转。张万霖盯着她，突然想起了那天寺里的陈阿牛，心里的火气一下子就上来了，可他没发作，只是挥了挥手：“你下去吧，以后少去后花园。”
夜里，张万霖没去苏怜雪的房里，而是躲在花园的假山后面。他手里拿着一把匕首，刀刃在月光下闪着冷光。三更时分，他看见苏怜雪悄悄走出房门，来到墙根下，轻声喊：“阿牛哥，你来了吗？”
不一会儿，陈阿牛就翻墙进来了，两个人相拥着走进凉亭。张万霖咬着牙，悄悄跟过去，听见苏怜雪说：“阿牛哥，我总觉得心里不安，张万霖好像怀疑我了，我们要是能逃出去就好了。”
陈阿牛抱着她：“怜雪，你放心，我这就去攒钱，攒够了钱就带你走，去一个没人认识我们的地方。”
张万霖再也忍不住了，猛地从假山后面冲出来，手里的匕首指着他们：“好啊！你们这对狗男女！竟敢背着我做这种事！今日我非要了你们的命不可！”
苏怜雪和陈阿牛吓得魂都没了，连忙跪在地上求饶。就在张万霖要动手的时候，管家突然跑了过来，一把抓住他的手腕：“老爷！不可啊！要是杀了他们，传出去您的脸面往哪搁？不如把那小子赶走，再把苏姑娘关起来，慢慢调教，她自然会听话的。”
张万霖喘着粗气，看了看地上的两人，又看了看管家，最终把匕首扔在地上：“好！就按你说的办！把那小子打一顿赶出去，再把苏怜雪关到柴房里，没我的命令，不准她出来！”
柴房又暗又潮，角落里堆着稻草，梁上挂着蜘蛛网，还有一股霉味。苏怜雪被关进去后，坐在稻草上，越想越害怕。夜里，她听见柴房外面有脚步声，还有人在叹气，那声音忽远忽近，像极了她死去的娘。她抱着膝盖，缩在角落里，眼泪止不住地流，心想自己这次肯定是活不成了。
可她没想到，陈阿牛没走。那天夜里，陈阿牛被张府的人打了一顿，扔在镇口，可他醒过来后，又偷偷溜回了张府附近。他躲在府外的老槐树下，等到夜深人静，才悄悄来到柴房外。他从怀里掏出一把小锯子，那是他平时放牛时用来锯树枝的，一点一点地锯着柴房的门锁。
锯了半个时辰，门锁终于开了。陈阿牛推开门，轻声喊：“怜雪？怜雪你在吗？”
苏怜雪听见他的声音，连忙从稻草堆里爬起来，扑进他怀里，哭得浑身发抖：“阿牛哥，我还以为你走了，我还以为我再也见不到你了。”
“我不走，我怎么会丢下你？” 陈阿牛擦了擦她的眼泪，“快，我们赶紧走，再晚就来不及了。”
他们趁着夜色，悄悄离开了张府，一路往南走，来到了一个偏僻的小山村。村里只有十几户人家，都靠种地为生。他们在村里租了一间小茅屋，陈阿牛靠砍柴种地过日子，苏怜雪则在家里缝缝补补。虽然日子苦，可他们每天都能在一起，心里很踏实。
张万霖发现苏怜雪和陈阿牛不见了后，气得暴跳如雷，派人四处寻找，可找了半个月，连一点踪迹都没有。后来，有人说在苏州城外看见过他们，可等张万霖派人去苏州时，又没找到。渐渐地，张万霖也不找了，只是每逢阴雨天，他就会坐在府里的凉亭里，手里拿着苏怜雪的绣帕，自言自语：“你们跑不掉的，你们跑不掉的……”
而苏怜雪和陈阿牛在小山村过了一年，苏怜雪还怀了孩子。可就在孩子快要出生的时候，村里突然来了几个陌生人，说是张万霖派来的。陈阿牛为了保护苏怜雪，和他们打了起来，可他一个人哪里打得过那么多人，最终被他们打死了，尸体扔在了村口的河里。
苏怜雪看着陈阿牛的尸体，哭得晕了过去。等她醒过来时，发现自己被带回了张府，关在了原来的柴房里。张万霖来看她，脸上带着诡异的笑：“我就说，你们跑不掉的。你以为你能和那个穷小子过上好日子？做梦！”
那天夜里，柴房里传来一声凄厉的惨叫，之后就没了声音。第二天，管家去柴房送饭，发现苏怜雪已经死了，她的肚子被剖开，孩子也没了，手里还紧紧攥着陈阿牛的一片衣角。
张万霖把他们的尸体埋在了府里的后花园，就在凉亭下面。从那以后，张府就变得不对劲了。每逢阴雨天，后花园里就会传来女人的哭声，还有男人的叹气声。凉亭里的石桌上，总像是沾着血，擦都擦不掉。张万霖也变得越来越古怪，夜里总说胡话，说看见苏怜雪和陈阿牛来找他索命。
没过半年，张万霖就疯了。他穿着苏怜雪的衣服，在府里跑来跑去，嘴里喊着 “我错了”“饶了我”，最后掉进了府里的池塘里，淹死了。
后来，张府被卖给了一个外地商人，可那商人住进去没几天，就带着家人走了，说府里闹鬼。再后来，张府就荒了，后花园的凉亭塌了，柴房也倒了，只有那棵老槐树还在，每到阴雨天，就会落下很多叶子，像是在哭。
乌镇的人都说，那是苏怜雪和陈阿牛的冤魂还在，他们在找那个害了他们的人，也在找他们没出生的孩子。直到现在，还有人在夜里看见张府里有两个影子，一个男的，一个女的，手牵着手，在花园里散步，可走近了，又什么都没有了。
这个故事，是乌镇的老人传下来的。他们说，爱情或许是自由的，可在那样的年代里，追求自由的爱情，往往要付出生命的代价。而那些冤死的人，他们的魂，或许永远都得不到安宁。