1962年的香港，报社主编周慕云（梁朝伟 饰）和太太搬进了一幢公寓，与他们同时搬来的还有另一对年轻的夫妇——苏丽珍（张曼玉）和她丈夫。苏丽珍在一家贸易公司当秘书，而她的丈夫由于工作关系，常常出差。周慕云的妻子和苏丽珍的丈夫一样，经常不在家，于是独自留守的周慕云和苏丽珍便成了房东太太麻将桌的常客。在逐渐的交往中，周慕云和苏丽珍发现对方有许多与自己共同的兴趣和爱好，比如看武侠小说等等，相互之间也变得越来越熟悉。直至有一天，两人突然发现各自的另一半原来早已成为了一对婚外恋的主角，周慕云和苏丽珍不得不共同来面对这个现实。两颗受伤的心小心翼翼、难舍难分，却最终化成了无缘的伤痛。