本书的背景是1832年巴黎共和党起义前后的法国，如书名所说，故事讲述的是那个时代命运悲惨的人们，他们的爱与恨。
故事有三条线。冉阿让偷面包果腹而被判苦役，假释出狱后饱受歧视，偷了主教的烛台却被主教宽恕，从此冉阿让洗心革面，隐姓埋名成为工厂主和市长，并收养了英年早逝的女工方汀的女儿珂赛特。后因为他诚实地为他人作证而坦白了自己的身份，只得带着养女珂赛特逃往巴黎隐居。
而一直追捕他的警长鲨威，一生嫉恶如仇，性格偏激的他认为像冉阿让这样的犯人都是屡教不改的社会渣滓，应当赶尽杀绝，他和冉阿让也是一辈子在做猫鼠游戏。
在巴黎珂赛特长大了，与一位英俊少年马吕斯一见钟情，马吕斯祖父是保皇派贵族，但他自己在大学结识了众多有共和思想的大学生，还被一位同样支持革命的街头流浪少女艾芬妮所暗恋。为了再见珂赛特一面，马吕斯委托艾芬妮替他找到了珂赛特的住处。
很快革命爆发了，马吕斯，艾芬妮和同志们加入了起义，弹尽粮绝的他们被皇军围困在街垒里，而作为间谍的警长鲨威也潜入了革命者队伍。此时为了救未来女婿马吕思，冉阿让也潜入街垒，遇到了鲨威。本有机会处决一直追捕自己的仇人，但冉阿让对鲨威手下留情。离开后的鲨威在月色下深感惭愧跳楼自尽，包括艾芬妮在内其他革命者也全部牺牲。而冉阿让带着重伤的马吕思逃出生天，珂赛特得以再次与马吕思相见。
九死一生的珂赛特马吕思两人很快举行了婚礼。垂垂老矣深感自己不久于世的冉阿让悄悄离开了这对新人，准备独自告别这个世界。
这是一个关于大爱与大恨的故事，也是一个自我救赎和自我牺牲的故事。冉阿让也曾经是一个饱受命运折磨的人，他一生经历过四次良心的挣扎。因饥饿犯罪被判数年苦役，假释后遭受冷眼，而主教大人的宽恕让他放下了所有的恨洗心革面，成为大爱之人；
