À l'occasion d'une discussion, un soir, à la campagne, sur la façon dont il convient de punir l'adultère féminin, Sylvestre formule une curieuse théorie : il faut punir l'infidélité par... l'amitié. Théorie que cet homme misérable de 75 ans compte illustrer par le récit d'un épisode de sa vie passée...
C'était autour de l'année 1843. Alors âgé de 49 ans, le narrateur part pour l'Italie, afin d'y gagner sa vie comme enseignant. À la frontière suisse, il rencontre un riche paysan des Diablerets, Jean Morgeron. Il s'y arrête pour faire des travaux de terrassement, et prend racine. Après bien des hésitations, il finit même par épouser Félicie, la soeur de Jean... et découvre que celle-ci le trompe avec son cousin Tonino !
Torturé de jalousie, il décide alors de la punir en la privant de toute relation intime. Et parvient, en effet, à la pousser au désespoir...