Jirozaemon est un riche et honnête fabricant de soie qui avait été abandonné à la naissance par une famille inconnue mais sans doute aisée. Il est affecté d'une cicatrice au visage dont l'extrême laideur fait fuir les femmes. Comme il souhaite une épouse coûte que coûte, des clients lui arrangent des rencontres : en vain. Ils décident un jour de distraire le malheureux en l'emmenant à Yoshiwara, le quartier des plaisirs de Edo (ancien nom de Tokyo). Là-bas, même les geishas ne veulent pas lui tenir compagnie. Seule Tamazuru, une prostituée de bas-étage sortant de prison et décidée à monter dans la hiérarchie sociale, accepte la compagnie du « monstre ». Celui-ci s'en émeut. Elle lui promet le mariage s'il l'aide à devenir « première courtisane ». Jirozaemon se ruine pour elle, à un moment où son entreprise traverse une mauvaise passe, avant de réaliser que le tout Yoshiwara s'est moqué de lui...

Cinq ans après la fin de la guerre, Reikichi Mayumi, un homme triste et meurtri, trouve un petit emploi dans un quartier populaire de Tokyo : il écrit des lettres d’amour, le plus souvent adressées par des femmes japonaises à des soldats américains de l’armée d’occupation retournés dans leur pays. Il croise par hasard la femme qu’il a autrefois aimée, Michiko. Chez elle aussi la guerre et les années d’occupation ont laissé des traces. Un nouveau départ à deux est-il encore possible pour eux ?