Angleterre, 1763. Après avoir été condamnée pour un crime, la jeune et belle Abigail Hale accepte, pour échapper à la potence, de servir quatorze ans comme esclave dans la colonie de Virginie, dont les habitants commencent à entendre et à craindre le chant sinistre des tambours de guerre menaçants qui résonnent dans la sauvage vallée de l'Ohio.
Après la guerre de Sécession, Buck (Sidney Poitier), un ancien sergent de la cavalerie de l'armée de l'Union, prend la tête d'un groupe d'esclaves affranchis voulant passer la frontière du Colorado. Dans ce groupe voyagent aussi sa femme (Ruby Dee) et un pseudo pasteur dont la bible truquée contient un revolver (Harry Belafonte). Les voyageurs sont attaqués par des hordes d'anciens esclavagistes qui tentent de les renvoyer à leur misérable vie dans les fermes de Louisiane; Buck et ses compagnons devront faire preuve de courage pour parvenir à leur but ultime : s'installer dans une terre de promesses et connaître enfin une existence d'hommes libres.
Lors d’un terrible naufrage, le jeune Alec Ramsey se découvre un sauveteur peu ordinaire : un superbe étalon d’Arabie, noir comme l’ebène. L’enfant et le cheval parviennent à se réfugier sur une île. Sauvés et ramenés en Amérique, ils rencontrent un vieux dresseur de chevaux qui devine toute la force de l’animal et fait d’Alec un jockey et les prépare à affronter les meilleurs pur-sang du monde dans la « course du siècle »…
Le roi d'Angleterre décrète l'amnistie de tous les pirates du royaume s'ils s'engagent à renoncer au crime. Sa respectabilité retrouvée, le pirate Morgan devient gouverneur de la Jamaïque. Son ami James Haring, considérant ce revirement comme une trahison, rejoint l'équipage du réfractaire capitaine Leech. Haring tombe alors amoureux de Margaret Denby, la fille de l'ancien gouverneur, et décide de changer de vie. Il s'oppose dès lors à son ancien allié.
À New York, un certain Spencer quitte sa modeste chambre et échappe à la surveillance de deux personnages postés devant son domicile. D'une cabine téléphonique, il fait envoyer un télégramme à madame Emma Newton, à Santa Rosa, annonçant l'arrivée de l'oncle Charlie. C'est ainsi que Charlie Oakley, alias Spencer, se présente chez sa sœur. Plus âgée que lui, cette dernière est mariée à un caissier de banque, Joseph Newton, dont elle a eu trois enfants. Oncle Charlie offre des cadeaux à toute la famille et joue à la perfection son rôle de «tonton gâteau». Mais derrière cette façade accueillante se cache un homme mystérieux, qui ne tarde pas à éveiller les soupçons de sa nièce...