Dans une petite ville du Mississippi, un crime vient d'être commis. L'adjoint du shérif arrête un inconnu assis dans le hall de la gare. Il est directement accusé du meurtre: il est Noir et a beaucoup d'argent sur lui. Après vérification de son identité, il s'avère que cet homme est Virgil Tibbs, un policier, membre de la brigade criminelle de Philadelphie. Il est alors relâché sans un mot d'excuse. Son supérieur lui ordonne alors de rester à Sparta et de collaborer avec le shérif Gillepsie pour retrouver le meurtrier en question. Tibbs est hostile à cette idée, car il sait que les habitants de la ville se montrent méfiants à son égard. Mais il accepte et commence son enquête.

L'acteur Walter Matthau a réalisé son premier et unique long-métrage avec le drame policier noir et blanc Gangster Story. Dans un rôle non comique inhabituel, Matthau joue Jack Martin, un gangster local qui veut diriger son propre syndicat du crime dans le quartier dirigé par Earl Dawson (Bruce McFarlan). Ils s'associent et planifient un vol. Carol Grace joue la petite amie réformiste.