La historia se desarrolla en torno a dos líneas argumentales situadas en el pueblo del Viejo Oeste de "Flagstone". En primer lugar, un hombre apodado "Armónica" busca vengarse del forajido Frank. En segundo lugar, Frank trabaja como pistolero a sueldo para el magnate del ferrocarril, Morton, que intenta adquirir ciertas tierras de la familia Brett McBain. Un segundo forajido, Cheyenne, también aparece en la historia.

Harmonica mata a tres hombres que le tienden una emboscada a su llegada a la estación de tren. Los guardapolvos que llevan le hacen creer que son hombres de Cheyenne. Mientras tanto, Frank y sus secuaces matan a Brett McBain y a sus tres hijos en su rancho, al que llaman "Sweetwater". Frank deja pruebas para inculpar a Cheyenne de los asesinatos.

Una mujer llamada Jill llega a Flagstone, de camino a Sweetwater, para lo que se supone que es su próximo matrimonio con McBain. Sin embargo, Jill, una prostituta de Nueva Orleans, se casó en realidad con McBain cuando éste estaba allí, convirtiéndola así en la única heredera de Sweetwater. McBain sabía que el ferrocarril pasaría por Sweetwater algún día, y planeaba construir una estación de agua en su propiedad, con la condición de que McBain perdiera Sweetwater si la estación no estaba construida para cuando el ferrocarril llegara a ese punto. Morton envía a Frank para que intimide a McBain, pero el asesinato de éste y la herencia de Jill enfrentan a Morton y Frank. Morton quiere hacer un trato con Jill, pero Frank quiere la tierra para él.

Cheyenne niega que sus hombres hayan intentado tender una emboscada a Harmonica, y los dos se dan cuenta de que Frank está detrás tanto de la emboscada como de inculpar a Cheyenne de los asesinatos de McBain. Harmonica descubre la conexión entre Frank y Morton, pero es capturado por los hombres de Frank. Cuando Frank le pregunta la identidad a Harmonica, éste le responde con nombres de hombres que Frank ha matado. Cheyenne rescata a Harmonica y los dos colaboran para ayudar a Jill a salvar Sweetwater.

Jill decide subastar las tierras y regresar a Nueva Orleans; sin embargo, los secuaces de Frank intimidan a los postores para comprar las tierras a bajo precio. Harmonica aparece con Cheyenne a cuestas y ofrece 5.000 dólares, que es el precio de la cabeza de Cheyenne como fugitivo buscado. Morton contrata a los propios hombres de Frank para que lo maten, pero Harmonica interviene para salvar la muerte de Frank para sí mismo. Mientras tanto, Cheyenne escapa de la custodia, y él y su banda se enfrentan a la banda restante de Frank en un tiroteo en el tren de Morton. Salvo Cheyenne, que se dirige a Sweetwater, todos mueren, incluido Morton.

Frank ve las consecuencias del tiroteo y se dirige a Sweetwater, donde encuentra a Harmonica esperando. Cheyenne también ha llegado, pero se queda en la casa del rancho con Jill. Harmonica gana a Frank en el sorteo. Mientras Frank yace moribundo, vuelve a preguntar la identidad de Harmonica. A través de un flashback, se revela que Frank metió una armónica en la boca de un niño justo antes de que éste se desplomara bajo el peso de su hermano mayor, al que Frank estaba ahorcando. En el presente, Harmonica devuelve el instrumento a Frank poniéndoselo en la boca. Frank se da cuenta de quién le ha disparado y muere.

Harmonica y Cheyenne abandonan Sweetwater, pero Cheyenne se desploma y muere a causa de una herida en la tripa que recibió de Morton en el tiroteo. Mientras Harmonica se marcha, Jill sirve agua a los trabajadores del ferrocarril.