En 1926, Joe Coughlin, un veterano de la Primera Guerra Mundial de ascendencia irlandesa e hijo pródigo del capitán de la policía de Boston Thomas Coughlin, se enamora de Emma Gould, la amante del notorio gángster Albert White, el jefe de la Banda Irlandesa de Boston a la que Joe y sus amigos han estado apuntando en una serie de robos. Thomas se opone a la relación y desaconseja a Joe sus actividades delictivas, advirtiéndole de que sus fechorías acabarán por alcanzarle.

El rival de White, el jefe de la mafia italiana Maso Pescatore, se entera de su relación y chantajea a Joe para que mate a White. Joe se niega y, en su lugar, él y Emma deciden huir a California. Para financiar el viaje, Joe comete un atraco a un banco con su socio Dion Bartolo y otro hombre, durante el cual mueren tres policías en una persecución. Cuando Joe va a reunirse con Emma, descubre que ella le ha traicionado ante White. Joe es brutalmente golpeado por los hombres de White y casi asesinado antes de que Thomas y la policía lleguen y arresten a Joe por los asesinatos de los policías.

Thomas le dice a Joe que Emma se ahogó mientras era perseguida por la policía. También chantajea al inspector jefe Calvin Bondurant para asegurarse de que Joe sea acusado de un cargo relativamente menor en lugar de un asesinato, y sólo se le impone una condena de tres años. Dos semanas antes de la liberación de Joe, Thomas muere de un ataque al corazón. Deseando vengarse de White, Joe se ofrece como voluntario a Pescatore y es reclutado como ejecutor del imperio del ron de este último en Ybor City, en Tampa, Florida, que está siendo atacado por White. Joe lleva a Dion con él y juntos protegen los negocios de Pescatore en la zona; el jefe entonces les envía órdenes para que lleven el juego y las drogas a Tampa. Joe también entabla una relación con Graciela Corrales, la hermana de un empresario cubano local que suministra la mayor parte del ron, y pronto se casan.

Joe se hace amigo del sheriff Irving Figgis para conseguir protección policial para su contrabando. La hija de Irving, Loretta, se dirige a Hollywood para convertirse en actriz, pero en su lugar se convierte en una prostituta adicta a la heroína. El cuñado de Irving, R. D. Pruitt, miembro de la sección local del Ku Klux Klan, que culpa a Joe de traer más inmigrantes no blancos a Tampa, comienza a bombardear los negocios de Joe y a matar a sus hombres. Joe promete a Irving ayudar a sacar a Loretta de las drogas y devolverla a Ybor City a cambio de traicionar a Pruitt. Joe mata a Pruitt personalmente y hace que sus hombres persigan y maten a todos los miembros del KKK de Tampa en una serie de brutales asesinatos.

Cuando la Prohibición llega a su fin, Pescatore ordena a Joe que se dedique a la venta de estupefacientes, algo con lo que no está de acuerdo, ya que en su lugar planea construir un casino para la mafia cerca de Sarasota. Pretende persuadir al gobierno estatal para que legalice el juego, pero Loretta, que se ha convertido en una devota cristiana bajo la estricta y castigadora disciplina de su padre, comienza a predicar que el alcohol y el juego van en contra de la palabra de Dios. Su ministerio es lo suficientemente popular como para que el gobierno decida no legalizar el juego. Joe reconoce que Pescatore se enfurecerá, sobre todo porque Joe sigue negándose a invertir en narcóticos.

Durante una reunión privada en un restaurante para arreglar sus diferencias, Loretta le confiesa a Joe que no cree realmente en Dios y que sus pecados no pueden ser perdonados. Al día siguiente, Joe se siente abatido al saber que Loretta se ha suicidado. Mientras visita a su cuñado, un fotógrafo aficionado, Joe encuentra una foto reciente de Emma, a la que creía muerta. Decide perseguirla, pero sólo después de informar primero a Graciela, para consternación de Dion.

Pescatore ordena a Joe que se reúna con él en un hotel local, donde le revela que se ha reconciliado con White y le ha concedido el honor de matar a Joe por sus fracasos, planeando sustituirlo por su hijo Digger. Anticipándose a la traición de Pescatore, Joe distrae a White mostrándole la foto de Emma, ya que White también la creía muerta. Dion y sus hombres tienden una emboscada a la banda de Pescatore a través de una serie de túneles que Joe había utilizado previamente para trasladar el ron al hotel. En el subsiguiente tiroteo, White, Pescatore y Digger mueren, eliminando de un plumazo a todos los enemigos de Joe. Éste nombra a Dion como su sucesor antes de localizar a Emma en el burdel en el que ahora trabaja. Ella cuenta cómo fingió su muerte para escapar de White y disfruta de su nueva libertad, y afirma que nunca correspondió al amor que Joe sentía por ella. Satisfecho, Joe vuelve con Graciela.

Joe y Graciela se trasladan a Miami, donde tienen un hijo, Tommy, y se dedican a construir casas para los más desfavorecidos. Enloquecido por la muerte de Loretta, Figgis les sigue la pista y dispara contra su casa, matando a Graciela antes de ser abatido por Joe. Joe se encarga de que Graciela sea enterrada en su tierra natal, Cuba, y pasa el resto de sus días dedicado a la caridad y a criar a Tommy, que pronto expresa su deseo de convertirse en policía.