La película intercala acontecimientos posteriores a El Padrino y los primeros años de la vida de Vito Corleone.

Vito

En 1901, los padres y el hermano de Vito Andolini, de nueve años, son asesinados en Corleone, Sicilia, después de que su padre insultara al jefe de la mafia local, Don Ciccio. Vito escapa en un barco a Nueva York y se registra como "Vito Corleone" en la isla de Ellis. En 1917, ya instalado en Nueva York, se casa con Carmela y tienen un hijo, Santino, conocido como Sonny. Pierde su trabajo en una tienda de comestibles debido a la interferencia de Don Fanucci, un extorsionista local de la Mano Negra; su vecino Clemenza invita a Vito a participar en robos.

Los Corleone tienen dos hijos más, Fredo y Michael, y una hija, Constanzia, (Connie). Su conducta delictiva atrae la atención de Fanucci, que le extorsiona. Los socios de Vito, Clemenza y Tessio, aceptan pagarle, pero Vito insiste en que puede convencer a Fanucci de que acepte un pago menor. Durante una fiesta del barrio, Vito lo sigue hasta su apartamento, donde lo mata a tiros. Vito se convierte en un líder respetado y con éxito en la comunidad. Se le pide que ayude a una viuda que va a ser desahuciada. Cuando el propietario de la viuda se entera de la reputación de Vito, acepta que la viuda se quede en condiciones muy favorables.

Vito y su familia visitan Sicilia por primera vez desde su emigración. Su socio, Tommasino, le acompaña a ver a Don Ciccio, aparentemente para pedirle su bendición para su negocio de aceite de oliva, pero Vito le abre el pecho con un cuchillo tras revelar su antigua identidad.

En 1941, cuando los Corleone se reúnen en su comedor para sorprender a Vito en su cumpleaños, Michael anuncia que, en respuesta al ataque a Pearl Harbor, ha dejado la universidad y se ha alistado en el Cuerpo de Marines de los Estados Unidos, dejando a Sonny furioso, a Tom incrédulo y a Fredo como el único hermano que lo apoya. Cuando se oye a Vito en la puerta, todos menos Michael salen de la habitación para recibirlo.

Michael

En 1958, durante la fiesta de la primera comunión de su hijo en el lago Tahoe, Michael tiene una serie de encuentros en su papel de don de la familia criminal Corleone. Frank Pentangeli, un capo de los Corleone, está consternado porque Michael se niega a ayudar a defender su territorio contra los hermanos Rosato, que trabajan para Hyman Roth, un jefe de la mafia judía y antiguo socio comercial de los Corleone. Esa noche, Michael abandona Nevada tras sobrevivir a un intento de asesinato en su casa.

Michael sospecha que Roth planeó el asesinato, pero finge ignorancia cuando se encuentran. En la ciudad de Nueva York, Pentangeli intenta mantener las pretensiones de Michael haciendo las paces con los Rosato, pero éstos intentan matarlo. Roth, Michael y varios de sus socios viajan a La Habana para discutir sus futuras perspectivas de negocio en Cuba bajo el gobierno cooperativo de Fulgencio Batista. Michael se muestra reticente a seguir operando en Cuba tras reconsiderar la viabilidad de la revolución cubana en curso. En la víspera de Año Nuevo, Fredo revela inadvertidamente que conoce a la mano derecha de Roth, Johnny Ola, habiendo afirmado previamente que nunca se habían conocido, y Michael se da cuenta de que fue Fredo quien traicionó su ubicación a Roth. Michael ordena a su guardaespaldas que mate a Ola y a Roth, pero el asesino es abatido por soldados cubanos cuando intenta asfixiar a Roth con una almohada en su cama. Batista abdica ante los avances de los rebeldes. Durante el caos subsiguiente, Michael, Fredo y Roth escapan por separado a los Estados Unidos. De vuelta a casa, Michael se entera de que su esposa Kay ha abortado.

En Washington, D.C., un comité del Senado sobre el crimen organizado investiga a la familia Corleone. Pentangeli acepta testificar contra Michael, que cree que le ha traicionado, y es puesto bajo protección de testigos. Al regresar a Nevada, Fredo le dice a Michael que se siente resentido por no haber sido tenido en cuenta, primero por Sonny y ahora por él. Afirma desconocer el complot contra la vida de Michael e informa a éste de que un abogado que asesora al comité está en la nómina de Roth. Michael repudia a Fredo pero le ordena que no le haga daño mientras su madre siga viva. Michael manda llamar al hermano de Pentangeli desde Sicilia y éste, tras ver a su hermano en la sala, renuncia a su declaración anterior sobre el papel de Michael en la familia; la audiencia se disuelve en un alboroto. Kay le revela a Michael que en realidad tuvo un aborto, no un aborto espontáneo, y que tiene la intención de alejar a sus hijos de la vida criminal de Michael. Indignado, Michael golpea a Kay, la destierra de la familia y asume la custodia exclusiva de los niños.

La madre de Michael, Carmela, muere un tiempo después y Michael se apresura a atar los cabos sueltos. Roth se ve obligado a regresar a Estados Unidos tras negársele el asilo y la entrada a Israel. Michael ordena a otro capo, Rocco Lampone, que asesine a Roth; Lampone le dispara a Roth en el aeropuerto internacional de Miami antes de morir por el fuego de los agentes federales. En el recinto de Pentangeli, el consigliere Tom Hagen llega y le recuerda al capo caído en desgracia que los conspiradores fallidos contra el emperador romano solían suicidarse a cambio de clemencia para sus familias, y le asegura que su familia será atendida. A continuación, Pentangeli se corta las venas en la bañera. El matón de Corleone, Al Neri, siguiendo las órdenes de Michael, dispara a Fredo en la nuca mientras los dos hombres están pescando en el lago.

Al final de la película, se ve a Michael sentado solo junto al lago en el complejo familiar.