Los Amberson son, con diferencia, la familia más rica de su ciudad del Medio Oeste en las últimas décadas del siglo XIX. De joven, Eugene Morgan corteja a Isabel Amberson, pero ella lo rechaza después de que la avergüence públicamente. En su lugar, se casa con Wilbur Minafer, un hombre sin pasión al que no ama, y mima a su hijo, George. La gente del pueblo anhela ver a George recibir su "castigo".

A principios del siglo XX, el comandante Amberson da una gran fiesta en la mansión Amberson para George, que vuelve de la universidad para pasar las vacaciones. Eugene, ahora viudo y que acaba de regresar a la ciudad después de 20 años, asiste. A George le desagrada Eugene, al que ve como un trepa social, y ridiculiza la inversión de Eugene en el automóvil. Sin embargo, se siente atraído por Lucy, la hija de Eugene.

Al día siguiente, George y Lucy dan un paseo en trineo. Se cruzan con Eugene, su tía Fanny, Isabel y el hermano de Isabel, Jack. El "carruaje sin caballos" de Eugene se ha quedado atascado en la nieve, y George les pide a gritos que "consigan un caballo". El trineo de los Amberson vuelca entonces, y Eugene, después de que su vehículo vuelve a ser móvil, lleva a todos de vuelta a casa. George se siente humillado por el incidente y enfadado por las atenciones de Eugene hacia Isabel y el evidente afecto de su madre por Eugene.

Wilbur Minafer pierde una importante cantidad de dinero en malas inversiones y pronto muere. George no se conmueve por la muerte de su padre. La noche después del funeral, George se burla de Fanny, que está enamorada de Eugene.

Pasa el tiempo y Eugene se hace muy rico fabricando automóviles y vuelve a cortejar a Isabel, que se niega a arriesgarse a la desaprobación de George hablándole de su amor. Lucy rechaza la propuesta de matrimonio de George diciendo que no tiene más ambición en la vida que ser rico y mantener las cosas como están, y se va de la ciudad. Los Amberson invitan al solitario Eugene a cenar, donde George, culpándole de haber puesto a Lucy en su contra, critica los automóviles. Los Amberson se escandalizan por su descortesía, pero Eugene dice que puede que George tenga razón.

Esa noche, George se entera por la tía Fanny de que Eugene ha estado cortejando a Isabel. Enfurecido, se enfrenta a un vecino por difundir chismes sobre su madre. Al día siguiente, George se niega a dejar que Eugene vea a su madre. Jack le cuenta a Isabel el terrible comportamiento de George, pero ella se niega a hacer nada que pueda molestar a su hijo. Eugene escribe a Isabel y le pide que elija entre su hijo y su amor. Isabel elige a George.

Lucy regresa a casa y descubre que George se lleva a su madre a Europa en un viaje largo. George habla con Lucy en un intento de descubrir si le quiere. Ella finge indiferencia y se separan. Sin embargo, a Lucy se le rompe el corazón y se desmaya.

Pasan los meses e Isabel está gravemente enferma, pero George no le permite volver a casa por miedo a que reanude su relación con Eugene. Sólo cede cuando ella empieza a morir. George se niega a dejar que Eugene suba a visitar a Isabel en su lecho de muerte, aunque ella le ruega que vea a Eugene por última vez.

Tras la muerte de Isabel, el mayor Amberson se hunde en la senilidad y muere. Su patrimonio no tiene valor. Jack deja la ciudad para aceptar un trabajo en otra ciudad. George pretende vivir de los ingresos de Fanny mientras se forma como abogado, pero ella le revela que lo ha perdido todo en malas inversiones, y sólo les quedan unos cientos de dólares para vivir el resto del año.

Eugene le pregunta a Lucy si se reconciliará con George. En cambio, Lucy le cuenta a su padre una historia sobre un jefe indio americano que fue "empujado en una canoa al mar" cuando se volvió demasiado odioso, lo que Eugene entiende como una analogía de George.

Sin dinero, George deja su trabajo de abogado y encuentra un empleo mejor pagado en una fábrica de productos químicos, lo que le da suficiente dinero para vivir con Fanny. George deambula por la ciudad y se siente aturdido por las modernas fábricas y los barrios bajos que han crecido a su alrededor. En su última noche en la mansión Amberson antes de que se venda, George reza junto a la cama de su madre muerta. El narrador dice que nadie está cerca para verlo recibir su castigo.

George resulta gravemente herido por un automóvil. Lucy y Eugene van a verlo al hospital y se reconcilian con él. En un pasillo del hospital, Eugene le dice a Fanny que el espíritu de Isabel había inspirado a Eugene a poner a George "bajo techo de nuevo", lo que implica que su seguridad financiera y la de Fanny estaban aseguradas.