Lee (Casey Affleck) es un manitas que tiene que regresar a su hogar en el pueblo de pescadores en el que vivía cuando su hermano muere, dejando solo a su sobrino de 16 años de edad, Patrick (Lucas Hedges). Lee se entera de que fue nombrado tutor de su hijo, cuya madre (Gretchen Mol) no tiene custodia de él después de ser considerado mentalmente no apta y alcohólica.

Lee y Patrick conviven, pero Lee insiste en que se muden a Boston, donde se mudó cinco años antes. Finalmente nos enteramos de que Lee salió de su casa por un incendio, perdieron la vida sus tres hijos y provocando el divorcio de su esposa (Michelle Williams). Los recuerdos dolorosos le impiden volver a mudarse en esa zona.

Cerca del final de la película, se decide que Patrick será adoptado por un amigo de la familia para que pueda quedarse en la ciudad mientras termina la escuela secundaria. Aunque a Lee le encantaría quedarse con su sobrino, hace lo necesario para regresar a Boston porque nunca se sentirá cómodo en el lugar donde su vida se vino abajo.