La película abarca una semana, empezando por el lunes, en la vida de Paterson, un conductor de autobús en Paterson, Nueva Jersey. Cada día sigue prácticamente el mismo patrón: Paterson se levanta temprano y va a trabajar, donde escucha a los pasajeros hablar y, durante las pausas, escribe poesía en un cuaderno que lleva consigo. Después del trabajo, pasea a Marvin, el perro de su mujer, y se detiene a tomar una cerveza en el bar Shades, donde se relaciona con los demás clientes y con el dueño, Doc (Barry Shabaka Henley).

La esposa de Paterson, Laura, adora sus poemas y hace tiempo que le insta a publicarlos o al menos a hacer copias. Finalmente le promete ir a la copistería el fin de semana. Pero cuando Paterson y Laura vuelven a casa después de una película el sábado por la noche, descubren que Marvin ha destrozado su cuaderno, destruyendo sus poemas.

Al día siguiente, un abatido Paterson sale a pasear y se sienta en su lugar favorito, las Grandes Cataratas del río Passaic. Allí, un japonés (Masatoshi Nagase) se sienta a su lado y comienza una conversación sobre poesía, después de que Paterson se dé cuenta de que el hombre está leyendo el poema Paterson de William Carlos Williams. El hombre parece saber que el propio Paterson es un poeta aunque lo niegue y le entrega un regalo, un cuaderno vacío. La película termina con Paterson escribiendo un poema en su nuevo cuaderno.