Umi Matsuzaki es una estudiante de secundaria de dieciséis años que vive en la mansión Coquelicot, una pensión con vistas al puerto de Yokohama, en Japón. Su madre, Ryoko, es una profesora de medicina que estudia en Estados Unidos. Umi dirige la casa y cuida de sus hermanos pequeños y de su abuela. Todas las mañanas, Umi iza un conjunto de banderas de señalización con el mensaje "Rezo por un viaje seguro".

Un día, se publica un poema sobre el izado de las banderas en el periódico del instituto Isogo. Shun Kazama, el autor del poema, es testigo de las banderas desde el mar mientras va en el remolcador de su padre a la escuela. Al principio, Umi se lleva una impresión errónea de Shun, ya que éste realiza una maniobra temeraria en favor del "Barrio Latino", un antiguo edificio que alberga los clubes de su instituto y que está amenazado de demolición. A petición de su hermana, Umi la acompaña a conseguir un autógrafo de Shun en el Barrio Latino. Se entera de que Shun y el presidente del gobierno estudiantil de la escuela, Shirō Mizunuma, publican el periódico escolar. Umi convence a Shirō y a Shun para renovar el Barrio Latino, y todos los estudiantes contribuyen, tanto chicos como chicas. Umi y Shun comienzan a tener sentimientos el uno por el otro.

En la Mansión Coquelicot, Umi le muestra a Shun una fotografía de tres jóvenes navales. Uno de estos hombres es su difunto padre, Yūichirō Sawamura, que murió mientras servía en un barco de suministros durante la Guerra de Corea. Shun se queda atónito al verla, ya que se revela que tiene un duplicado de la fotografía. Su padre admite que, poco después del final de la Segunda Guerra Mundial, Yūichirō llegó a su casa una noche con un Shun niño. Los Kazama habían perdido recientemente a un recién nacido, por lo que adoptaron a Shun. Al principio, Shun intenta evitar a Umi, pero finalmente le dice que son hermanos. Umi y Shun reprimen sus sentimientos románticos y siguen viéndose como amigos.

La renovación del Barrio Latino se completa, pero la Junta de Educación de la Prefectura de Kanagawa decide proceder a la demolición del edificio de todos modos. Shirō, Shun y Umi toman el tren a Tokio, que se está preparando para los Juegos Olímpicos de Verano de 1964, y se reúnen con Tokumaru, el presidente de la junta escolar. Logran convencerlo de que venga a inspeccionar el Barrio Latino. Más tarde, Umi le profesa su amor a Shun, y él le corresponde a pesar de su situación.

Tras regresar de Estados Unidos, Ryoko le cuenta a Umi que el padre de Shun era en realidad Hiroshi Tachibana, el segundo hombre de la foto. En 1945, Tachibana murió en un accidente en un barco de repatriación. La madre de Shun murió al dar a luz y sus otros familiares murieron en el bombardeo de Nagasaki. Ryoko no pudo criar a Shun, pues en ese momento ya estaba embarazada de Umi. Yūichirō registró al niño como propio para evitar dejar a Shun como huérfano en los confusos años de la posguerra, pero Shun fue finalmente entregado a los Kazamas.

Tokumaru visita el Barrio Latino e, impresionado por los esfuerzos de los estudiantes, cancela la demolición. Umi y Shun son convocados al puerto. Se encuentran con Yoshio Onodera, ahora capitán de barco y el tercer hombre de la fotografía, así como el único superviviente de los tres. Al confirmar que Umi y Shun no están emparentados por sangre, les cuenta la historia completa de los tres hombres. Con todo resuelto, Umi retoma su rutina diaria de izar las banderas, pero ahora, no es sólo para su padre.