En el Londres eduardiano, en la primavera de 1910, George Banks regresa a su casa, en el número 17 de Cherry Tree Lane, para enterarse por su mujer, Winifred, de que Katie Nanna ha abandonado su servicio después de que sus hijos, Jane y Michael, se hayan escapado, "por cuarta vez esta semana" ("Life I Lead"). Poco después son devueltos por el agente Jones, quien revela que los niños estaban persiguiendo una cometa perdida. Los niños piden a su padre que les ayude a construir una cometa mejor, pero éste los desestima. El Sr. Banks se encarga de contratar a una nueva niñera, que se anuncia como una niñera severa y sin pelos en la lengua. En cambio, Jane y Michael presentan su propio anuncio para una niñera más amable y dulce. ("La niñera perfecta") Winifred intenta mantener la paz. El Sr. Banks rompe la carta y arroja los restos a la chimenea, pero un fuerte viento arrastra los fragmentos por la chimenea y los lanza al aire.

Al día siguiente, varias niñeras ancianas y con cara de malas pulgas esperan en la puerta de la casa de los Banks a que Ellen les haga pasar, pero una fuerte ráfaga de viento las aleja. Jane y Michael son entonces testigos de cómo una joven niñera mágica desciende del cielo utilizando su paraguas. Al presentarse ante el Sr. Banks, Mary Poppins presenta tranquilamente el anuncio de restauración de los niños y acepta sus peticiones, pero promete al asombrado banquero que será firme con sus hijos. Mientras el Sr. Banks se queda perplejo por la devolución del anuncio, Mary Poppins se contrata a sí misma y le convence de que la idea fue originalmente suya. Se reúne con los niños y les ayuda a ordenar mágicamente su guardería chasqueando los dedos, antes de salir a dar un paseo por el parque ("Spoonful of Sugar").

Fuera, se encuentran con un viejo amigo de Mary, Bert, que trabaja como pintor callejero; Mary Poppins utiliza su magia para transportar al grupo a uno de sus dibujos. Mientras los niños montan en un carrusel, Mary Poppins y Bert dan un tranquilo paseo. Juntos cantan ("Jolly Holiday") y Bert coquetea con Mary Poppins. Después de que el dúo se reúne con los niños, Mary Poppins encanta a los caballos del carrusel; Bert rescata a un zorro de una cacería de zorros; participan en una carrera de caballos que gana Mary. Al describir su victoria, Mary Poppins utiliza la palabra sin sentido ("Supercalifragilisticexpialidocious"). La excursión termina cuando una tormenta eléctrica disuelve los dibujos de Bert, devolviendo al grupo a Londres.

Al día siguiente, los tres se encuentran con el extraño tío de Bert, Albert, que ha flotado en el aire debido a su risa incontrolable y se unen a él para una fiesta de té en el techo con muchas bromas ("I Love to Laugh"). Después, el Sr. Banks se molesta por el ambiente alegre de la casa y amenaza con despedir a Mary Poppins, pero ella lo manipula para que lleve a los niños a su lugar de trabajo, el banco, al día siguiente. Esa noche, Mary habla a los niños de la mujer que se sienta junto a la catedral de San Pablo a vender pienso para pájaros ("Feed The Birds"). Al día siguiente, en el banco, los niños conocen al Sr. Dawes. El Sr. Dawes insta agresivamente a Michael a que invierta sus peniques en el banco, y finalmente le arrebata las monedas. ("Fidelity Fiduciary Bank") Michael le exige que se las devuelva; otros clientes escuchan el conflicto, y todos empiezan a exigir que se les devuelva su propio dinero, provocando una corrida bancaria.

Jane y Michael huyen del banco, perdiéndose en el East End de Londres hasta que se encuentran de nuevo con Bert, que ahora trabaja como deshollinador, quien les acompaña a casa ("Chim Chim Cheree"). Los tres y Mary Poppins se aventuran en los tejados, donde tienen un número de canto y baile con otros deshollinadores, que se extiende a la casa de los Banks ("Step in Time") después de que su vecino Admiral Boom les dispara fuegos artificiales, confundiéndolos con ladrones. El Sr. y la Sra. Banks regresan a su casa para encontrar a los amigos de Bert bailando en su casa y los echa. El Sr. Banks recibe entonces una llamada telefónica del banco solicitando una reunión con él sobre lo que hicieron los niños. Los niños escuchan la llamada y se dan cuenta de que su padre está en problemas. Bert le dice al Sr. Banks que necesita pasar más tiempo con sus hijos antes de que crezcan ("Un hombre tiene sueños"). Michael le da a su padre los dos peniques con la esperanza de enmendar la situación.

El Sr. Banks camina por Londres hasta el banco, donde recibe un humillante cajero y es despedido. En busca de palabras para el tuppence, suelta "Supercalifragilisticexpialidocious", cuenta el chiste del tío Albert "Pierna de madera llamada Smith" que contaron los niños, y se dirige felizmente a casa. El Sr. Dawes reflexiona sobre el chiste y, al final, lo entiende y flota en el aire, riendo.

Al día siguiente, el viento cambia y Mary Poppins debe marcharse. Un Sr. Banks más feliz se encuentra en casa, habiendo arreglado la cometa de sus hijos, y lleva a la familia a volarla. En el parque, la familia Banks se encuentra con el hijo del Sr. Dawes, el Sr. Dawes Jr., que revela que su padre murió de risa por la broma. ("Vamos a volar una cometa"). Aunque al principio lo lamenta, el Sr. Banks pronto se alegra por él, ya que el Sr. Dawes Jr. nunca había visto a su padre más feliz en su vida y vuelve a contratar al Sr. Banks como socio menor. Con su trabajo hecho, Mary Poppins termina la película volando con Bert diciéndole que no se quede mucho tiempo fuera.