En 2003, Pierre Morhange (Jacques Perrin), un director de orquesta francés que actúa en Estados Unidos, es informado antes de un concierto de que su madre ha muerto. Tras la actuación, regresa a su casa en Francia para asistir a su funeral. Un viejo amigo llamado Pépinot (Didier Flamand) llega a su puerta con un diario que perteneció a su maestro, Clément Mathieu. Proceden a leerlo juntos.

En 1949, cincuenta y cuatro años antes, Clément Mathieu (Gérard Jugnot), un músico fracasado, llega a Fond de l'Étang ("Fondo del estanque"), un internado francés para chicos con problemas, para trabajar como supervisor y profesor. En la puerta, ve a un chico muy joven, Pépinot (Maxence Perrin), que espera el sábado, cuando dice que su padre le recogerá. Los espectadores se enteran más tarde de que sus padres fueron asesinados en la Segunda Guerra Mundial durante la ocupación nazi de Francia, pero Pépinot no lo sabe.

Mathieu descubre que el estricto director, Rachin (François Berléand), castiga a los chicos sin piedad e intenta ganárselos con humor y amabilidad. Cuando una trampa colocada por uno de los chicos, Le Querrec, hiere al anciano vigilante de la escuela, Maxence (Jean-Paul Bonnaire), Mathieu oculta al director la identidad del culpable, mientras anima a Le Querrec a cuidar de Maxence durante su recuperación.

Al descubrir a los chicos cantando canciones groseras sobre él, Mathieu elabora un plan: les enseñará a cantar y formará un coro como forma de disciplina. Agrupa a los chicos según su tipo de voz, pero un alumno, Pierre Morhange (Jean-Baptiste Maunier), se niega a cantar. Mathieu sorprende a Morhange cantando para sí mismo, descubre que tiene una voz maravillosa y le concede papeles solistas con la condición de que se comporte.

La madre soltera de Morhange, Violette (Marie Bunel), llega a la escuela. Cuando Mathieu va a explicarle que Morhange no puede ser visitado porque ha sido encerrado como castigo, se compadece y se siente atraído por la atribulada madre del chico y, en cambio, le dice que Morhange está en el dentista. Mientras tanto, llega un chico cruel e incontrolable llamado Mondain (Grégory Gatignol [fr]) y empieza a causar problemas intimidando a los demás y siendo rebelde en general. Tras robar un reloj, es encerrado durante dos semanas.

El coro mejora rápidamente con Morhange como solista principal; los niños están más contentos y el profesorado es menos estricto; incluso Rachin empieza a soltarse, jugando al fútbol con los chicos y haciendo un avión de papel. Después de que Mondain es liberado del encierro, se escapa y aparentemente roba todo el dinero de la escuela. Después de capturar a Mondain, Rachin lo golpea repetidamente, hasta que Mondain, a su vez, intenta estrangular a Rachin. Rachin lo entrega a la policía, sin saber todavía dónde está el dinero robado, y disuelve el coro. Mathieu comienza a enseñar a su coro "en la clandestinidad", practicando por la noche en su dormitorio.

Mathieu sigue conociendo a la madre de Morhange, que no es consciente de su atracción por ella. Él planea ayudar a su hijo a conseguir una beca en el conservatorio de música de Lyon. Un día, ella le informa alegremente de que ha conocido a alguien: un ingeniero. Mathieu se siente abatido, pero expresa su fingida felicidad y la ve marcharse en el coche del ingeniero.

La condesa, patrocinadora de la escuela, se entera del coro; actúan ante ella y ante otros, y Morhange encanta al público con su solo. Mathieu descubre que otro chico, Corbin, ha robado el dinero que se le acusa a Mondain. A pesar de ello, Rachin se niega a aceptar a Mondain en la escuela.

Cuando Rachin se va a aceptar un premio de la junta directiva después de haberse llevado el crédito del coro, Mathieu y Maxence suspenden las clases y llevan a los chicos a una excursión. Mientras están fuera, Mondain regresa y prende fuego a la escuela. Mathieu es despedido por infringir las normas, aunque haya salvado la vida de los chicos, y Maxence es suspendido. Cuando Mathieu se va, los chicos -que tienen prohibido despedirse- se encierran en su aula, cantan y lanzan mensajes de despedida por la ventana en aviones de papel. Conmovido, Mathieu se aleja, reflexionando sobre su fracaso y sobre el hecho de que nadie sabe de su existencia.

De vuelta al presente, el Morhange adulto termina de leer el diario y cuenta lo que ha sucedido después: ha ganado su beca en el conservatorio, y Rachin ha sido despedido después de que sus compañeros hayan denunciado sus abusos hacia los alumnos. Mathieu, relata Pépinot, siguió dando clases de música tranquilamente durante el resto de su vida.

La escena final (de nuevo en el pasado) muestra a Mathieu esperando el autobús tras ser despedido. Cuando sube al mismo, mira hacia atrás y encuentra a Pépinot corriendo detrás de él, insistiendo en que vaya también. Al principio, Mathieu se niega porque no está permitido, y deja a Pépinot atrás. De repente, el autobús se detiene y Mathieu cede: los dos suben juntos al autobús. Pépinot consigue por fin su deseo, ya que él y Mathieu se van un sábado, y Mathieu lo cría.