Las Islas Jónicas de Grecia están ocupadas por el ejército italiano cuando éste lleva una gran guarnición junto con unos pocos alemanes a la tranquila isla de Cefalonia, cuyos habitantes se rinden inmediatamente. El capitán Antonio Corelli, oficial de la 33ª División de Infantería italiana de Acqui, tiene una personalidad jovial y una pasión por la mandolina, y entrena a su batería de hombres (que nunca han disparado un tiro) para que canten a coro. Al principio, se aleja de algunos aldeanos, entre ellos Pelagia, la hija del médico del pueblo. Se trata de una mujer educada y de fuerte carácter. Al principio se siente ofendida por el comportamiento del soldado italiano, pero poco a poco se va adaptando al encanto de Corelli y a su forma de tocar la mandolina, ya que se ven obligados a compartir la casa de su padre después de que el médico acepte alojarle a cambio de suministros médicos.

Cuando el prometido de Pelagia, Mandras, un pescador local, parte a la guerra en el continente, la amistad entre Antonio y Pelagia crece. La belleza y la inteligencia de ella han cautivado el corazón de Corelli, y su afición por la vibrante comunidad del pueblo le hace cuestionar sus razones para luchar. Corelli, y su batería de tropas musicales, se convierte en parte de la vida de los aldeanos; pero el momento es fugaz. A medida que la guerra se acerca, Antonio y Pelagia se ven obligados a elegir entre sus lealtades y el amor que sienten el uno por el otro.

El gobierno italiano se rinde a los aliados y las tropas italianas se preparan felizmente para volver a casa. Sin embargo, sus antiguos aliados, los alemanes, insisten en desarmarlos, de forma destemplada y violenta. Los griegos también se ven expuestos a la brutalidad de los alemanes que llegan, y se ponen de acuerdo con los italianos para utilizar sus armas en una breve pero inútil resistencia. Por ello, el Alto Mando alemán manda fusilar a miles de las tropas italianas como traidores. Corelli sobrevive cuando uno de sus soldados le protege con su cuerpo de la lluvia de balas de los verdugos alemanes y cae muerto sobre él. Mandras encuentra a Corelli, aún vivo entre el montón de soldados masacrados, y lo lleva a Pelagia y al médico para que lo traten y se recupere, y luego a un barco para escapar de la isla. A raíz del interrogatorio de Pelagia, Mandras admite que rescató a Corelli del montón de soldados muertos porque quería reavivar su amor. Pero no sirve de nada y la pareja se separa. Antes, en una de las visitas de Mandras a Cefalonia, admite a Pelagia que la razón por la que nunca respondió a sus numerosas cartas de amor es que es analfabeto.

En 1947, Pelagia recibe un paquete de Italia que contiene una grabación de la melodía que Corelli escribió para ella, pero ninguna nota. Un terremoto destruye gran parte del pueblo, incluida la casa del doctor, pero la vida en la isla continúa y, poco después, Corelli vuelve con Pelagia.