El fraile franciscano Guillermo de Baskerville y su novicio, Adso de Melk, llegan a una abadía benedictina de principios del siglo XIV en el norte de Italia. Se ha producido una misteriosa muerte antes de una importante conferencia teológica de la Iglesia. Guillermo, conocido por su mente deductiva y analítica, se enfrenta al preocupado abad y obtiene permiso para investigar la muerte: un joven iluminador parece haberse suicidado. En los días siguientes se producen otras muertes extrañas.

William y Adso conocen a Salvatore, un jorobado que habla galimatías en varios idiomas, y a su adiestrador y protector, Remigio da Varagine. William deduce del discurso de Salvatore que éste había sido miembro de una secta herética y deduce que Salvatore y Remigio pueden haber estado implicados en los asesinatos. Mientras tanto, Adso se encuentra con una hermosa campesina salvaje que se ha colado en la abadía para intercambiar favores sexuales por comida, y se deja seducir por ella.

Investigando y deseosos de evitar acusaciones de posesión demoníaca, los protagonistas descubren y exploran una biblioteca laberíntica en la torre principal prohibida de la abadía. William descubre que se trata de "una de las mayores bibliotecas de toda la cristiandad", que contiene docenas de obras de maestros clásicos como Aristóteles, que se creían perdidas desde hacía siglos. Guillermo deduce que la biblioteca se mantiene oculta porque un conocimiento tan avanzado, procedente de filósofos paganos, es difícil de conciliar con el cristianismo. Guillermo deduce además que todos los que murieron habían leído el único ejemplar que quedaba del Segundo Libro de la Poética de Aristóteles.

Sus investigaciones se ven truncadas por la llegada de Bernardo Gui, de la Inquisición, convocado para la conferencia y deseoso de perseguir a los que considera responsables de las muertes. Los dos hombres se enfrentaron en el pasado, y el celoso inquisidor no tiene tiempo para teorías ajenas a la suya. Salvatore y la chica aparecen peleándose por un gallo negro en presencia de un gato negro. Gui presenta esto como una prueba irrefutable de que están aliados con Satanás y tortura a Salvatore para que haga una confesión falsa. Salvatore, Remigio y la niña son arrastrados ante un tribunal, donde Gui intimida al abad para que coincida con su juicio de herejía. Pero Guillermo, también "invitado" por Gui a formar parte del panel de jueces, se niega a confirmar las acusaciones de asesinato, señalando que el asesino sabía leer griego, una habilidad que Remigio no posee. Gui recurre a extraer una confesión de Remigio mediante la amenaza de tortura, y planea claramente acabar con William para siempre.

Cuando el Bibliotecario jefe sucumbe como los demás, William y Adso suben a la biblioteca prohibida y se encuentran cara a cara con el Venerable Jorge, el habitante más antiguo de la abadía, con el libro, que describe la comedia y cómo puede utilizarse para enseñar. Creyendo que la risa y la jocosidad son instrumentos del Diablo, Jorge ha envenenado las páginas para detener la propagación de lo que él considera ideas peligrosas: quienes lo lean ingerirán el veneno mientras se chupan los dedos para ayudar a pasar las páginas. Enfrentado, Jorge arroja una vela, provocando un incendio que rápidamente envuelve la biblioteca. William insiste en que Adso huya, ya que consigue reunir un insuficiente cargamento de libros de valor incalculable para salvarlos; el volumen de la Poética, Jorge y el resto de la biblioteca se pierden.

Mientras tanto, Salvatore y Remigio han sido quemados en la hoguera. A la muchacha le espera el mismo destino, pero los campesinos locales aprovechan el caos del incendio de la biblioteca para liberarla y volverse contra Gui. Gui intenta huir, pero tiran su carro por un barranco y muere. Más tarde, Guillermo y Adso se despiden de la Abadía. En el camino, Adso es detenido por la muchacha, que le pide en silencio que se quede con ella, pero Adso sigue adelante con William. En su narración final, un Adso mucho más viejo reflexiona que nunca se arrepintió de su decisión, ya que aprendió muchas más cosas de William. Adso también afirma que la chica fue el único amor terrenal de su vida, aunque nunca supo su nombre.