La totalidad de la película se desarrolla en otro planeta, en la ciudad de Arkanar, en una sociedad que se parece mucho a la Edad Media en la Tierra. Aquí la historia ha seguido su propio camino: no se ha producido ningún Renacimiento, los pequeños atisbos de ciencia y cultura que existen son suprimidos y eliminados bajo la influencia de un estado policial protofascista; la suciedad y la torpeza están por todas partes. Una treintena de científicos terrícolas son enviados al planeta de incógnito, para observar el resultado de esta sociedad. Sin embargo, se les prohíbe influir en la civilización local o interferir en el curso natural de la ciudad. Uno de los terrícolas lleva veinte años viviendo en el planeta, en una gran casa llena de sus multitudes de esclavos y sirvientes. Disfrazado de Don Noble llamado Rumata de Estor, se ha dado a conocer entre algunos de los habitantes de la ciudad como el hijo de Goran (un dios pagano local). En los duelos, Rumata no mata a los enemigos, sino que sólo les corta las orejas, ya que le está prohibido matar. Por la noche, sueña con el asesinato. Su misión es salvar a los intelectuales de esta sociedad, los ratones de biblioteca y los sabios, que son constantemente perseguidos por las llamadas tropas grises bajo el liderazgo de Don Reba, que ha usurpado el poder en el estado.

A través de Muga, su esclavo principal, Rumata se entera de la existencia de un tabaquero de la calle del Tabaco que supuestamente es uno de los habitantes más inteligentes de Arkanar. En islotes rocosos entre los pantanos que rodean la ciudad, Rumata esconde a los científicos arkanarianos para ponerlos a salvo. De vez en cuando, otros terrícolas también se reúnen en estos pantanos, cada vez más alejados unos de otros, y constantemente borrachos (al igual que Rumata). Un médico llamado Budakh, que debía ser llevado a un refugio, ha desaparecido junto con su escolta. Queriendo averiguar su destino, Rumata consigue una cita con el rey y con Don Reba, pero fracasa. En los salones, Rumata se encuentra con su amigo Pampa, un barón local desvencijado. Tras una noche de borrachera, Rumata es detenido repentinamente en el palacio por los Grays y llevado ante Don Reba para ser interrogado. Reba le informa de que se ha convertido en el Maestro de la Orden, una secta religiosa militante de todo el país, e intenta averiguar si Rumata es realmente un Dios o no. Rumata consigue convencer a Reba de sus poderes divinos, y es liberado tras recibir un montón de brazaletes de seguridad.

Los monjes negros de la Orden invaden la ciudad, tomando el poder en Arkanar durante la noche. El rey y su familia han sido asesinados, y los cortesanos son ejecutados públicamente. Por la mañana, Rumata acude a las cámaras de tortura de la Torre de la Alegría y rescata a Budakh y al barón Pampa, que han ido a parar allí. Pampa, al tratar de escapar de la ciudad, muere al recibir un disparo de flechas. Después, Rumata habla con Budakh, intentando averiguar qué aconsejaría el científico a Dios sobre cómo arreglar el estado de las cosas en el mundo de Arkanar. La respuesta de Budakh no satisface al terrícola: los débiles sustituirán a los fuertes, pero esto no detendrá la lucha por el poder. Rumata y Budakh vuelven a casa. El castillo de Don ha sobrevivido a un ataque nocturno y dos sirvientes han muerto. Aquí Rumata se encuentra con Arata el Jorobado, una temida figura revolucionaria que intenta convencerle de que lidere el levantamiento de los esclavos con su tecnología terrestre. Sin embargo, Rumata se niega: el tiempo pasará y la explotación y la esclavitud se repetirán. Tras entregar a Arata un brazalete protector de la Orden, Rumata ordena a los sirvientes que lo alejen con palos. Al día siguiente, Ari, la amante de Rumata aquí en Arkanar, es asesinada por una flecha de ballesta disparada en la nuca. Poco después, los soldados de la Orden irrumpen en la casa de Rumata en busca de herejes, guiados por cierto monje tullido, en cuya descripción es fácil adivinar a Arata. Furioso por el asesinato de Ari, Rumata informa a su líder, un antiguo estudiante universitario llamado Arima, de que los matará a todos y pronto convierte su amenaza en realidad. Primero mata a Arima. Tras destripar el cuerpo de Arima, dejando al descubierto su corazón aún latente, Rumata se dirige a la ciudad.

Un grupo de terrícolas, entre los que se encuentra el anciano Don Cóndor, se abre paso entre las ruinas de Arkanar. Descubren montañas de cadáveres, entre ellos los de Arata y Don Raba. De la conversación de los terrícolas se desprende que Ari murió a causa de la flecha de Arata, que quería poner a Rumata sobre los monjes de la Orden. Finalmente, Don Cóndor y Pashka descubren al propio Rumata, sentado solo en un charco con los mismos trapos. Se niega a volver a la Tierra. "Dios, él también puede cansarse", le dice a Cóndor. Don Cóndor acepta en silencio la decisión de Rumata. Finalmente, Rumata constata la secuencia histórica: "¡Donde los grises triunfan, los negros siempre llegan al poder!" y aconseja a Don Cóndor lo que debe escribir en el informe sobre sus acciones: "Dile que es difícil ser un dios". Con esto Don Cóndor y Pashka se van. Cansado y agotado, Rumata se va quedando dormido.

Durante el invierno, dos de los hombres-libro que se esconden en los pantanos se pelean y se matan, entonces Rumata toca el saxofón, y la procesión de jinetes se aleja lentamente en la distancia.