Sansho, el alguacil, es un jidai-geki ambientado en el periodo Heian del Japón feudal, y la historia se desarrolla a finales del siglo XI.

Un gobernador virtuoso es desterrado por un señor feudal a una provincia lejana. Su esposa, Tamaki, y sus hijos, Zushiō y Anju, son enviados a vivir con su hermano. Justo antes de ser separados, el padre de Zushiō le dice: "Sin piedad, el hombre es como una bestia. Aunque seas duro contigo mismo, sé misericordioso con los demás". Insta a su hijo a recordar sus palabras y le regala una estatuilla de Kannon, la diosa de la misericordia.

Años después, la esposa y los hijos viajan a su tierra exiliada, pero son engañados en el viaje por una sacerdotisa traicionera. La madre es vendida a la prostitución en Sado y los niños son vendidos por traficantes de esclavos a una finca señorial en la que los esclavos son maltratados y marcados cuando intentan escapar. La finca, protegida por el Ministro del Derecho, es administrada por el epónimo Sanshō. El hijo de Sanshō Tarō, el segundo en el cargo, es un amo mucho más humano y convence a los niños para que sobrevivan antes de poder escapar para encontrar a su madre.

Los niños crecen hasta ser jóvenes adultos en el campo de esclavos. Anju sigue creyendo en las enseñanzas de su padre, pero Zushiō ha reprimido su humanidad, convirtiéndose en uno de los brutales capataces, creyendo que es la única forma de sobrevivir. En el trabajo, Anju escucha una canción de una nueva esclava de Sado que la menciona a ella y a su hermano en la letra, lo que la lleva a creer que su madre sigue viva. Intenta convencer a Zushiō de que se escape, pero él se niega, alegando la dificultad y su falta de dinero.

A Zushiō se le ordena que se lleve a Namiji, una mujer mayor que está gravemente enferma, fuera del campamento de esclavos para que muera en el desierto. Anju les acompaña y mientras rompen ramas para dar cobertura a la moribunda, recuerdan un acto similar de su anterior infancia. Zushiō cambia de opinión y le pide a Anju que escape con él para encontrar a su madre. Anju le pide que se lleve a Namiji con él, convenciendo a su hermano de que se quedará atrás para distraer a los guardias. Zushiō promete volver a por Anju. Sin embargo, tras la huida de Zushiō, Anju se suicida caminando hacia un lago, ahogándose para no ser torturada y obligada a revelar el paradero de su hermano.

Después de que Zushiō escapa, encuentra a Tarō en un templo imperial. Zushiō le pide que cuide de Namiji para poder ir a Kioto a apelar al Consejero Principal en relación con las espantosas condiciones de los esclavos. Aunque al principio se niega a verlo, el Consejero Principal se da cuenta de quién es Zushiō tras ver su estatuilla de Kannon. Entonces le dice a Zushiō que su padre exiliado murió el año anterior y le ofrece el puesto de gobernador de Tango, la provincia donde se encuentra la mansión de Sanshō.

Como gobernador de Tango, Zushiō emite un edicto que prohíbe la esclavitud tanto en el ámbito público como en el privado. Nadie cree que pueda hacerlo ya que los gobernadores no tienen poder sobre los terrenos privados. Aunque Sanshō ofrece una resistencia inicial, Zushiō ordena que lo arresten a él y a sus hombres, liberando a los esclavos. Cuando busca a Anju entre los esclavos de Sanshō, se entera de que su hermana se sacrificó por su libertad. La mansión es incendiada por los ex-esclavos mientras Sanshō y su familia son exiliados. Zushiō dimite inmediatamente después, declarando que ha hecho lo que pretendía hacer.

Zushiō va a Sado a por su anciana madre, que cree que sigue siendo una cortesana. Tras escuchar a un hombre afirmar que ella murió en un tsunami, va a la playa en la que se supone que murió. Encuentra a una anciana decrépita sentada en la playa cantando la misma canción que escuchó años atrás. Al darse cuenta de que es su madre, le revela su identidad, pero Tamaki, que se ha quedado ciega, asume que es un embaucador hasta que le da la estatuilla de Kannon, que reconoce al tacto. Zushiō le cuenta que tanto Anju como su padre han muerto y se disculpa por no haber venido a buscarla con la pompa de su cargo de gobernador. En su lugar, siguió el proverbio de su padre, eligiendo la misericordia hacia los demás liberando a los esclavos de Sanshō. Le dice a su madre que ha sido fiel a las enseñanzas de su padre, lo que ella reconoce conmovida.