La película muestra la historia de la Reina Victoria, recientemente viuda, y su relación con un sirviente escocés, John Brown, criado de confianza de su difunto marido, y el posterior revuelo que provocó. Brown había servido al príncipe consorte de Victoria, el príncipe Alberto; la Casa de Victoria pensó que Brown podría ayudar a la Reina, que había permanecido de luto desde la muerte del príncipe consorte en 1861.

En 1863, con la esperanza de persuadir sutilmente a la Reina para que reanude su vida pública tras años de reclusión, Brown es convocado a la corte. El plan tiene demasiado éxito para el gusto del secretario jefe de Victoria, Sir Henry Ponsonby, y del príncipe de Gales, así como de otros miembros de la familia real; el público, la prensa y los políticos pronto se resienten por la influencia que Brown percibe sobre Victoria. Brown se toma considerables libertades con el protocolo de la corte, especialmente al dirigirse a Su Majestad como "mujer". Además, no tarda en tomar el control de las actividades diarias de la Reina, lo que agrava aún más las tensiones entre él y la Familia Real y los sirvientes.

El apelativo de "señora Brown", utilizado tanto en la época como en la película, implicaba una relación impropia, y quizás sexual. La película no aborda directamente las sospechas contemporáneas de que Victoria y Brown habían tenido una relación sexual y tal vez incluso se habían casado en secreto, aunque se muestran caricaturas de la revista satírica Punch que circulan por el Parlamento (una caricatura se revela a la cámara, mostrando un trono vacío, con el cetro tendido sin manos sobre él).

Como resultado de la reclusión de Victoria, especialmente en el castillo de Balmoral en Escocia (algo inicialmente alentado por Brown), su popularidad empieza a decaer y el sentimiento republicano comienza a crecer. El primer ministro Benjamin Disraeli se debilita en la Cámara de los Comunes y teme el aumento del sentimiento antimonárquico en el país. Convence a Brown de que utilice su influencia con Victoria para persuadirla de que vuelva a desempeñar sus funciones públicas, especialmente el discurso desde el trono en la inminente apertura del Parlamento.

Brown se resiste a hacerlo, temiendo, con razón, que Victoria se lo tome como una traición personal. Cuando Brown insta a Victoria a regresar a Londres y cumplir con sus obligaciones públicas, se produce una discusión. Al sentirse traicionada por Brown, Victoria se agita visiblemente. Cuando Brown vuelve a referirse a ella como "mujer", ella le reprende bruscamente. Abandona la habitación y se dirige a Ponsonby y Jenner pidiéndoles que atiendan sus necesidades, rebajando visiblemente el contacto y la influencia de Brown sobre ella. Su relación nunca volvió a ser la misma. La eventual aquiescencia de Victoria y su decisión de volver a la vida pública conduce a una revitalización de su popularidad y a un resurgimiento del apoyo público a la monarquía.

Brown sigue sirviendo a Victoria hasta su muerte en 1883. En sus últimos años, sus funciones se reducen a las de jefe de seguridad. El personal de palacio se ha cansado de las formas dogmáticas de Brown y se burlan y reprenden sus esfuerzos de seguridad como delirios paranoicos. Finalmente, durante un acto público, un asesino armado aparece de entre la multitud saltando hacia la Familia Real. El siempre vigilante Brown logra frustrar el intento de asesinato. En la cena de la noche siguiente, el Príncipe de Gales vuelve a contar la historia, jactándose ante sus compañeros de cena de haber sido él quien advirtió a Brown del asesino. Al darse cuenta de la fanfarronería de su hijo, Victoria anuncia que se acuñará una medalla especial al valor, la "Medalla al Servicio Devoto", que se entregará a Brown.

Algunos años más tarde, Brown cae gravemente enfermo de neumonía tras perseguir por el bosque a altas horas de la noche en busca de un posible intruso. Al enterarse de la enfermedad de Brown, Victoria visita su habitación y se estremece al ver a su viejo amigo tan enfermo. Confiesa que no ha sido tan buena amiga como podría haber sido en los últimos años, y la neumonía resulta fatal para Brown. Durante sus años de servicio, Brown había llevado un diario y, al fallecer, Ponsonby y Jenner discuten su contenido afirmando que nunca debe ser visto por nadie. En el último tramo de la película se señala que "el diario de John Brown nunca se encontró". Jenner también revela que el Príncipe de Gales arrojó el busto favorito de la Reina de Brown por encima del muro del palacio, haciendo referencia a la secuencia inicial de la película.