Se cree que una fotografía de 1936 captó de manera fortuita una imagen de la dama de castaño.
Conocida como "lady Dorothy" o "el fantasma de la familia", se decía que la dama color castaño caminaba por los corredores de Raynham Hall en Norfolk, Inglaterra, entre 1840 y 1860.
Una noche de 1855, tres jóvenes de la familia la vieron en las escaleras y la persiguieron, pero cuando la creyeron acorralada, ella saludó y se desvaneció. Al día siguiente, al describir el hecho al resto de la familia, otra pariente recordó haber visto el espectro en 1844, también en las escaleras, con el mismo atuendo, y una horrible expresión en los ojos vidriados y vacíos.
Se dice que el vestido que llevaba el espectro era de brocado de seda color castaño con brillos dorados, el mismo traje que portaba lady Dorothy Townshend, hermana del Primer Ministro sir Robert Walpole, en un retrato que se conserva en Raynham. Dorothy Walpole se había casado con el segundo vizconde Townshend de Raynham, algunos aseguran que contra su voluntad, y quizá sea ésta la razón por la que ha vagado en Raynham desde su muerte en 1726.
Pero su menos romántica familia dice que no puede descansar por celos. Debió de guardar resentimiento a sus parientes -los Walpole- porque su condado, creado en 1742, era más importante que el de los Townshend. También detestaba a los parientes de su esposo, los Loftus, por tener una riqueza que consideraba que debía ser suya. Y de este modo fastidiaba a los Walpole y a los Loftus apenas llegaban a Raynham.
Pero la dama de castaño no sólo asediaba a su familia. El capitán y escritor Frederick Marryat la vio una vez y le disparó con su pistola. Ella desapareció de inmediato. Este espíritu se apareció también en Houghton, la gran mansión de Norlfolk construida por sir Robert Walpole. Asustó al príncipe regente, más tarde Jorge IV. El príncipe confesó: "No pasaré otra hora en esta casa maldita, porque esta noche vi lo que espero por Dios que jamás vuelva a ver."
En el decenio de 1870, un miembro de la familia declaró que las apariciones habían cesado, pero en 1936 se publicó en la revista Country Life una supuesta fotografía de la dama color castaño. La fotografía había sido tomada en Raynham Hall tras meses antes.