Florence Griswold era la hija menor de Helen Powers Griswold y el capitán de barco Robert Harper Griswold. Como una de las familias más antiguas y ricas de Old Lyme, los Griswolds disfrutaron de una vida privilegiada hasta que las dificultades económicas cambiaron la fortuna de la familia. Helen decidió convertir el hogar familiar en una escuela de fin de carrera para mujeres jóvenes y abrió la Escuela de Hogar Griswold para Niñas en 1878, donde Florence, junto con su madre y sus dos hermanas, enseñaban. A lo largo de su vida, Florence continuaría enfrentando dificultades financieras, y a finales de la década de 1890, se encontró sola en la casa familiar. Transformó la escuela en una pensión y comenzó a alquilar habitaciones por 7 7 por semana.
En 1899, el artista Henry Ward Ranger, recientemente regresado de Europa e inspirado en el ejemplo de los artistas franceses de Barbizon, alquiló una habitación a Griswold (que todavía se conoce cariñosamente como «Miss Florence» en Old Lyme) y alentó a sus conocidos a hacer lo mismo. Más de 135 artistas estadounidenses abordaron en la Casa Florence Griswold desde 1899 hasta la década de 1930 y fueron invitados a pintar un panel en las paredes o puertas de la casa. Más de 43 paneles adornan ahora la casa, con una concentración en el Comedor.
Childe Hassam llegó en 1903 y él, a su vez, invitó a Willard Metcalf, que llegó en 1905. Entre las artistas que se quedaron y pintaron en Miss Florence estaban Matilda Browne y las hermanas Lydia y Breta Longacre. Muchos otros pintores impresionistas estadounidenses veraneaban en la colonia, en la casa de Griswold, entre ellos Wilson Irvine, que llegó en 1914. También, Edward Charles Volkert, que llegó a ser conocido como «el pintor de ganado de Estados Unidos», y William Henry Howe, otro pintor de ganado, que allí se conocía como «Tío» debido a su edad. Ellen Axson Wilson, primera esposa del presidente Woodrow Wilson, llegó como estudiante de arte y se hizo amiga de Griswold; en 1914, Griswold asistió a la boda de su hija presidencial Jessie Woodrow Wilson Sayre. Muchas pinturas impresionistas estadounidenses de la época son de temas en y alrededor de la casa Griswold.