Florence Griswold était la plus jeune fille d’Helen Powers Griswold et du capitaine de navire Robert Harper Griswold. En tant que l’une des familles les plus anciennes et les plus riches d’Old Lyme, les Griswolds jouissaient d’une vie privilégiée jusqu’à ce que les difficultés économiques modifient la fortune de la famille. Helen décida de convertir la maison familiale en une école de fin d’études pour jeunes filles et ouvrit en 1878 la Griswold Home School pour filles où Florence, avec sa mère et ses deux sœurs, enseignait. Tout au long de sa vie, Florence continuera de faire face à des difficultés financières et, à la fin des années 1890, elle se retrouve seule sur la propriété familiale. Elle a transformé l’école en pension et a commencé à louer des chambres pour 7 per par semaine.
En 1899, l’artiste Henry Ward Ranger, récemment rentré d’Europe et inspiré par l’exemple des artistes français de Barbizon, loue une chambre à Griswold (qui est encore affectueusement appelée » Miss Florence » à Old Lyme) et encourage ses connaissances à faire de même. Plus de 135 artistes américains sont montés à bord dans la maison Florence Griswold de 1899 aux années 1930 et ont été invités à peindre un panneau sur les murs ou les portes de la maison. Plus de 43 panneaux ornent maintenant la maison, avec une concentration dans la salle à manger.
Childe Hassam est arrivé en 1903 et il a, à son tour, invité Willard Metcalf, arrivé en 1905. Parmi les artistes féminines qui ont séjourné et peint chez Miss Florence, il y avait Matilda Browne et les sœurs Lydia et Breta Longacre. De nombreux autres peintres impressionnistes américains passèrent l’été dans la colonie, dans la maison de Griswold, parmi lesquels Wilson Irvine, arrivé en 1914. Aussi, Edward Charles Volkert qui est devenu connu comme le « peintre de bétail de l’Amérique », et William Henry Howe, un autre peintre de bétail, qui était appelé « Oncle » en raison de son âge. Ellen Axson Wilson, première épouse du président Woodrow Wilson, est venue comme étudiante en art et est devenue amie avec Griswold; en 1914, Griswold a assisté au mariage de la fille présidentielle Jessie Woodrow Wilson Sayre. De nombreuses peintures impressionnistes américaines de l’époque sont des sujets dans et autour de la maison Griswold.