Florence Griswold var den yngsta dottern till Helen Powers Griswold och skeppskapten Robert Harper Griswold. Som en av gamla Lyme äldsta och rikaste familjer, Griswolds haft ett privilegierat liv tills ekonomiska svårigheter förändrade familjens förmögenheter. Helen bestämde sig för att konvertera familjens hem till en slutskola för unga damer och öppnade Griswold Home School for Girls 1878 där Florens, tillsammans med sin mamma och två systrar, undervisade. Under hela sitt liv skulle Florens fortsätta att konfrontera ekonomiska svårigheter, och i slutet av 1890-talet befann hon sig ensam på familjens gård. Hon förvandlade skolan till ett pensionat och började hyra rum för $7 per vecka.
år 1899 återvände konstnären Henry Ward Ranger, nyligen från Europa och inspirerad av de franska Barbizon-konstnärernas exempel, hyrde ett rum från Griswold (som fortfarande kärleksfullt kallas ’Miss Florence’ i Old Lyme) och uppmuntrade sina bekanta att göra detsamma. Över 135 amerikanska konstnärer gick ombord i Florence Griswold House från 1899 till 1930-talet och blev inbjudna att måla en panel på husets väggar eller dörrar. Över 43 paneler pryder nu huset, med en koncentration i matsalen.
Childe Hassam anlände 1903 och han bjöd i sin tur in Willard Metcalf, som anlände 1905. Bland de kvinnliga konstnärerna som stannade och målade på Miss Florence var Matilda Browne och systrarna Lydia och Breta Longacre. Många andra amerikanska impressionistiska målare somrade vid kolonin, i Griswolds hus, bland dem Wilson Irvine, som anlände 1914. Även Edward Charles Volkert som blev känd som” Amerikas nötkreaturmålare”, och William Henry Howe, en annan nötkreaturmålare, som där kallades” farbror ” på grund av sin ålder. Ellen Axson Wilson, första fru till president Woodrow Wilson, kom som konststudent och blev vän med Griswold; 1914 deltog Griswold i bröllopet till Presidentdotter Jessie Woodrow Wilson Sayre. Många amerikanska impressionistiska målningar av eran är av ämnen i och runt Griswold house.