Florence Griswold Helen Powers Griswold és Robert Harper Griswold hajóskapitány legfiatalabb lánya volt. Mint az Old Lyme egyik legrégebbi és leggazdagabb családja, a Griswoldok kiváltságos életet élveztek, amíg a gazdasági nehézségek megváltoztatták a család vagyonát. Helen úgy döntött, hogy a családi házat fiatal hölgyek befejező iskolájává alakítja, és 1878-ban megnyitotta a Griswold lányiskolát, ahol Florence édesanyjával és két nővérével együtt tanított. Egész életében Firenze továbbra is pénzügyi nehézségekkel küzdött, és az 1890-es évek végére egyedül találta magát a családi tanyán. Átalakította az iskolát panzióvá, és heti 7 dollárért kezdett bérelni szobákat.
1899-ben Henry Ward Ranger művész, aki nemrég tért vissza Európából, és a francia barbizoni művészek példája ihlette, bérelt egy szobát Griswoldtól (akit még mindig szeretettel hívnak Miss Florence-nek az Old Lyme-ban), és arra biztatta ismerőseit, hogy tegyék ugyanezt. Több mint 135 amerikai művész szállt be a Florence Griswold házba 1899-től az 1930-as évekig, és felkérték őket, hogy festsenek egy panelt a ház falaira vagy ajtajaira. Több mint 43 panel díszíti a házat, koncentrálva az ebédlőben.
Childe Hassam 1903-ban érkezett, és ő viszont meghívta Willard Metcalfot, aki 1905-ben érkezett. A Miss Florence ‘ s-ben maradt és festett nők között volt Matilda Browne és nővérei Lydia és Breta Longacre. Sok más amerikai impresszionista festő nyaralt a kolóniában, Griswold házában, köztük Wilson Irvine, aki 1914-ben érkezett. Továbbá Edward Charles Volkert, aki “Amerika szarvasmarha festője” néven vált ismertté, és William Henry Howe, egy másik szarvasmarha festő, akit kora miatt “nagybátyjának” neveztek. Ellen Axson Wilson, Woodrow Wilson elnök első felesége Művészeti hallgatóként jött griswolddal; 1914-ben Griswold részt vett Jessie Woodrow Wilson Sayre elnöki lánya esküvőjén. A korszak számos amerikai impresszionista festménye a Griswold-házban és környékén található.