Florence Griswold a fost fiica cea mică a lui Helen Powers Griswold și a căpitanului de navă Robert Harper Griswold. Fiind una dintre cele mai vechi și mai bogate familii din vechea Lyme, familia Griswold s-a bucurat de o viață privilegiată până când dificultățile economice au schimbat averea familiei. Helen a decis să transforme casa familiei într-o școală de finisare pentru domnișoare și a deschis Griswold Home School for Girls în 1878 unde Florence, împreună cu mama ei și cele două surori, au predat. De-a lungul vieții sale, Florența va continua să se confrunte cu dificultăți financiare și, până la sfârșitul anilor 1890, s-a trezit singură în gospodăria familiei. A transformat școala într-o pensiune și a început să închirieze camere pentru 7 dolari pe săptămână.
în 1899, artistul Henry Ward Ranger, întors recent din Europa și inspirat de exemplul artiștilor francezi din Barbizon, a închiriat o cameră de la Griswold (care este încă denumită cu afecțiune Miss Florence în Old Lyme) și și-a încurajat cunoștințele să facă la fel. Peste 135 de artiști americani s-au îmbarcat în casa Florence Griswold din 1899 până în anii 1930 și au fost invitați să picteze un panou pe pereții sau ușile casei. Peste 43 de panouri împodobesc acum casa, cu o concentrare în Sala de mese.
Childe Hassam a sosit în 1903 și, la rândul său, l-a invitat pe Willard Metcalf, care a sosit în 1905. Printre femeile artiste care au rămas și au pictat la Miss Florence s-au numărat Matilda Browne și surorile Lydia și Breta Longacre. Mulți alți pictori impresioniști americani au summered la colonie, în casa lui Griswold, printre ei Wilson Irvine, care a sosit în 1914. De asemenea, Edward Charles Volkert care a devenit cunoscut sub numele de „pictorul de vite al Americii” și William Henry Howe, un alt pictor de vite, care acolo a fost denumit „Unchi” din cauza vârstei sale. Ellen Axson Wilson, prima soție a Președintelui Woodrow Wilson, a venit ca student la artă și s-a împrietenit cu Griswold; în 1914 Griswold a participat la nunta fiicei prezidențiale Jessie Woodrow Wilson Sayre. Multe picturi impresioniste americane ale epocii sunt de subiecte în și în jurul casei Griswold.