Florence Griswoldová byla nejmladší dcerou Helen Powers Griswoldové a kapitána lodi Roberta Harpera Griswolda. Jako jedna z nejstarších a nejbohatších rodin Old Lyme si Griswoldové užívali privilegovaného života, dokud ekonomické potíže nezměnily bohatství rodiny. Helen se rozhodla převést rodinný dům na dokončovací školu pro mladé dámy a v roce 1878 otevřela domácí školu Griswold pro dívky, kde Florence spolu se svou matkou a dvěma sestrami učila. Po celý její život, Florence bude i nadále čelit finančním obtížím, a na konci roku 1890, se ocitla sama na rodinnou usedlost. Přeměnila školu na Penzion a začala pronajímat pokoje za 7 dolarů týdně.
V roce 1899 umělec Henry Ward Ranger, se nedávno vrátil z Evropy a inspirován příkladem francouzského Barbizonu umělců, pronajal pokoj od Griswold (který je stále láskyplně odkazoval se na jako ‚Florence‘ v Old Lyme) a povzbudil své známé, aby učinili totéž. Více než 135 Amerických umělců nastoupil v Florence Griswold Domu z roku 1899 prostřednictvím 1930 a byly vyzvány, aby malovat panely na stěnách nebo dveře domu. Více než 43 panelů nyní zdobí dům s koncentrací v jídelně.
Childe Hassam přišel v roce 1903 a on zase pozval Willarda Metcalfa, který přišel v roce 1905. Mezi umělkyněmi, které zůstaly a malovaly u slečny Florence, byly Matilda Browne a sestry Lydia a Breta Longacre. Mnoho dalších amerických impresionistických malířů léto v kolonii, v Griswoldově domě, mezi nimi Wilson Irvine, který přišel v roce 1914. Také Edward Charles Volkert, který se stal známým jako „americký malíř dobytka“, a William Henry Howe, další malíř dobytka, který byl kvůli svému věku označován jako „strýc“. Ellen Axson Wilson, první manželka prezidenta Woodrowa Wilsona, přišel jako student umění a stal se přáteli s Griswold; v roce 1914 Griswold zúčastnili svatby Prezidentských dcera Jesse Woodrow Wilson Sayre. Mnoho amerických impresionistických obrazů éry je předmětů v griswoldově domě a jeho okolí.