Florence Griswold była najmłodszą córką Helen Powers Griswold i kapitana statku Roberta Harpera Griswolda. Jako jedna z najstarszych i najbogatszych rodzin w Old Lyme, Griswoldowie cieszyli się uprzywilejowanym życiem, dopóki trudności ekonomiczne nie zmieniły losu rodziny. Helen postanowiła przekształcić dom rodzinny w szkołę kończącą dla młodych kobiet i otworzyła szkołę domową Griswold dla dziewcząt w 1878 roku, gdzie Florence, wraz z matką i dwiema siostrami, nauczała. Przez całe życie Florencja nadal borykała się z trudnościami finansowymi, a pod koniec 1890 roku znalazła się sama na rodzinnej zagrodzie. Przekształciła szkołę w Internat i zaczęła wynajmować pokoje ZA 7 dolarów tygodniowo.
w 1899 roku artysta Henry Ward Ranger, niedawno wrócił z Europy i zainspirowany przykładem francuskich artystów z Barbizonu, wynajął pokój od Griswolda (który nadal jest pieszczotliwie nazywany „Miss Florencji” w Starym boreliozie) i zachęcił swoich znajomych do podobnych działań. Ponad 135 amerykańskich artystów weszło na pokład w domu Florence Griswold w latach 1899-1930 i zostało zaproszonych do namalowania panelu na ścianach lub drzwiach domu. Ponad 43 panele zdobią teraz Dom, z koncentracją w jadalni.
Childe Hassam przybył w 1903 roku, a on z kolei zaprosił Willarda Metcalfa, który przybył w 1905 roku. Wśród artystek, które przebywały i malowały u panny Florence były Matilda Browne i siostry Lydia i Breta Longacre. Wielu innych amerykańskich malarzy impresjonistów przebywało w Kolonii, w domu Griswolda, wśród nich Wilson Irvine, który przybył w 1914 roku. Również Edward Charles Volkert, który stał się znany jako „amerykański malarz bydła”, i William Henry Howe, inny malarz bydła, który tam był określany jako „Wujek” ze względu na swój wiek. Ellen Axson Wilson, pierwsza żona prezydenta Woodrowa Wilsona, przyszła jako studentka sztuki i zaprzyjaźniła się z Griswoldem; w 1914 Griswold wziął udział w ślubie prezydenckiej córki Jessie Woodrow Wilson Sayre. Wiele amerykańskich obrazów impresjonistycznych z epoki przedstawia tematy w domu Griswoldów i wokół niego.