Florence Griswold oli Helen Powers Griswoldin ja laivan kapteenin Robert Harper Griswoldin nuorin tytär. Yhtenä Old Lymen vanhimmista ja rikkaimmista perheistä Griswoldit viettivät etuoikeutettua elämää, kunnes taloudelliset vaikeudet muuttivat perheen omaisuuden. Helen päätti muuttaa perheen kodin nuorten naisten viimeistelykouluksi ja avasi 1878 Griswoldin tyttökoulun, jossa Florence yhdessä äitinsä ja kahden sisarensa kanssa opetti. Koko elämänsä ajan Florence ajautui edelleen taloudellisiin vaikeuksiin, ja 1890-luvun lopulla hän huomasi olevansa yksin perheen kotitilalla. Hän muutti koulun täysihoitolaksi ja alkoi vuokrata huoneita 7 dollarilla viikossa.
vuonna 1899 taiteilija Henry Ward Ranger, joka palasi äskettäin Euroopasta ja sai vaikutteita ranskalaisten Barbizon-taiteilijoiden esimerkistä, vuokrasi huoneen Griswoldilta (jota kutsutaan yhä hellästi ”neiti Florenceksi” vanhassa Lymessä) ja rohkaisi tuttaviaan tekemään samoin. Florence Griswoldin taloon nousi yli 135 amerikkalaista taiteilijaa vuodesta 1899 aina 1930-luvulle asti ja heitä pyydettiin maalaamaan taulu talon seiniin tai oviin. Taloa koristaa nyt yli 43 paneelia, joiden keskitys on ruokasalissa.
Childe Hassam saapui vuonna 1903 ja hän puolestaan kutsui paikalle Willard Metcalfin, joka saapui vuonna 1905. Miss Firenzessä yöpyneitä ja maalanneita naistaiteilijoita olivat muun muassa Matilda Browne sekä sisaret Lydia ja Breta Longacre. Monet muut amerikkalaiset Impressionistimaalarit viettivät majapaikkaansa Griswoldin talossa, heidän joukossaan Wilson Irvine, joka saapui paikalle vuonna 1914. Myös Edward Charles Volkert, joka tuli tunnetuksi ”Amerikan karjamaalarina”, ja William Henry Howe, toinen karjamaalari, jota kutsuttiin siellä” sedäksi ” ikänsä vuoksi. Presidentti Woodrow Wilsonin ensimmäinen vaimo Ellen Axson Wilson tuli taideopiskelijaksi ja ystävystyi Griswoldin kanssa; vuonna 1914 Griswold osallistui presidentin tyttären Jessie Woodrow Wilson Sayren häihin. Monet aikakauden amerikkalaiset impressionistiset maalaukset ovat Griswoldin talossa ja sen ympäristössä olevia aiheita.