vaikka laulun alkuperä on hämärän peitossa, jotkut todisteet asettavat sen juuret 1800-luvun lopun ja 1900-luvun alun vaudeville-ja teatteriesityksiin, jotka olivat suosittuja maahanmuuttajayhteisöissä. Jotkut aikakauden vaudeville-näytökset, kuten Joe Weberin ja Lew Fieldsin teokset, antoivat usein äänen saksalais-amerikkalaisten maahanmuuttajien yhteisille pettymyksille ja nojautuivat voimakkaasti malapropismeihin ja vaikeuksiin englannin kielen kanssa huumorin välineenä. ”John Jacob Jingleheimer Schmidt ”jakaa monia piirteitä” My Name Is Jan Jansen ” – kappaleen kanssa, joka voi jäljittää alkuperänsä ruotsalaiseen vaudevilleen 1800-luvun lopulla.
laulu näyttää tulleen laajalti tunnetuksi jo 1900-luvun puoliväliin mennessä. Se sai merkittävän sysäyksen, kun sitä kierrätettiin ympäri maata partiojoukkojen kokoontumisissa 1920-luvun lopulla ja 1930-luvun alussa. Vuonna 1926 Munsterissa Indianassa ilmestyvä The Times-sanomalehti kirjoitti, että partiolaiset istuivat partioretken aikana nuotion äärellä ja ”julistettiin juhlallisesti, että John Jacob Jingleheimer Smith oli pitkän ja hyödyllisen elämän jälkeen kuollut ylitöihin matkalla Whitingiin. Hänet haudattiin asianmukaisin seremonioin ja hänen haamunsa nähdään vasta lokakuun alussa. Kaikki suosikkileirilaulut laulettiin.”Vuonna 1927 Portsmouth Daily Times kertoi, että joukko poikia valtion NMKY: n leiriltä lauloi useita leirilauluja, kuten” John Jacob Jingleheimer Schmidt.”Vuonna 1931 Elmira, newyorkilainen sanomalehti The Star-Gazette kertoi, että Partiolaisten kokoontuessa Seneca-järvellä partiolaisten saapuessa ruokalaan” joukko 18 puhkesi pian ensimmäiseen leirilauluun, ’John Jacob Jingleheimer Smith’.”Myös Milwaukee Journalin artikkelissa vuodelta 1941 viitataan kappaleeseen, samalla vaihtoehtoisella nimellä ”John Jacob Jingleheimer Smith.”
kappale on loputtomasti toistuva, samaan tapaan kuin ”The Song That Never Ends”, ”My Name Is Jan Jansen” tai ”Michael Finnegan.”
versiot laulusta on julkaistu muillakin kielillä, kuten espanjankielisellä käännöksellä ”Juan Paco Pedro de la Mar.”