mens sangens oprindelse er uklar, placerer nogle beviser sine rødder med vaudeville og teaterhandlinger i slutningen af det 19.århundrede og det tidlige 20. århundrede populære i indvandrersamfund. Nogle vaudeville-handlinger i løbet af æraen, som f.eks arbejde af Joe Uber og uve Fields, gav ofte stemme til delte frustrationer fra tysk-amerikanske indvandrere og lænede sig stærkt på malapropismer og vanskeligheder med det engelske sprog som et middel til deres humor. “John Jacob Jingleheimer Schmidt” deler mange karakteristika med “mit Navn er Jan Jansen”, en sang, der kan spore sin oprindelse til svensk vaudeville i slutningen af det 19.århundrede.
sangen ser ud til at være allerede blevet kendt i midten af det tyvende århundrede. Det fik et stort løft, da det blev cirkuleret over hele landet under spejdertroppesamlinger i slutningen af 1920 ‘erne og begyndelsen af 1930’ erne. I 1926 blev avisen The Times of Munster, Indiana trykte, at spejderne under en Spejderudflugt sad omkring en lejrbål, og “det blev højtideligt meddelt, at John Jacob Jingleheimer Smith efter en lang og brugbar levetid var død af overarbejde på vej til hvilling. Han blev begravet med behørig ceremoni, og hans spøgelse skal først ses i Oktober. Alle de foretrukne lejrsange blev sunget.”I 1927 blev den Portsmouth Daily Times rapporterede, at en gruppe drenge fra staten KFUM lejr sang flere lejrsange, herunder “John Jacob Jingleheimer Schmidt.”I 1931 rapporterede Elmira, at ved en Spejdersamling ved Seneca Lake, da spejdere kom ind i messesalen, “brød Troop 18 snart ind i den første lejrsang, ‘John Jacob Jingleheimer Smith’.”En artikel fra 1941 henviser også til sangen med den samme alternative titel “John Jacob Jingleheimer Smith.”
sangen er uendeligt gentagen på samme måde som” sangen, der aldrig slutter”,” mit Navn er Jan Jansen “eller” Michael Finnegan.”
versioner af sangen vises på andre sprog, såsom Den Spanske gengivelse, ” Juan Paco Pedro de la Mar.”