Mentre le origini della canzone sono oscuri, alcune prove pone le sue radici con vaudeville e teatro atti del tardo 19 ° secolo e l’inizio del 20 ° secolo popolare nelle comunità di immigrati. Alcuni atti di vaudeville durante l’epoca, come il lavoro di Joe Weber e Lew Fields, spesso davano voce alle frustrazioni condivise degli immigrati tedesco-americani e si appoggiavano pesantemente ai malapropismi e alle difficoltà con la lingua inglese come veicolo per il loro umorismo. “John Jacob Jingleheimer Schmidt” condivide molte caratteristiche con “My Name Is Jan Jansen”, una canzone che può far risalire la sua origine al vaudeville svedese alla fine del 19 ° secolo.
La canzone sembra essere già diventata ampiamente conosciuta dalla metà del XX secolo. Ha ricevuto una spinta importante quando è stato diffuso in tutto il paese durante le riunioni delle truppe scout alla fine del 1920 e all’inizio del 1930. Nel 1926, il quotidiano The Times di Munster, Indiana stampato che, durante una gita Girl Scout, gli scout seduti intorno a un fuoco da campo e ” è stato solennemente annunciato che John Jacob Jingleheimer Smith dopo una lunga e utile vita era morto per superlavoro sulla strada per Whiting. Fu sepolto con la dovuta cerimonia e il suo fantasma non deve essere visto fino al primo ottobre. Tutte le canzoni preferite del campo sono state cantate.”Nel 1927, il Portsmouth Daily Times ha riferito che un gruppo di ragazzi dello stato YMCA camp ha cantato diverse canzoni del campo, tra cui “John Jacob Jingleheimer Schmidt.”Nel 1931, Elmira, New York newspaper the Star-Gazette ha riferito che ad un raduno Boy Scout a Seneca Lake, come scout entrato nella sala mensa, “Troop 18 presto scoppiò nella prima canzone campo, ‘John Jacob Jingleheimer Smith’. Un articolo del Milwaukee Journal del 1941 si riferisce anche alla canzone, con lo stesso titolo alternativo di “John Jacob Jingleheimer Smith.”
La canzone è indefinitamente ripetitiva, in modo simile a “The Song That Never Ends”, “My Name Is Jan Jansen” o ” Michael Finnegan.”
Versioni della canzone appaiono in altre lingue, come la versione spagnola, ” Juan Paco Pedro de la Mar.”