hoewel de oorsprong van het lied onduidelijk is, zijn er aanwijzingen dat het zijn oorsprong vindt in vaudeville-en theateracts uit de late 19e eeuw en het begin van de 20e eeuw die populair zijn in immigrantengemeenschappen. Sommige vaudeville acts tijdens het tijdperk, zoals het werk van Joe Weber en Lew Fields, vaak gaf stem aan gedeelde frustraties van Duits-Amerikaanse immigranten en zwaar leunde op malapropisms en moeilijkheden met de Engelse taal als een voertuig voor hun humor. “John Jacob Jingleheimer Schmidt “heeft veel kenmerken met” My Name is Jan Jansen”, een lied dat zijn oorsprong kan vinden in het Zweedse vaudeville in de late 19e eeuw.
het lied lijkt al in het midden van de twintigste eeuw algemeen bekend te zijn geworden. Het kreeg een grote boost toen het werd verspreid door het hele land tijdens scout troep bijeenkomsten in de late jaren 1920 en vroege jaren 1930. In 1926 publiceerde de krant The Times in Munster, Indiana dat de scouts tijdens een Padvindsteruitstapje rond een kampvuur zaten en “plechtig werd aangekondigd dat John Jacob Jingleheimer Smith na een lang en nuttig leven was overleden aan overwerk op weg naar Whiting. Hij werd begraven met de nodige ceremonie en zijn geest is niet te zien tot oktober eerste. Alle favoriete kampliederen werden gezongen. In 1927 meldde de Portsmouth Daily Times dat een groep jongens uit het YMCA-kamp verschillende kampliederen zong, waaronder John Jacob Jingleheimer Schmidt.”In 1931 berichtte Elmira, New Yorkse krant The Star-Gazette dat op een Padvindersbijeenkomst in Seneca Lake, toen scouts de eetzaal binnenkwamen,” Troop 18 al snel in het eerste kamplied barstte, ‘John Jacob Jingleheimer Smith’. Een artikel uit het Milwaukee Journal uit 1941 verwijst ook naar het nummer, met dezelfde Alternatieve titel als “John Jacob Jingleheimer Smith.”
het nummer is voor onbepaalde tijd repetitief, vergelijkbaar met “The Song That Never Ends”, “My Name is Jan Jansen” of “Michael Finnegan.”
versies van het lied verschijnen in andere talen, zoals de Spaanse vertolking, “Juan Paco Pedro de la Mar.”