medan ursprunget till låten är obskyra, vissa bevis placerar sina rötter med vaudeville och teater handlingar i slutet av 19-talet och början av 20-talet populär i invandrarsamhällen. Vissa vaudeville-handlingar under eran, såsom arbetet med Joe Weber och Lew Fields, gav ofta röst till delade frustrationer av tysk-amerikanska invandrare och lutade sig kraftigt på malapropismer och svårigheter med det engelska språket som ett medel för deras humor. ”John Jacob Jingleheimer Schmidt” delar många egenskaper med ”mitt namn är Jan Jansen”, en låt som kan spåra sitt ursprung till svenska vaudeville i slutet av 19-talet.
låten verkar redan ha blivit allmänt känd i mitten av det tjugonde århundradet. Det fick ett stort uppsving när det cirkulerades över hela landet under scout troop sammankomster i slutet av 1920-talet och början av 1930-talet. År 1926, The Times tidningen av Munster, Indiana Tryckt att under en Girl Scout utflykt, scouterna satt runt en lägereld och ”det tillkännagavs högtidligt att John Jacob Jingleheimer Smith efter en lång och användbar livslängd hade dött av överansträngning på väg till vitling. Han begravdes med vederbörlig ceremoni och hans spöke ska inte ses förrän i oktober först. Alla favoritlägerlåtarna sjöngs.”År 1927 rapporterade Portsmouth Daily Times att en grupp pojkar från det statliga YMCA-lägret sjöng flera lägerlåtar, inklusive” John Jacob Jingleheimer Schmidt.”1931, Elmira, New York tidningen The Star-Gazette rapporterade att vid en Pojkscoutsamling vid Seneca Lake, när scouter gick in i mäss hall, ”trupp 18 brast snart in i den första lägersången, ”John Jacob Jingleheimer Smith”.”En artikel i Milwaukee Journal från 1941 hänvisar också till låten, med samma alternativa Titel ”John Jacob Jingleheimer Smith.”
låten är obestämd repetitiv, på samma sätt som ”the Song That Never Ends”, ”My Name Is Jan Jansen” eller ”Michael Finnegan.”
versioner av låten visas på andra språk, till exempel den spanska återgivningen, ”Juan Paco Pedro de la Mar.”