Während die Ursprünge des Liedes unklar sind, legen einige Beweise seine Wurzeln mit Vaudeville und Theaterakten des späten 19. und frühen 20. Einige Vaudeville-Acts während dieser Zeit, wie die Arbeit von Joe Weber und Lew Fields, gaben oft gemeinsamen Frustrationen deutschamerikanischer Einwanderer eine Stimme und stützten sich stark auf Malapropismen und Schwierigkeiten mit der englischen Sprache als Vehikel für ihren Humor. „John Jacob Jingleheimer Schmidt“ teilt viele Eigenschaften mit „My Name Is Jan Jansen“, einem Lied, das seinen Ursprung im schwedischen Vaudeville des späten 19.
Das Lied scheint bereits Mitte des zwanzigsten Jahrhunderts weithin bekannt geworden zu sein. Es erhielt einen großen Schub, als es während der Pfadfindertreffen in den späten 1920er und frühen 1930er Jahren im ganzen Land verbreitet wurde. 1926 druckte die Zeitung The Times aus Munster, Indiana, dass die Pfadfinder während eines Pfadfinderinnenausflugs um ein Lagerfeuer saßen und „feierlich bekannt gegeben wurde, dass John Jacob Jingleheimer Smith nach einem langen und nützlichen Leben auf dem Weg nach Whiting an Überarbeitung gestorben war. Er wurde mit gebührender Zeremonie begraben und sein Geist ist erst im Oktober zu sehen. Alle Lieblingslagerlieder wurden gesungen.“ Im Jahr 1927 berichtete die Portsmouth Daily Times, dass eine Gruppe von Jungen aus dem staatlichen YMCA-Lager mehrere Lagerlieder sang, darunter „John Jacob Jingleheimer „.“ 1931 berichtete die New Yorker Zeitung The Star-Gazette in Elmira, dass bei einem Pfadfindertreffen am Seneca Lake, als Pfadfinder die Messehalle betraten, die Truppe 18 bald in das erste Lagerlied“John Jacob Jingle-Smith“ausbrach. Ein Artikel des Milwaukee Journal aus dem Jahr 1941 bezieht sich ebenfalls auf das Lied mit dem gleichen alternativen Titel wie „John Jacob Jingle“Smith.“
Das Lied wiederholt sich auf unbestimmte Zeit, ähnlich wie „Das Lied, das niemals endet“, „Mein Name ist Jan Jansen“ oder „Michael Finnegan.“
Versionen des Liedes erscheinen in anderen Sprachen, wie der spanischen Wiedergabe „, Juan Paco Pedro de la Mar.“