Bien que les origines de la chanson soient obscures, certaines preuves situent ses racines avec des actes de vaudeville et de théâtre de la fin du 19e siècle et du début du 20e siècle populaires dans les communautés d’immigrants. Certains actes de vaudeville de l’époque, tels que le travail de Joe Weber et Lew Fields, ont souvent donné la parole aux frustrations partagées des immigrants germano-américains et se sont fortement appuyés sur les malapropismes et les difficultés avec la langue anglaise comme véhicule de leur humour. « John Jacob Jingleheimer Schmidt » partage de nombreuses caractéristiques avec « My Name Is Jan Jansen », une chanson qui peut faire remonter son origine au vaudeville suédois de la fin du 19ème siècle.
La chanson semble avoir déjà été largement connue au milieu du XXe siècle. Il a reçu un coup de pouce important lorsqu’il a été diffusé dans tout le pays lors de rassemblements de troupes scoutes à la fin des années 1920 et au début des années 1930. En 1926, le journal The Times de Munster, dans l’Indiana, a imprimé que, lors d’une sortie scoute, les éclaireurs s’étaient assis autour d’un feu de camp et « il a été solennellement annoncé que John Jacob Jingleheimer Smith, après une longue et utile vie, était mort de surmenage sur le chemin du Merlan. Il a été enterré avec la cérémonie prévue et son fantôme ne doit pas être vu avant le premier octobre. Toutes les chansons préférées du camp ont été chantées. »En 1927, le Portsmouth Daily Times a rapporté qu’un groupe de garçons du camp du YMCA d’État a chanté plusieurs chansons du camp, dont « John Jacob Jingleheimer Schmidt. »En 1931, le journal new-yorkais the Star-Gazette rapporta que lors d’un rassemblement de scouts au lac Seneca, alors que les éclaireurs entraient dans le mess hall, « La troupe 18 fit bientôt irruption dans la première chanson du camp, « John Jacob Jingleheimer Smith ». Un article du Milwaukee Journal de 1941 fait également référence à la chanson, avec le même titre alternatif de « John Jacob Jingleheimer Smith. »
La chanson est indéfiniment répétitive, de la même manière que « The Song That Never Ends », « My Name Is Jan Jansen » ou « Michael Finnegan. »
Des versions de la chanson apparaissent dans d’autres langues, telles que l’interprétation espagnole », Juan Paco Pedro de la Mar. »