Si bien los orígenes de la canción son oscuros, algunas pruebas sitúan sus raíces en el vodevil y los actos teatrales de finales del siglo XIX y principios del siglo XX populares en las comunidades de inmigrantes. Algunos actos de vodevil durante la época, como el trabajo de Joe Weber y Lew Fields, a menudo daban voz a las frustraciones compartidas de los inmigrantes germano-estadounidenses y se apoyaban en gran medida en los malapropismos y las dificultades con el idioma inglés como vehículo para su humor. «John Jacob Jingleheimer Schmidt » comparte muchas características con» My Name Is Jan Jansen», una canción que puede rastrear su origen al vodevil sueco a finales del siglo XIX.
La canción parece haber llegado a ser ampliamente conocida a mediados del siglo XX. Recibió un gran impulso cuando circuló por todo el país durante las reuniones de tropas de exploradores a finales de la década de 1920 y principios de la década de 1930. En 1926, el periódico The Times de Munster, Indiana, publicó que, durante una excursión de Girl Scouts, las scouts se sentaron alrededor de una fogata y «se anunció solemnemente que John Jacob Jingleheimer Smith, después de una larga y útil vida, había muerto por exceso de trabajo en el camino a la merlán. Fue enterrado con la debida ceremonia y su fantasma no se verá hasta el primero de octubre. Se cantaron todas las canciones favoritas del campamento. En 1927, el Portsmouth Daily Times informó que un grupo de chicos del campamento de YMCA cantaron varias canciones del campamento, incluyendo «John Jacob Jingleheimer Schmidt».»En 1931, el periódico de Elmira, Nueva York, The Star-Gazette, informó que en una reunión de Boy Scouts en el lago Seneca, cuando los scouts entraron en el comedor,» La Tropa 18 pronto irrumpió en la primera canción del campamento, ‘John Jacob Jingleheimer Smith’. Un artículo del Milwaukee Journal de 1941 también se refiere a la canción, con el mismo título alternativo de «John Jacob Jingleheimer Smith».»
La canción es indefinidamente repetitiva, de manera similar a «The Song That Never Ends», «My Name Is Jan Jansen» o «Michael Finnegan».»
Las versiones de la canción aparecen en otros idiomas, como la versión en español, «Juan Paco Pedro de la Mar.»