Harpers Ferry se estableció por primera vez en 1732 por Peter Stephens, cuyos «derechos de ocupantes ilegales» fueron comprados en 1747 por Robert Harper, por quien la ciudad recibió el nombre. Alrededor de 1750, Harper recibió una patente en 125 acres (0,5 km2) en la ubicación actual de la ciudad. En 1761, Harper estableció un ferry a través del río Potomac, haciendo de la ciudad un punto de partida para los colonos que se trasladaban al Valle de Shenandoah y más al oeste. En 1763, la Asamblea General de Virginia estableció la ciudad de » Shenandoah Falls en Mr. Harper’s Ferry.»
El 25 de octubre de 1783, Thomas Jefferson visitó Harpers Ferry. Vio «el paso del Potomac a través de la Cresta Azul» desde una roca que ahora lleva su nombre. Jefferson llamó al sitio «quizás una de las escenas más estupendas de la naturaleza.»
George Washington, como presidente de la Compañía Patowmack (que se formó para completar las mejoras del río Potomac y sus afluentes), viajó al Harpers Ferry durante el verano de 1785 para determinar la necesidad de canales de derivación. En 1794, la familiaridad de Washington con el área le llevó a proponer el sitio para una nueva armería y arsenal de los Estados Unidos. Parte de la familia de Washington se mudó a la zona; Charles Washington, el hermano menor del presidente, fundó la ciudad de Charles Town, a unas seis millas al suroeste. El tatarabuelo del presidente Washington, el coronel Lewis Washington, fue tomado como rehén durante la incursión de John Brown en 1859.
En 1796, el gobierno federal compró una parcela de tierra a los herederos de Robert Harper, y tres años más tarde, comenzó la construcción de la Armería y el Arsenal estadounidenses en Harpers Ferry. Entre 1801 y 1861, cuando fue destruido para evitar la captura durante la Guerra Civil, la armería produjo más de 600.000 mosquetes, rifles y pistolas. La industrialización continuó en 1833, cuando el Canal Chesapeake & Ohio llegó al Harpers Ferry, uniéndolo con Washington, D. C. Un año más tarde, el Ferrocarril Baltimore & Ohio comenzó el servicio de trenes a través de la ciudad.
El 16 de octubre de 1859, el abolicionista radical John Brown lideró un grupo de 21 hombres en una incursión en el arsenal. Brown y sus hombres atacaron y capturaron varios edificios; esperaba usar las armas capturadas para iniciar un levantamiento de esclavos en todo el Sur. Los hombres de John Brown fueron rápidamente inmovilizados por los ciudadanos locales y la milicia, y obligados a refugiarse en la sala de máquinas adyacente a la armería. Un contingente de marines estadounidenses, dirigido por el entonces Teniente Coronel Robert E. Lee, irrumpió en la sala de máquinas y capturó a la mayoría de los asaltantes, matando a unos pocos y sufriendo una sola víctima. Brown fue juzgado por traición contra el Estado de Virginia, condenado y ahorcado en Charles Town. La incursión fue un catalizador de la Guerra Civil.
La Guerra Civil fue desastrosa para Harpers Ferry, que cambió de manos ocho veces entre 1861 y 1865. Cuando Virginia se separó en abril de 1861, la guarnición estadounidense intentó quemar el arsenal y destruir la maquinaria, para evitar que los Confederados la utilizaran. Los lugareños salvaron el equipo, que el Ejército Confederado transfirió a un lugar más seguro en su capital, Richmond. El Ejército de los Estados Unidos nunca renovó la producción de armas en Harpers Ferry.
Después del final de la Guerra Civil, en 1867, el históricamente black Storer College fue fundado en Camp Hill por el reverendo Nathan Cook Brackett. Entre los alumnos notables se encuentran la leyenda del jazz Don Redman y el primer Presidente de la República Federal de Nigeria, Nnamdi Azikiwe. Storer College cerró en junio de 1955, y el campus es ahora parte del Parque Histórico Nacional Harpers Ferry.
El 15 de agosto de 1906, el Movimiento Niágara, dirigido por el escritor y erudito W. E. B. Du Bois y el activista político William Monroe Trotter, celebró su primera reunión en suelo estadounidense en el campus del Storer College. La reunión de tres días, que se llevó a cabo para asegurar los derechos civiles de los afroamericanos, fue descrita más tarde por DuBois como «una de las reuniones más grandes que los negros estadounidenses hayan celebrado. En 1911, los miembros del Movimiento del Niágara se unieron a otros para formar la Asociación Nacional para el Avance de las Personas de Color, más conocida como la NAACP.
En 1944, la mayor parte de la ciudad se convirtió en parte del Servicio de Parques Nacionales y ahora se mantiene como el Parque Histórico Nacional Harpers Ferry. Todas las áreas de la ciudad que no están dentro del Parque se encuentran dentro del Distrito Histórico de Harpers Ferry, reconocido por el Gobierno federal.