Harpers Ferry wurde erstmals 1732 von Peter Stephens besiedelt, dessen „Hausbesetzerrechte“ 1747 von Robert Harper gekauft wurden, nach dem die Stadt benannt wurde. Um 1750 erhielt Harper ein Patent auf 125 Hektar (0,5 km2) am heutigen Standort der Stadt. 1761 errichtete Harper eine Fähre über den Potomac River, was die Stadt zu einem Ausgangspunkt für Siedler machte, die in das Shenandoah Valley und weiter westlich zogen. 1763 gründete die Virginia General Assembly die Stadt „Shenandoah Falls at Mr. Harper’s Ferry“.“
Am 25.Oktober 1783 besuchte Thomas Jefferson Harpers Ferry. Er betrachtete „die Passage des Potomac durch den Blue Ridge“ von einem Felsen, der jetzt nach ihm benannt ist. Jefferson nannte die Website „vielleicht eine der schönsten Szenen in der Natur.“
George Washington reiste als Präsident der Patowmack Company (die gegründet wurde, um die Flussverbesserungen am Potomac und seinen Nebenflüssen abzuschließen) im Sommer 1785 nach Harpers Ferry, um die Notwendigkeit von Umgehungskanälen festzustellen. 1794 führte Washingtons Vertrautheit mit der Gegend dazu, dass er den Standort für eine neue Waffenkammer und ein Arsenal der Vereinigten Staaten vorschlug. Einige von Washingtons Familie zogen in die Gegend; Charles Washington, jüngster Vollbruder des Präsidenten, gründete die Stadt Charles Town, etwa sechs Meilen südwestlich. Präsident Washingtons Ur-Ur-Neffe, Oberst Lewis Washington, wurde während John Browns Überfall im Jahr 1859 als Geisel gehalten.
1796 kaufte die Bundesregierung ein Grundstück von den Erben von Robert Harper, und drei Jahre später begann der Bau der US Armory and Arsenal in Harpers Ferry. Zwischen 1801 und 1861, als es zerstört wurde, um die Gefangennahme während des Bürgerkriegs zu verhindern, produzierte die Waffenkammer mehr als 600.000 Musketen, Gewehre und Pistolen. Die Industrialisierung setzte sich 1833 fort, als der Chesapeake & Ohio-Kanal Harpers Ferry erreichte und ihn mit Washington, DC, verband. Ein Jahr später nahm die Baltimore & Ohio Railroad den Zugverkehr durch die Stadt auf.
Am 16.Oktober 1859 führte der radikale Abolitionist John Brown eine Gruppe von 21 Männern zu einem Überfall auf das Arsenal. Brown und seine Männer griffen mehrere Gebäude an und eroberten sie; Er hoffte, mit den erbeuteten Waffen einen Sklavenaufstand im ganzen Süden einzuleiten. John Browns Männer wurden schnell von lokalen Bürgern und Milizen festgehalten und gezwungen, im Maschinenhaus neben der Waffenkammer Zuflucht zu suchen. Ein Kontingent von US-Marines, angeführt vom damaligen Oberstleutnant Robert E. Lee, stürmte das Maschinenhaus und nahm die meisten Räuber gefangen, einige töten und selbst ein einziges Opfer erleiden. Brown wurde wegen Hochverrats gegen das Commonwealth of Virginia vor Gericht gestellt, verurteilt und in Charles Town gehängt. Der Überfall war ein Katalysator für den Bürgerkrieg.
Der Bürgerkrieg war katastrophal für Harpers Ferry, die zwischen 1861 und 1865 achtmal den Besitzer wechselte. Als Virginia sich im April 1861 abspaltete, versuchte die US-Garnison, das Arsenal zu verbrennen und die Maschinen zu zerstören, um die Konföderierten daran zu hindern, es zu benutzen. Einheimische retteten die Ausrüstung, die die Konföderierte Armee an einen sichereren Ort in der Hauptstadt Richmond verlegte. Die US-Armee hat die Rüstungsproduktion in Harpers Ferry nie erneuert.
Nach dem Ende des Bürgerkriegs wurde 1867 das historische Black Storer College auf Camp Hill von Reverend Nathan Cook Brackett gegründet. Bemerkenswerte Alumni sind die Jazzlegende Don Redman und der erste Präsident der Bundesrepublik Nigeria, Nnamdi Azikiwe. Das Storer College wurde im Juni 1955 geschlossen und der Campus ist heute Teil des Harpers Ferry National Historical Park.
Am 15.August 1906 hielt die Niagara-Bewegung unter der Leitung des Schriftstellers und Gelehrten W. E. B. Du Bois und des politischen Aktivisten William Monroe Trotter ihr erstes Treffen auf amerikanischem Boden auf dem Campus des Storer College ab. Die dreitägige Versammlung, die abgehalten wurde, um die Bürgerrechte für Afroamerikaner zu sichern, wurde später von DuBois als „eines der größten Treffen, die amerikanische Neger jemals abgehalten haben“ beschrieben.“ 1911 schlossen sich die Mitglieder der Niagara-Bewegung mit anderen zusammen, um die National Association for the Advancement of Colored People, besser bekannt als NAACP, zu gründen.
1944 wurde der größte Teil der Stadt Teil des National Park Service und wird heute als Harpers Ferry National Historical Park gepflegt. Alle Bereiche der Stadt, die nicht im Park liegen, befinden sich im staatlich anerkannten Harpers Ferry Historic District.