El Imperio Romano era un grupo de provincias gobernadas directamente por Roma y el Senado Romano, a través de gobernadores nombrados por el Senado. Este sistema de gobierno ya estaba en vigor en tiempos de Augusto, pero lo refinó y mejoró. Finalmente, como el Imperio se hizo demasiado grande y difícil de manejar, los emperadores (comenzando por Diocleciano) decidieron dividir el control del Imperio entre dos co-Emperadores, uno con sede en Roma y el otro en Bizancio/Constantinopla. Sin embargo, el concepto básico de provincias gobernadas por los representantes del Emperador/coemperadores siguió siendo la base del Imperio Romano.
Finalmente, en los años 400 d. C., el Imperio Romano de Occidente cayó ante las invasiones de varias tribus germánicas, y dejó de existir un Emperador en Roma. Las provincias occidentales cayeron fuera del control romano, y volvieron al autogobierno. El Imperio Romano de Oriente (conocido por ellos mismos simplemente como el Imperio Romano, pero conocido por nosotros como el Imperio Bizantino) continuó durante otros 1000 años, pero tuvo poco interés en las antiguas provincias occidentales o en la propia Roma.
Más de 300 años después (finales del 700 d.C.), surgió un rey en Frankland, que conquistó algunos otros reinos y regiones, incluyendo Italia y Roma. Carlomagno creó efectivamente un nuevo imperio en Europa occidental.
El Papa en ese momento, sin precedentes ni autoridad en esta área, decidió llamar a Carlomagno «Imperator Romanorum» (Emperador de los romanos), y lo declaró sucesor de los antiguos Emperadores romanos occidentales. Con el tiempo, debido a que este título vino del Papa, esto se conoció como «Sacro Emperador Romano».
Básicamente, el nombre de «Emperador del Sacro Imperio Romano» era un intento de dar a un rey conquistador moderno el prestigio de los extintos Augusti (Emperadores) de Roma, a pesar del hecho de que no tenían ninguna relación con ellos en absoluto.