Het eerste schriftelijke bewijs van Esch-sur-Sûre wordt gevonden in de "Liber aureus Epternacensis", het gouden boek van de abdij van Echternach volgens welke een zekere Nebelungus zijn eigenschappen en horigen aan de abdij zou hebben geschonken. Deze wet werd geschreven in het derde regeringsjaar van Karel de Grote, tussen 9 oktober 773 en 9 oktober 774. Op 3 juni 927 verwierf Meginaud (aka Maingaud) de site van Esch-sur-Sûre in een deal met de abdij van Stavelot. Hij bouwde een 8 × 8 meter vierkante woontoren en gebouwen voor agrarisch gebruik.

Aan het einde van de 11e eeuw namen de broers Henry I en Godfrey I deel aan de voorbereidingen voor de Eerste Kruistocht en daarom konden ze niet aan het kasteel werken. De laatste twee graven van Esch breidden hun kasteel en zijn grondgebied aanzienlijk uit. Destijds omvatte het graafschap Esch-sur-Sûre 19 gehuchten en dorpen en strekte het zich uit tot Diekirch.

De eerste gebouwen van het kasteel werden dus gebouwd in de romaanse periode, terwijl de ontwikkeling ervan plaatsvond in de gotische periode. Met de komst van buskruit in de 15e eeuw werd het noodzakelijk om het verdedigingssysteem aan te passen. Hiertoe werd het hele dorp omgeven door een 450 meter lange en 1,5 meter dikke wal met twee verdedigingstorens. De ronde uitkijktoren werd tegelijkertijd versterkt.

Het kasteel daalde van het midden van de 16e eeuw tot de 19e eeuw. Na de verovering van het fort van Luxemburg in 1684 begonnen de troepen van Lodewijk XIV de bolwerken van het land te ontmantelen. In Esch-sur-Sûre werd de wal niet vernietigd omdat particuliere huizen tegen de muren stonden. Sommige staan nu nog steeds, kijk maar eens naar de rij naast het stadhuis.

Tegen het midden van de 19e eeuw ging het kasteel in handen van burgers die er woonden. Toen Victor Hugo in de zomer van 1871 het dorp aan de Sûre bezocht, werd het kasteel nog bewoond door verschillende families. De kapel werd gerestaureerd in 1906. Vandaag zijn er alleen nog geconsolideerde ruïnes over om ons te herinneren aan de trotse geschiedenis van de graven van Esch-sur-Sûre. De nieuwe verlichting geeft het kasteel een sprookjesachtige uitstraling, zeker de omweg waard.