Mitten im Elm liegt die Ruine der Elmsburg. Bereits im Jahr 1840 wurde diese von einem nicht namentlich bekanntem Förster erstmalig vermessen, jedoch konnte er damals nicht die genauen Maße erfassen. Erst zwischen 1959 und 1962 legten Archäologen die Fundamente frei und bestimmten das volle Ausmaß der ehemaligen Burg. Neben den Fundamenten fanden die Wissenschaftler Keramikstücke aus der Eisenzeit (1.200 bis 450 Jahre v. Chr.), sodass lange vermutet wurde, Teile des äußeren Walls stammen bereits aus dieser Zeit. Weil sich jedoch keine weiteren Fundstücke aus dieser Zeit finden ließen, gilt diese Vermutung nicht als sicher.
Da die Elmsburg vollständig zerstört wurde, lassen sich Details zu ihren vollen Ausmaßen und ihrem Aussehen nur noch vermuten. Genauere Angaben sind nur zur Burgkapelle möglich. Diese wurde sogar zweimal errichtet, das erste Mal bereits im 11. Jahrhundert. Die Kirche diente auch als Grabstätte wie Überreste menschlicher Skelette und Gräber beweisen.
Im frühen 13. Jahrhundert ging die Burg an den Deutschen Ritterorden, der hier eine Kommende einrichtete, wurde aber bereits rund 40 Jahre später aus Platzgründen aufgegeben. Die Kommende wurde nach Lucklum verlegt. Nach einem Großbrand, datiert auf das Jahr 1572, verfiel die Elmsburg nach und nach.