Klosterbygningerne var i middelalderen meget anselige og spredt over et stort område. Nu er kun en del af sydfløjen tilbage. Hvornår bygningerne forsvandt, vides ikke bestemt, men alt tyder på, at det er sket under Frederik II omkring 1560 kort efter at de sidste munke var flyttede herfra. Tilbage blev kun, foruden sydfløjen, en østlig fløj, som 1734 mistede sit ene stokværk. I 1780’erne fjernedes østfløjen helt. Fra tomten har man i tidens løb fjernet mængder af byggematerialer. Esrum by har nu bredt sig over hele komplekset, og den øst-vest gående landevej fører hen over kirkens fundamenter. Kun af og til har man derfor ved gravninger kunnet hente oplysninger om det forsvundne kloster, således 1879 og 1882 ved Jacob Kornerup. Ved den sidste gravning stødte man på kirkens østlige parti. Efter de gjorte iagttagelser kan man nu i grove hovedtræk rekonstruere komplekset. Der har været 2 gårde, en fratergård mod vest med kirken som nordfløj, og en økonomigård mod øst, hvor sydfløjen er bevaret, mens østfløjen forsvandt 1781. Kirkens længde mod vest kendes ikke; men ved fratergården har man konstateret hovedbygningens sydvestlige hjørne, og der er da plads til en anselig kirkebygning på mindst 70 m i længden. De fremdragne rester af koret viser en oprindelig flad altervæg og stærkt fremspringende korsarme med kapeller. Kort efter opførelsen omkring 1150 har man tilføjet en halvrund apsis ved korets østlige gavl. Bevarede fragmenter fra kirken og fratergården viser udviklet romansk stil fra 1100-tallet, antagelig med tegl som overvejende bygningsemne, men med søjlerester af skånsk sandsten; søjler af lignende art i Kronborgs kældre menes at stamme fra Esrum. Den endnu bevarede sydfløj er bygget i 2 omgange. Den ældste (vestlige) del er den største; den har nu to fulde stokværk over kælderen, men at dømme efter de tilmurede spidsbuede vinduer i de ret hyppigt omsatte mure har der oprindeligt været tre stokværk. En spidsbue nederst ved soklen på sydsiden er formentlig rest af en tunnel, hvorigennem et vandløb har strømmet ind under bygningen til klostergården. Man mener, at denne ældste del af bygningen er fra sidst i 1300-tallet. Antagelig et århundrede senere, omkring 1450, har man bygget fløjens forlængelse mod øst. De to partier danner i sammenstødet et knæk. Den nyere del har ydre støttepiller; murene har små blindinger med tagspærsformede afslutninger foroven. Kældrene er under størstedelen af hele fløjen hvælvede; kun et par rum under vestgavlen står med bjælkeloft. Hvælvene har krydsribber og bæres for det meste af lave, runde piller. I den østlige del findes særlig velbevaret den såkaldte ”Broder Rus’s kælder”, hvor der opbevares et middelalderligt fad, ”Broder Rus’s rist”, der oprindeligt har hørt til den tilstødende gamle bagerovn. I begyndelsen af 1500-tallet har man opført en halvtagsbygning med kvist på fløjens nordside; i denne findes en vindeltrappe fra Frederik II’s tid. De øvrige rum i fløjen er fra stutteriets tid, fra omkring 1700; der er smukke pander og dørindfatninger i barok. Tre små stentavler på halvtagsbygningen minder om reparationer i nyere tid, fra 1569, 1697 og 1881-82.

Da Resen i midten af 1600-årene tegnede Esrum til sit atlas, så det hele ud som på billedet nedenunder.