Bispeborge Lensmænd Bygningerne Billedet er et stik af Resen fra 1670. Det ses tydeligt, at der stadig er kanoner ("peberbøsser") på hjørnet af det store tårn.

Dragsholm, oprindelig kun ”Draugh”, nævnes første gang 1313, men borgbankens form og de ældste mure tyder på at den i alt fald er bygget et halvt til trekvart århundrede tidligere. Om der har været borg på stedet før, kan endnu ikke siges, men det tidligste vi ved, er at borgen tilhører Roskilde bispestol. 

Selve voldstedet, der rager højt op over de omgivende marker og enge, ligger godt beskyttet af sø og sump til tre sider, således at adgangen nu som før må ske fra en og samme side, fra nord. Voldstedet, hvis rektangulære form er tilstræbt gennem en udmærket udnyttelse af terrænnets muligheder, er omgivet af grave med stejle gravskråninger, der endnu er bevaret mod nord og vest. En sådan sammenblanding af højborg og vandborg kan med ret stor sandsynlighed henføres til midten af rniddelalderen, til 1200-tallet og 1300-tallet, og denne antagelse bekræftes yderligere af murene, idet disse, trods ødelæggelser, genrejsninger og ombygninger, stadig rummer dele, som med sikkerhed kan henferes til romansk tid.

Borgen var bispestolens stærkeste borg, men dramatisk trådte den først frem i historien med den gamle katolske kirkes sidste kamp. I 1523, da Lage Urne brød med Kristiern den Anden, søgte han tilflugt på Dragsholm, som endnu på den tid regnedes for uindtagelig. Under Grevefejden, da Kristiern den Andens parti gik til angreb på adelen, gjaldt jagten også den adelige Roskildebisp Joachim Rønnow. Han flygtede først til Dragsholm, og derfra videre til Jylland. Hans lensmand Ejler Hardenberg værgede borgen. (Synsforretningen året efter, da kronen overtog borgen, nævner rustninger til ca. tyve mand, af grovere skyts er der 16 falkonetter, slanger og skerpentiner, mange af dem med flere kamre. Der er 32 svære hagebøsser, rigeligt med kugler af bly, 300  "stenkloddher", 9 stykker bly »brødytt aff kyrcker« (brudt af kirke(tage)), 4 tønder groft krudt, en portion kernekrudt, en halv tønde svovl og en otting salpeter. Dertil i 9 glavindblade og 4 stridshamre).

Angriberne blev ledet af Greven af Hoya, men selv med ti kanoner kunne de ikke skyde breche for storm, så de gik i gang med en belejring. Det var under den, Ejler Hardenberg skjulte borgens mangel på fødemidler ved hver dag at pine de samme får og svin, så det lød ud til belejrerne, som om der blev slagtet ustandseligt. Selv Lange Hermann kom ikke ind, skønt han prøvede at sætte over graven i både. Borgen faldt ikke. Den gik uerobret over til Kristian den Tredje.

Dragsholm med dens væsentlige gods og landbrug gik til kronen, og en lang række kongelige lensmænd afløste de kirkelige. Sit smukkeste kapitel fik borgen i de år, da Arild Huitfeld som lensmand sad her og arbejdede med sine lærde værker, og det var her, han skrev sin fortale til det oldenborgske kongehus' stamfar Kristian den Førstes krønike og kunne takke Kristian den Fjerde, fordi "jeg er kommen til at bo på Eders Majestæts slot Dragsholm, udi bedre ro end jeg haver været tilforn". Det var i hans lensmandstid, 1605, at den Grønlænder, som Godske Lindenow havde haft med sig hjem (han havde ladet ham fange), blev sendt til Dragsholm for i fred og ro at lære dansk. Vi har blandt andet en lægeregning for hjælp til Grønlænderen.

Borgen som fæstningsværk var forældet i forhold til renæssancens kraftigere skyts, men den skrev sig i annalerne som statsfængsel. Joachim Rønnow sad her selv lige efter reformationen, og ikke i noget fangehul. Han fik straks efter indsættelsen nyt tøj for 42 gylden, og for hans særlige opvartning blev der købt sukker, kanel og ingefær. Århusbispen Ove Bille sad her også en tid efter reformationen, men fik lov til at gå "ledig og løs, ind og ud". Under Syvårskrigen kom Dragsholm til at rumme en del fangne svenske officerer og den uldne Tysker Hieronymus Thenner, der ville rejse fra Danmark og var mistænkt for overløb eller spionage. Han sad på Dragsholm ca. fem år, til sin død. Jarlen af Bothwell, Maria Stuarts mands morder, hendes elsker og ægtefælle, sad her efter, at han var havnet i Danmark. Han endte vistnok som sindssyg, og han døde muligvis 1578, men hans død nævntes som et rygte allerede et par år før. Hans lig fremvises i Fårevejle kirke, om det så er hans eller ej. Den engelske forfatter kaptajn Marryats bror, der i sin tid fik ham at se, hævdede at liget godt nok lignede " en skotsk grimrian". Eiler Brockenhuus, der åbenbart var sindssyg, blev anklaget for en lang række uhyrlige forbrydelser: søstermord, modermord, blodskam, etc., så mange at det lyder mistænkeligt. Det står dog fast, at skønt han var gift, fik han et barn med sin svogers enke. I øvrigt undsagde han Kongen, og han havnede i Dragsholmfængslet 1580, hvor der blev givet ordre om et nyt vindue i hans rum. Han døde 1607. Erik Munk til Hiørne, lensmand i Norge, stod anklaget for groft embedsmisbrug, og han blev hentet til Danmark og sat på Dragsholm, hvor han hængte sig 1594. Som selvmorder blev han gravlagt under galgen efter tidens skik. Han var far til en af Kristian den Fjerdes mest tiltalende samtidige og hjælpere, kaptajn og arktisk rejsende Jens Munk. Den sindssyge tyske friherre Siegfried Rheinschatt havde som herre på Herningsholm mishandlet sine undergivne med den største brutalitet, og han mishandlede sin danske kone lige så groft. Han kom i Dragsholm, og hans hustru sendte ham tøj og fødevarer, til han døde i 1626 i fængslet. Tiden var ikke pedantisk. Under Kalmarkrigen havde Hans Lindenow sejlet i Kristian den Fjerdes tjeneste som kaper, det vil sige privilegeret sørøver, i Østersøen og hvor han ellers fandt bytte, og det var en god forretning. Så god, at Hans Lindenow »af kådhed« blev ved med at arbejde som sørøver efter, at krigen var slut. Han røg også ind på Dragsholm. Da Frederik III efter Svenskekrigene var i stor pengenød, måtte han sælge en del krongods til sine mange kreditorer eller for at skaffe kontanter. Dragsholm var noget af det gods, der blev solgt.

Model af Dragsholm

Dragsholm efter at kongen solgte det.