Den
gamle bispegård havde siden reformationen været residens for lensmanden over
Roskilde len, og kongerne boede på gården under rejser gennem byen og i
forbindelse
med kongelige begravelser. Hovedfløjen lå omtrent der, hvor palæets sidefløj
mod domkirken ligger, men bygningerne var efterhånden blevet meget forfaldne, så
Christian 6. besluttede i 1733, at
bispegården skulle rives ned, og at der skulle opføres et tidssvarende palæ med
Laurids de Thurah som arkitekt.
Kongen
nedlagde selv grundstenen til det nye palæ, men skal efter sigende ikke have været
særlig tilfreds med det endelige resultat. Der var også de betingelser for
arkitekten, at byggeriet ikke måtte koste mere end 10.000 rdl., samt at der i videst muligt
omfang skulle ske genbrug af de gamle materialer, og det satte stærke begrænsninger for de arkitektoniske
udfoldelser.