Vi ved ikke, hvem der startede byggeriet af stenhuse på bispegården, men det er sikkert bisp Peder, som var biskop 1124-34. Om ham skriver Saxo nemlig, at han lod sine gårde smykke med huse af træ og sten. Der er bygget på bispegården før og efter 1150, og Saxo skriver også, at Absalon (biskop fra 1158) lod gården forfalde og hellere sov under åben himmel, fordi han havde travlt med at bekrige venderne. Han har sikkert først fået tid til at bygge i slutningen af 1160'erne. Men når noget kunne forfalde, må der have været noget! Det er derfor rimeligt at gætte på bisp Peder.

Den første bygning på bispegårdens grund er bygget oven på Arnoldsmuren, som jo lå der i forvejen. Der er udgravet rester af fundamenterne, så vi ved, at det var en frådstensbygning. Det er denne bygning, der senere i århundredet bygges ud og bliver til kernen i Bispegården.