A mai épület felállítását 1803-ban kezdték meg Péchy Mihály tervei alapján. Kivitelezőként Éderer és Huzl építőmesterek, majd Rabl Gábor és öccse, Kornél dolgoztak az épületen, amely 1816-ban készült el. A használhatatlan déli szárny közadakozásból épült újjá a mai formájában, klasszicista stílusban. Az építkezés alatt az oktatás a kollégium az épen maradt hátsó szárnyaiban folyt tovább.