Vi si accede da un lungo viale alberato che conduce alla chiesa di S. Maria il cui atrio, su alte colonne di granito rosso di Baveno, è opera di Pietro Beretta da Brissago.
Attraverso un portale il cui timpano presenta un bassorilievo raffigurante la Madonna della Misericordia che accoglie sotto il manto il genere umano, si accede ad un ampio cortile quadrangolare (chiostro) con portico al piano inferiore e con logge al piano superiore.
Agli archi del portico corrispondono quelli abbassati delle logge, secondo un uso molto diffuso nella regione. Le 28 colonne in stile toscano sono per la maggior parte in granito rosso di Baveno.
Sotto le arcate del chiostro nelle numerose lunette vi sono 27 bassorilievi in stucco, marmo, granito, con effigiati gli stemmi dei protettori del Collegio tra i quali i fondatori, Papa Gregorio XIII e Carlo Borromeo, e i numerosi amministratori apostolici della diocesi ticinese dal 1885 in poi. In una nicchia a conchiglia sul lato est è raffigurato il busto di Bartolomeo Papio con un'iscrizione, opera in stile cinquecentesco.
