Il Collegio Papio, eretto nel 1585 in stile rinascimentale su progetto di Tibaldo Pellegrino di Valsolda, fu edificato per volere del cardinale Carlo Borromeo, arcivescovo di Milano, che, preoccupato dai moti riformatori religiosi provenienti d'oltralpe, voleva fondare un seminario gestito da Gesuiti in questa parte di Svizzera cattolica. Il suo desiderio si concretizzò quando un asconese, Bartolomeo Papio, vissuto ed arricchitosi a Roma al servizio degli Orsini, decise di lasciare il proprio palazzo di Ascona ed i suoi beni a disposizione del comune per l'erezione di un seminario nel proprio borgo natale. L'edificio sorse come costruzione completamente nuova accanto alla chiesa di S. Maria della Misericordia, appartenente al convento dei Domenicani. Fungeva oltre che da seminario anche da scuola-collegio.
Vi si accede da un lungo viale alberato che conduce alla chiesa di S. Maria il cui atrio, su alte colonne di granito rosso di Baveno, è opera di Pietro Beretta da Brissago.
Attraverso un portale il cui timpano presenta un bassorilievo raffigurante la Madonna della Misericordia che accoglie sotto il manto il genere umano, si accede ad un ampio cortile quadrangolare (chiostro) con portico al piano inferiore e con logge al piano superiore.
Agli archi del portico corrispondono quelli abbassati delle logge, secondo un uso molto diffuso nella regione. Le 28 colonne in stile toscano sono per la maggior parte in granito rosso di Baveno.
Sotto le arcate del chiostro nelle numerose lunette vi sono 27 bassorilievi in stucco, marmo, granito, con effigiati gli stemmi dei protettori del Collegio tra i quali i fondatori, Papa Gregorio XIII e Carlo Borromeo, e i numerosi amministratori apostolici della diocesi ticinese dal 1885 in poi. In una nicchia a conchiglia sul lato est è raffigurato il busto di Bartolomeo Papio con un'iscrizione, opera in stile cinquecentesco.
