Das Collegio Papio wurde1585 im Stil der Renaissance nach einem Projekt von Tibaldo Pellegrino aus dem Valsolda gebaut. Den Anstoss gab der Mailänder Erzbischof Karl Borromäus, der besorgt war über den reformierten Vorstoss südlich der Alpen. Ein von den Jesuiten geführtes Seminar sollte die Gegenreformation stärken. Der Plan wurde verwirklicht, als der Asconeser Bartolomeo Papio, der im Dienste der Orsini in Rom zu Reichtum gelangt war, seinen Palazzo in Ascona aufgeben wollte und den ganzen Besitz der Gemeinde für ein Seminar in seinem Geburtsort zur Verfügung stellte. Der Neubau wurde neben der Kirche Santa Maria della Misericordia, die zum Dominikanerkloster gehörte, errichtet. Ausser als Seminar diente das Gebäude auch als Kollegium.
Das Collegio Papio wird durch eine Allee erreicht, die zur Kirche Santa Maria führt. Das Atrium auf hohen Säulen aus rotem Baveno-Granit ist ein Werk von Pietro Beretta aus Brissago.
Ein Tor, das mit einem Basrelief der Madonna della Misericordia geschmückt ist, die den Mantel der Barmherzigkeit über die Menschheit hält, gibt den Zugang frei in den grossen rechteckigen Hof, mit Portikum im unteren Teil und Loggien im oberen Stockwerk.
Den Bogen des Portikums entsprechen die etwas herabgesetzten Bögen der Loggien, wie es einer in der Region weit verbreiteten Bauweise entspricht. Die 28 Säulen in toskanischem Stil sind zum grössten Teil aus rotem Baveno-Granit.
Unter den Arkaden des Innenhofs sind in den Lunetten 23 Basreliefs aus Stuck, Marmor oder Granit, mit den Wappen der Schutzherren des Collegio Papio angebracht. Darunter sind die Gründer Papst Gregor der XIII. und der heilige Karl Borromäus sowie zahlreiche Apostolische Verwalter der Diözese ab 1885. In einer muschelförmigen Nische auf der Ostseite steht eine Büste von Bartolomeo Papio mit Inschrift, ein Werk im Stil des 16. Jahrhunderts.