Ascona contava, nel passato, quattro castelli, posti sulle alture circostanti a difesa e controllo della navigazione sull'alto Verbano e collegati tra di loro da passaggi sotterranei: S. Michele, S. Materno, dei Grillioni (o Ghiriglioni), dei Carcani. Di alcuni di essi sono ancora visibili delle rovine o delle parti, inglobate in costruzioni posteriori.
Il castello di S. Michele, nei pressi della chiesa omonima, su una rupe, fu dato in feudo alla famiglia Duni dai vescovi di Como nel XII-XIII secolo. Già nel '600 di esso sopravvivevano solamente due torri e una chiesetta, sulla quale fu edificato l'oratorio attuale. Della costruzione non è rimasto praticamente niente.
Il castello di S. Materno, anch'esso di origine altomedioevale, è testimoniato da pochi resti nei pressi dell'oratorio omonimo.
Il castello dei Ghiriglioni, sul lungolago, risale probabilmente al XIII secolo e fu dimora di una nobile famiglia milanese. Parzialmente distrutto nel 1513, i resti sono oggi incorporati nella costruzione dell'Albergo Castello e nelle abitazioni vicine; visibili due torri e parte delle mura. Seguendo via Ghiriglioni, di fianco all'albergo, si raggiungono due antiche porte facenti parte della cinta muraria.
Del castello dei Carcani, che sorgeva al centro del borgo, non è rimasta traccia.
