Il castello di S. Michele, nei pressi della chiesa omonima, su una rupe, fu dato in feudo alla famiglia Duni dai vescovi di Como nel XII-XIII secolo. Già nel '600 di esso sopravvivevano solamente due torri e una chiesetta, sulla quale fu edificato l'oratorio attuale. Della costruzione non è rimasto praticamente niente.
Il castello di S. Materno, anch'esso di origine altomedioevale, è testimoniato da pochi resti nei pressi dell'oratorio omonimo.
Il castello dei Ghiriglioni, sul lungolago, risale probabilmente al XIII secolo e fu dimora di una nobile famiglia milanese. Parzialmente distrutto nel 1513, i resti sono oggi incorporati nella costruzione dell'Albergo Castello e nelle abitazioni vicine; visibili due torri e parte delle mura. Seguendo via Ghiriglioni, di fianco all'albergo, si raggiungono due antiche porte facenti parte della cinta muraria.
Del castello dei Carcani, che sorgeva al centro del borgo, non è rimasta traccia.
