Ende des 14. Jahrhunderts ließen die schlechten Bedingungen im Herzogtum Mailand keine Kontrolle der lokalen Tyranneien und der Kämpfe zwischen den verschiedenen Fraktionen zu. Auf zwei kleinen Inseln in der Nähe von Cannero befanden sich zwei zwischen 1200 und 1300 errichtete Burgen, die unter dem Namen Malpaga“ bekannt waren und gegen Ende des 14. Jahrhunderts von den fünf Brüdern Mazzardi, den Mazzarditi“, bewohnt wurden, die ursprünglich aus Ronco stammten. Cannobio wurde dann von den gegensätzlichen Fraktionen der Guelfen und Ghibellinen geteilt.
Diesen Umstand machten sich die Mazzarditi zunutze, als sie eines Nachts zwischen Ende 1403 und Anfang 1404 mit Hilfe der Familie Rusca aus Como den Palast des städtischen Prätoriums stürmten und die zu seiner Verteidigung eingesetzten Guelfen, vor allem die Familie Mandelli, töteten.
Mehrere Jahre lang hielten die Mazzarditen das gesamte Litoral mit Schwert und Feuer in Schach, doch mit der Wahl von Filippo Maria Visconti zum neuen Herzog von Mailand nahmen die Ereignisse eine andere Wendung: Der Fürst schickte den Condottiere Giovanni Lonati mit 500 Mann, um die Mazzarditen zu besiegen, nachdem er die Bitten der Bewohner des Sees gehört hatte. Die Burg von Traffiume, die sich in ihrem Besitz befand, wurde sofort erobert, ebenso wie der Stadtpalast; danach begann die Belagerung der Burg von Malpaga auf der Insel.
Im Jahr 1414, von allen Seiten umzingelt und durch den Mangel an Vorräten erschöpft, kapitulierten die Räuber. 1441 gingen die Inseln in den Besitz der Familie Borromeo über, die sie von Herzog Filippo Maria dem Grafen Vitaliano I., Sohn von Filippo I. Borromeo und Franceschina Visconti, überließ. Graf Lodovico Borromeo ließ 1519 auf den Ruinen der Inseln eine befestigte Festung errichten, die er zu Ehren der paduanischen Gründerfamilie der Borromäer „Vitaliana“ nannte. Nach Lodovicos Tod wurde die Festung nach und nach.