100 Prozent Leistung

Zwei Fehler der Kanadier genügten. Im Endspiel der Eishockey-Weltmeisterschaft 2009 nutzte die russische Mannschaft die Schnitzer ihrer Gegner eiskalt und gewann das Turnier. Beim Saisonhöhepunkt in der Eishockey-Welt lautete das Erfolgsrezept indes nicht nur auf dem Eis Perfektion. Auch die Organisation sollte nach dem Willen des Veranstalters, der Internationalen Eishockey-Föderation (IIHF), reibungslos über die Bühne gehen. Vom temporären IT- und Telefonnetzwerk in den beiden Stadien in Zürich und Bern verlangte die IIHF deswegen eine Verfügbarkeit von 100 Prozent.

Für den IT-Auftrag wählte der Verband einen Dienstleister, der auf diesem Gebiet die beste Referenz vorweisen konnte: die Fussball-Europameisterschaft, den zweitgrössten sportlichen Anlass weltweit. Bei der Euro 2008 hatte der Bereich Grosskundengeschäft der Swisscom das ICT-Netzwerk rund um die vier Schweizer Stadien in Basel, Zürich, Bern und Genf aufgebaut und betrieben. Swisscom sorgte für Internetzugang und Telefonverbindungen der 7000 akkreditierten Journalisten, der Sponsoren, VIPs und Uefa-Mitarbeiter. Insgesamt mussten 13 Kilometer Glasfaserkabel verlegt und 1300 ISDN-Verbindungen sowie 700 DSL-Anschlüsse überwacht werden.

Zu den grössten Herausforderungen beim Betrieb eines Kommunikationsnetzes dieser Grössenordung zählen die ständigen Veränderungen. Beispiel Euro 08: Im Vorfeld, aber auch während des dreiwöchigen Gross-Events wurde das Netzwerk immer wieder modifiziert. Weitere Sponsoren sagten sich zu den Spielen an und mussten mit Internetzugängen versorgt werden, oder die Uefa selbst stockte vor Ort ihr Team auf und benötigte weitere Arbeitsplätze.

Unter diesen Bedingungen bietet eine einfache Überwachungs-Software einfach nicht genügend Sicherheit. Adrian Dietrich, zuständiger Senior Application Engineer bei Swisscom, entschied sich daher für ein Monitoring-Tool, das solche hochflexiblen Strukturen automatisch überwachen kann. Die Wahl fiel auf EMC Ionix for IT Operations - laut Dietrich aufgrund dessen «einzigartigen automatischen Funktionen». Das Tool erkennt selbstständig neue Netzwerkkomponenten und -modifikationen, bindet diese von selbst in die Überwachung ein und sorgt so dafür, dass auch ständige Änderungen im Netzwerk nur wenig Aufwand verursachen. Von dieser automatischen Discovery-Funktion profitiert auch die Fehlerbehebung: Die Root-Cause-Analyse, also die Suche nach der Fehlerursache, findet stets auf Basis der aktuellen Daten statt und ist ebenfalls automatisiert. Müssen sonst hochqualifizierte Spezialisten, die den aktuellen Zustand des Netzwerks bis ins Detail kennen, alle Fehlermeldungen einzeln auf ihre Ursache zurückführen, erledigt dies das EMC-Tool von selbst.

Während der Euro 08 wurden auf diese Weise zum Beispiel 600 Managed Services sowie 11000 Managed Interfaces und Ports mittels zyklischen Abfragen (Polling) überwacht. Der Status der Connectivity wurde jede Minute, die der Performance und der Infrastruktur alle drei Minuten abgefragt. Die Connectivity- und Performancemanager überwachten dabei alle Ports (inklusive der Access Ports). Sobald ein Access Port mehr als 5 Mbit/s Traffic meldete, wurde Alarm ausgelöst.

Um schneller reagieren zu können, setzten die Verantwortlichen auf ein dezentrales IT-Operations-Konzept. An allen Standorten und auch in der Zentrale wurde die gleiche Konsole verwendet. Die Admininstrations-teams waren vor Ort in den Stadien Bern, Basel, Genf und Zürich platziert und konnten so bei Zwischenfällen schnell eingreifen. Die «Alarm Operators» in den Stadien hatten eine detaillierte Sicht auf das ganze Netzwerk mit sämtlichen Alarmen und waren daher immer gut informiert, wie das Netz läuft. Die Central-Operation-Teams wie auch die Uefa im International Broadcast Center in Wien konnten sich mit User-Rechten jederzeit über den Stand des Netzes informieren. Von der Alarm-Konsole aus waren auch die Konfigurationen sowie die Reports der einzelnen Geräte einzusehen.

Kritische Alarme, die den Austausch von Geräten oder eine Überprüfung vor Ort in den Stadien notwendig machten, erschienen bei Central Operations auf dem Schirm. Die Zentrale übernahm auch die Überwachung an spielfreien Tagen, wenn das Team in den Stadien frei hatte. In Wien wiederum wurde nur eine grafische Ansicht der Alarme dargestellt: Falls im Berner Stadion ein kritisches Problem auftrat, zeigte die entsprechende Ampel rot.

Bei den insgesamt fünf ernsthaften Zwischenfällen während der Europameisterschaft war die automatische Root-Cause-Analyse entscheidend für das schnelle Beheben der Fehler. Dietrich erinnert sich noch gut an ein Beispiel: «Der Hotspot im VIP-Bereich war ausser Betrieb, nachdem ein Switch aufgrund von Stromproblemen ausgefallen war und eine Fehlerkaskade ausgelöst hatte. Obwohl der Operator eine Flut von Alarmen erhielt, konnte er sofort die eigentliche Ursache erkennen. Nach 15 Minuten hatte ein Mitarbeiter vor Ort den Switch bereits ausgetauscht und die Techniker konnten zum Normalbetrieb zurückkehren.»

Ein anderer Vorfall geschah in der Testphase während der Gruppenauslosung. Ein Userport, der überdurchschnittlich Traffic verursachte, wurde dank der Performance-Überwachung detektiert. Nach kurzer Analyse stellte sich heraus, dass der eingesetzte Bildschirmschoner hohe Mengen an Daten von Remote Servern lud und damit das Netzwerk unnötig belastete.

Die Erfahrung in der Praxis hat gezeigt, dass Ionix den Aufwand für Implementierung und Fehlersuche deutlich reduziert. «Ohne das Tool hätten wir sicher ein Dutzend Mitarbeiter für die Fehlereingrenzung einsetzen müssen. Zusätzlich hätte die Implementierung mindestens doppelt so lang gedauert», ist sich Adrian Dietrich sicher. Die Vorteile der Lösung sind für ihn unbestritten. Deswegen will er EMC Ionix for IT Operations in Zukunft auch bei der stationären Netzwerküberwachung für das End-to-End-Management verstärkt einsetzen.

Sowohl für die Euro 08 als auch für die Eishockey-WM 2009 konnte Swisscom die geforderte hundertprozentige Verfügbarkeit des Kommunikationsnetzwerks sicherstellen - und gleichzeitig die nötige Flexibilität wahren. «Wir hatten nach beiden Anlässen nur positive Rückmeldungen», berichtet Dietrich. Und es werden weitere hinzukommen: Ende Juni entschloss sich Swisscom, ihre Kompetenz beim Netzwerkmanagement zur Basis eines neuen Geschäftszweigs zu machen. Der Geschäftsbereich Event Solutions soll sich über die Schweiz hinaus als ICT-Partner für Grossanlässe etablieren.