25.02.2010, 11:55 Uhr
Datenanalyse im Sauseschritt
Zürcher IBM-Forscher haben einen Algorithmus entwickelt, mit dem Terabytes von Rohdaten in Minuten analysiert werden können.
Mit dem neuen Algorithmus brauchen Grossrechner nicht mehr so lange für komplexe Datenanalysen
Der mathematische Algorithmus, den Forscher des IBM-Labors in Rüschlikon ausgeheckt haben, kann in nützlicher Frist Milliarden von zufälligen Datensätzen sortieren, zu einander in Verbidnung bringen und analysieren- eine Aufgabe, für die bislang Supercomputer Tage vor sich hinrechnen mussten.
Die Entwicklung könnte zum einen die Wettervorhersage präzisieren und für die Prognose von Luft- und Wasserverschmutzung beigezogen werden. Zum anderen könnten Elektrizitätswerke den Verbrauch antizipieren. Aber auch die Finanzindustrie könnte an dem Algorithmus interessiert sein: Erlaubt er doch die bessere Berechnung von Risiken bestimmter Finanzprodukte.
"Wir wollen die Datenqualität messen können", beschreibt Costas Bekas vom IBM-Labor in Rüschlikon das Ziel der Forchung seines Teams. Um eine effiziente Analyse vornehmen zu können, müsse aber die Komplexität der Berechnungen verringert werden, meint er. "Hierfür braucht es neue mathematische Techniken und Verfahren", fügt Bekas an.
Der Algorithmus vereint dabei Modelle zur Datenkalibrierung und zur Statistik. So ist er in der Lage, versteckte Beziehungen zwischen den Datensätzen aufzudecken. Laut Bekas hat man gut zwei Jahre an dem Verfahren gearbeitet.
Derzeit sei der Algorithmus wissenschaftlich bewiesen. Nun arbeite man daran, ihn für kommerzielle Software-Produkte nutzbar zu machen, heisst es. Einen Zeitrahmen dafür, wann das Verfahren in ersten Produkten auftaucht, nannte IBM nicht.
