26.07.2011, 10:19 Uhr
IBM-Forschern gelingt Datenrekord
Storage-Experten im IBM-Forschungslabor Almaden ist es gelungen, zehn Milliarden Dateien in 43 Minuten zu scannen.
Grosse Datenberge effizient und schnell durchsuchen: Das Ziel der IBM-Forscher
Dabei wurde der vorherige von IBM-Forschern aufgestellte Rekord um das 37-fache übertroffen. Basis des alten wie neuen Rekords war das im Jahr 1998 erstmals vorgestellte Cluster-Dateisystems GPFS (General Parallel File System).
Für den aktuellen Rekord griffen die Storage-Wissenschaftler allerdings zu einem «Trick»: Die Metadaten der Testinstallation wurden auf vier SSD-Appliances 3205 von Violin Memory untergebracht. Diese erreichen zusammen eine nutzbare Kapazität von 7,2 Terabyte und einen Durchsatz von 5 Gigabyte pro Sekunde. Ihre aggregierte 4-KB-Leserate beträgt über 1 Million MIOPS bei typischer Schreib- und Lese-Latenz von 20 respektive 90 Millisekunden (jeweils bei 4 KByte).
Dazu gesellten sich zehn x3650-M2-Server (8-Core-Prozessoren mit 2,8 Gigahertz Takt, 12 MByte CPU-Cache sowie 32 GByte DRAM-Arbeitsspeicher) und ein SilverStorm-Infiniband-Switch (Modell 9024) mit 24 10/20-Gbps-Ports. Auf dieser Kombination wurde erstmals sogenanntes Policy-Guided Storage Management (regelbasierendes Auswählen von Dateien für Backup, Migration usw.) für eine 10-Milliarden-Dateien-Umgebung in nur 43 Minuten bewerkstelligt. Das Volumen der GPFS-Metadaten erreichte dabei 6,5 Terabyte. Die deutlich schnelleren Flash-Speicher Violin machten es möglich, den bisherigen Rekord - drei Stunden für eine Milliarde Files - zu "pulverisieren".
Die Datenvolumina weltweit nehmen beständig zu. Bereits Ende dieses Jahres sollen nach Schätzung der Marktforschungsfirma IDC mehr als 1800 Exabyte digitale Daten online sein mit einem darüber hinaus anhaltenden Wachstum von 40 bis 60 Prozent jährlich. In der Folge arbeiten auch Unternehmen mit immer grösseren Datenbeständen, deren Verwaltung allerdings an die Grenzen bisher existierender Infrastruktur-Lösungen stösst. Die Auslagerung der Dateisystem-Metadaten auf SSD-Speicher könnte hier für Abhilfe sorgen.
Für den aktuellen Rekord griffen die Storage-Wissenschaftler allerdings zu einem «Trick»: Die Metadaten der Testinstallation wurden auf vier SSD-Appliances 3205 von Violin Memory untergebracht. Diese erreichen zusammen eine nutzbare Kapazität von 7,2 Terabyte und einen Durchsatz von 5 Gigabyte pro Sekunde. Ihre aggregierte 4-KB-Leserate beträgt über 1 Million MIOPS bei typischer Schreib- und Lese-Latenz von 20 respektive 90 Millisekunden (jeweils bei 4 KByte).
Dazu gesellten sich zehn x3650-M2-Server (8-Core-Prozessoren mit 2,8 Gigahertz Takt, 12 MByte CPU-Cache sowie 32 GByte DRAM-Arbeitsspeicher) und ein SilverStorm-Infiniband-Switch (Modell 9024) mit 24 10/20-Gbps-Ports. Auf dieser Kombination wurde erstmals sogenanntes Policy-Guided Storage Management (regelbasierendes Auswählen von Dateien für Backup, Migration usw.) für eine 10-Milliarden-Dateien-Umgebung in nur 43 Minuten bewerkstelligt. Das Volumen der GPFS-Metadaten erreichte dabei 6,5 Terabyte. Die deutlich schnelleren Flash-Speicher Violin machten es möglich, den bisherigen Rekord - drei Stunden für eine Milliarde Files - zu "pulverisieren".
Die Datenvolumina weltweit nehmen beständig zu. Bereits Ende dieses Jahres sollen nach Schätzung der Marktforschungsfirma IDC mehr als 1800 Exabyte digitale Daten online sein mit einem darüber hinaus anhaltenden Wachstum von 40 bis 60 Prozent jährlich. In der Folge arbeiten auch Unternehmen mit immer grösseren Datenbeständen, deren Verwaltung allerdings an die Grenzen bisher existierender Infrastruktur-Lösungen stösst. Die Auslagerung der Dateisystem-Metadaten auf SSD-Speicher könnte hier für Abhilfe sorgen.
