Entwicklung eines Werkzeugs zur Analyse des OS-Jitter Effekts auf High-Performance Cluster-Systemen

Graf, Stephan

Master Thesis

Entwicklung eines Werkzeugs zur Analyse des OS-Jitter Effekts auf High-Performance Cluster-Systemen

Graf, S. (Corresponding author)FZJ*

2009
Forschungszentrum Jülich GmbH Zentralbibliothek, Verlag Jülich

Jülich : Forschungszentrum Jülich GmbH Zentralbibliothek, Verlag, Berichte des Forschungszentrums Jülich 4302, II, 117 p. (2009) = Aachen, FH, Standort Jülich, Masterarbeit 2009

Please use a persistent id in citations: http://hdl.handle.net/2128/3668

Report No.: Juel-4302

Abstract: Auf dem Gebiet des Höchstleistungsrechnens führt die aktuelle Entwicklung zu Cluster-Systemen, die aus mehreren Tausend Knoten bestehen. Jeder dieser Knoten ist mit vier oder mehr Prozessoren ausgestattet. Um einen Rechner zu betreiben, läuft auf jedem Knoten ein eigenständiges, von den anderen unabhängiges Betriebssystem, welches heutzutage ein UNIX-Derivat des jeweiligen Herstellers, meist jedoch ein optimiertes Linux, ist. Bei Systemen dieser Art wird in der Literatur oft von einem Leistungsverlust bei steigender Anzahl genutzter Knoten im Zusammenhang mit kollektiven Operationen bei parallelen Anwendungen berichtet. Ein Grund dafür liegt meistens in Amdahl’s Law. Dieses besagt, dass der nicht zu parallelisierende Anteil einer Applikation dafür sorgt, dass ab einer gewissen Prozessorzahl eine weitere Steigerung der Anzahl zu keinem weiteren signifikanten Leistungsgewinn führt. Eine weitere Ursache, die für den Leistungsverlust verantwortlich gemacht wird, liegt in Betriebssystem-Aktivitäten. Diese müssen sich die Ressourcen mit der Applikation teilen. Da diese Aktivitäten nicht auf allen Knoten synchron auftreten, kann es bei kollektiven Operationen innerhalb der Applikation zu unnötigen Wartezeiten kommen. Dieser Effekt wird als OS-Jitter bezeichnet. In dieser Arbeit werden zunächst die technischen Grundlagen erklärt. Als Schwerpunkt wird das Linux Betriebssystem betrachtet, speziell dessen aktuelle Weiterentwicklungen im Bereich des Prozess-Scheduling und der Echtzeitfähigkeit. Im Anschluss wird der OS-Jitter beschrieben und dabei die Erkenntnisse aus der Literatur zu Ursache, Visualisierung und Einflussminderung dieses Effekts dargelegt. Danach werden spezialisierte Benchmarks vorgestellt, die den OS-Jitter Effekt sichtbar machen sollen. Im praktischen Teil der Arbeit werden Messungen, die auf dem JuRoPATestcluster des Jülich Supercomputing Centre durchgeführt wurden, analysiert und dargestellt. Es wird gezeigt, wie sich der OS-Jitter auf zwei verschiedenen Varianten des Linux Betriebssystems bemerkbar macht, und welche Ursachen zugrunde liegen. Aus den gewonnenen Erkenntnissen wird ein Konzept zur Untersuchung des OS-Jitter auf einem beliebigen HPC System entwickelt. Es wird beschrieben, wie Störungen auf einem einzelnen Prozessor – unabhängig von den anderen – gemessen werden können. Ein zweites Werkzeug misst den Einfluss einer lokalen Störungen auf ein Programm, das viele Prozessoren parallel benutzt. Es wird gezeigt, wie mit Hilfe von der Frequenzanalyse und dem Dichteschätzer Informationen aus den Messdaten der beiden Benchmarks gewonnen werden können.

Note: Record converted from VDB: 12.11.2012
Note: Aachen, FH, Standort Jülich, Masterarbeit 2009

Contributing Institute(s):