Langes Video mit sehr viel Aufwand aber ich bin mega Happy dass es endlich online ist 😬 etwas länger als sonst, aber ich denke es lohnt sich. Viel Spaß 💪 Edit: Wenn der einzige Fehler in einem 1h Video eine "Zündkerze" ist kann ich damit sehr gut leben xD
Wenns so interessant und so gut erklärt/gezeigt wird ist die länge egal. Sehr gut gemacht und danke für die zeit die da reingesteckt wurde, vielen dank dafür
Fantastisches Video! Als Elektro-Mensch unfassbar informativ und cool zu sehen! Da wird an so viel gedacht 😯 Vielen Dank dafür dass du deine Kontakte nutzt um uns solche Einblicke zu ermöglichen!!
ohja. Und Linus LinusTechTips hat noch vor 3 Tagen behauptet Rechenzentren sind so hochsicher dass man da gar nicht reinkommt um zu filmen :P Tja Mr Sebastian in Europa und mit Roman geht das schon.
Erstmal ein großes Dankeschön 💪 Jedem Fachinformatiker/Admin geht da das Herz auf. Einfach so sauber. Das Kabelmanagement top. Cool das du uns hier teilhaben lässt.💪💻👨💻
Geniales Video, welches sich definitiv nicht hinter klassisch hergestellten Dokus mit großem Produktionsteam und hohem Budget verstecken muss! Sowohl was die Länge, als auch die Qualität angeht. Das hat sich gar nicht wie ein fast einstündiges Video angefühlt!
Das Video war unglaublich Informativ und Interessant, einfach brutal was für krasse Technik in dem Rechenzentrum stecket... Wirklich vielen Dank für diesen Einblick👍
@@Hurrycane-j Kurzzeitig natürlich nicht, wenn man da drin ein-zwei Monate verbringt bildet dein Körper z.B. wesentlich mehr Hämoglobin (rote Blutkörperchen). Ist halt ähnlich wie Höhenluft... bei 17% schätze ich jetzt mal eine Höhe von 2000 m über N.N., also Meresspiegel. Dass da kein Feuer mehr entfacht werden kann, bezweifle ich sehr, aber erschwert wird es sicherlich.
@@derpopanz4502 Das Mensch auf dem Mont Blanc kein Feuer machen kann ist faktisch nicht richtig. Auch deine Schätzung,17% Sauerstoffanteil bei 2000 m über n.N. kann nicht sein: Der Anteil der verschiedenen Gase, die die Luft auf der Erde ausmachen, bleibt immer gleich: 21 Prozent Sauerstoff, 78 Prozent Stickstoff, ein Prozent Argon, Kohlendioxid, Wasserdampf und andere Edelgasmoleküle. Nur die Luft wird dünn, was bedeutet pro Atemzug atmet man weniger Moleküle ein und damit weniger Sauerstoff. Ein Mensch würde bei 17% Sauerstoff in dem Atemzug unweigerlich die Höhenkrankheit bekommen. Was aber schlimmer ist bei der STICKSTOFF gesättigten Luft: Der Mensch kann nur einen gewissen Anteil von Stickstoff binden und ausatmen. Daher kommt das Wort "ERSTICKEN"!
Das finde ich ja toll, dass die OEDIF so einen tiefen Einblick in ihr RZ gegeben hat. Ich kenne die OEDIV seit 15 Jahren als Anbieter von SAP Dienstleistungen. Über die IBM Server freue ich mich immer wieder. Habe das schwarze Blech fast 10 Jahre verkaufen dürfen. Klasse Video 👍🏻.
Moin Roman, ich war selbst in meinen Jahren als IT Service Engineer oft in verschiedenen Rechenzentren in München und Frankfurt. Nichtsdestotrotz hat mir dieses Video nochmal viele Dinge gezeigt, die ich dabei nie so hautnah erlebt habe, gleichwohl mir ihre Existenz bewußt war, Daher herzlichen Dank für dieses wirklich gute Video über ein modernes Rechenzentrum. So etwas habe ich in dieser Qualität noch nie gesehen. :-)
Ich habe schon einge Rechenzentren gesehen, aber eine so saubere Verkabelung noch nie. P.S. Geiles Video. Da schlägt mein Admin Herz gleich höher. Und LTO Backup bekommen all unsere Kunden in irgendeiner Größenordnung.
War bisher in 3 Rechenzentren, davon hatten 2 praktisch die gleiche "Qualität" bzw. Ordnung an Verkabelung. Muss ab einem gewissen Grad auch einfach sein, wenn man tausende Server hat. Sonst kriegst ja kein Kabel mehr getauscht usw.
@@t0xanes gerade hinten in den racks sieht es aber hinten doch meistens anders aus. Ich red ja nicht von kraut und rüben Verkabelung. Oft passiert es einfach, dass Kabel im rack aufgerollt und zusammen gestrapst werden.
@@tl1897 Beim HPC-Cluster den ich betreue haben wir immer eine Schlaufe Kabel für je zwei Nodes einfach auf den Maschinen drauf liegen. Allein von der Stromversorgung konnten wir die Racks ohnehin nicht voll machen, also haben wir einfach immer 2 Server, 1HE Lücke, 2 Server, usw. gemacht. Das ist zwar vielleicht nicht ganz so "sauber", aber hat durchaus auch Vorteile. Die Kabel liegen so recht lose und lassen sich bei Bedarf recht einfach tauschen. Ursprünglich waren die Kabel wie hier im Video "schön" in Kabelarmen verlegt, da war ein Tausch jedes Mal ein größeres Drama (und durch die engen Knickwinkel in den Armen kam das auch öfter mal vor). Plus man muss die Kabel jetzt nicht mehr exakt ablängen, sondern kann einfach Standardlängen verwenden. Außerdem haben die Arme mit jeweils 7 Kabeln (2x Strom, 1x IPMI, 2x Ethernet, 2x Infiniband) bei den 1HE-Servern praktisch die ganze Rückseite dicht gemacht und die Kühlung beeinträchtigt. Seit wir die Kabel zwischen den Maschinen aufrollen fahren wir ein paar Grad kühler (und somit auch länger im Allcore-Turbo). Und zur Wartung herausziehen geht immer noch recht einfach (kommt aber im Cluster ohnehin kaum je vor dass man eine laufende Maschine rausziehen müsste - die Jobs werden ohnehin automatisch verteilt, da kann man einzelne Kisten auch mal herunterfahren, abkabeln und gemütlich am Tisch zerlegen). Also falls jemand 150 Cisco-Kabelarme braucht: einfach melden :-)
Danke wieder mal an Firmen die solche Einblicke ermöglichen, von denen sie direkt nicht profitieren, sondern einfach bereit sind coole Technik zu zeigen!
Holy shit, der Aufwand für dieses Video ist insane, danke für diesen krassen Einblick, die ganzen Ideen und das Know How das da drin steckt.. einfach nur krank!
Wow. Das ist schon der Wahnsinn. Als Elektroniker für Betriebstechnik der jetzt als Mikrotechnologe für Halbleiterschaltkreise arbeitet weiß, dass das ein großes Privileg ist. Das ist nämlich nicht selbstverständlich. Dieser Einblick und den Umfang an Informationen fachkundig zu übermitteln ist auch nicht leicht. Riesen Dank an alle die das für uns möglich gemacht haben. Normalerweise darf man ohne ärztliche Bescheinigung keine Sauerstoff reduzierte Atmosphäre betreten. Als ich noch als Elektroniker unterwegs war, mussten wir auch unseren Serverraum kontrollieren und ohne Nachweis darf man da nicht rein. Zum Schutz von allen natürlich. Mega geil von der Firma uns den Einblick zu gewähren, denn das ist auch nicht selbstverständlich. Meistens sieht man gar nicht mehr. Vielen vielen Dank 🙏
Exzellentes Video, es ist sehr schwer ein so großes RZ für DIY Gamer zu erklären und man sieht, wie viel Aufwand in diesem Video steckt. Ich war selbst in einem solchen RZ mal zu Besuch (als Kunde) und da war genau das gleiche - auch so Feinheiten wie der aufgewärmte Diesel, der auch blau angestrichen war, die Löschflaschen, Batterien usw.
Solche Plattenwärmetauscher haben wir auch auf der Arbeit. Die Teile sind echt super, man kann durch die Anzahl der Platten die Kühlleistung in kleinen Schritten genau auf das Level anpassen wie man es braucht. Bei uns wird Wasser aus einem Pressbecken damit gekühlt in das Rohre hineingepresst werden. Im Wasserbecken sind Platten aus Graphit (gute Gleiteigenschaften und Hitzebeständig, die Rohre kommen mit ca. 800°C glühend durch eine Schleuse ins Wasserbecken. Hinter den Platten aus Graphit kommen Platten aus Hartholz, weil die Rohre zwischen 16 und 50 Meter lang sind, sind sie ab da schon kalt genug um die Platten aus Hartholz nicht zu verbrennen. Der Abrieb des Graphits haftet mit der Zeit auf den Kühlplatten des Kühlers und dann kann man ganz einfach die Gewindestangen die den Kühler zusammen halten lösen und entnehmen und die Platten auf einer Schiene einzeln hin und her schieben wie einen Kleiderbügel auf einer Kleiderstange im Kleiderschrank. Auf die Weise ist ruck zuck der Kühler sauber und wieder fit für ein bis zwei Jahre. Schon ganz cool die Idee mit dem Kühler. 👍 Edit:Wir schieben die Platten dann einzeln auseinander und spritzen die mit nem Dampfstrahler ab.
Danke dafür. Da hat sich in den letzten 30 Jahren einiges getan bei IBM. Durfte mir damals mit meinem Vater eines ansehen. Wahnsinn das alles nur mehr im Ramspeicher liegt für den Datenzugriff und die Festspeicher eigentlich nur mehr als Backup dienen. Die Energieeffizienz ist auch der Hammer auch wenn ich das nicht ganz glauben kann. Zumindest Sparsamer als vor 30 Jahren :)
Für mich persönlich eins der interessantesten Videos seit langem im Internet. Habe nicht mal ahnen können, wie viel Aufwand betrieben werden muss, um einen Rechenzentrum stabil zu halten. Gut und informativ rüber gebracht, danke an die Betreiber und euch für den Einblick. Ich könnte es mir noch stundenlang weiter ansehen.
Es ist echt mega zu sehen wie viele kleine geordnete Details und eine Maschine auf die andere abgestimmt sein muss wie ein Organismus der dann das Große ganze ergibt, mega Video Danke :D!
es ist beruhigend zu sehen das die Industrie, nicht wie die Politik vor 30-40 Jahren hängen geblieben ist, sondern ganz vorne mit dabei ist. sehr interessante und informative einblicke in den enterprise sektor, für mich gerne mehr davon.
Danke für diese Tour. Bin selber Fachinformatiker aber sowas habe ich noch nie gesehen. Einfach unglaublich was für ein Aufwand da betrieben wird und auf welchem technischen Stand das ist.
ja was soll ich sagen IBM Power "mal mit den Grossen spielen" ist eine coole Technik. Ich arbeite jetzt seit 1990 in der IT und bin immer noch begeistert wie die RZ anderer Firmen aufgebaut sind. Vielen Dank für die Einblicke und das coole Video
Danke für das Video! Ich war Anfang der 2000er Jahre bei einer Führung im Rechenzentzrum der SEB in Frankfurt dabei. Dort gab es noch Speicherschränke mit SCSI HDDs, die mit 10.000 oder 16.000 rpm nagelten. Man musste mehrere übereinanderliegende Türen öffnen, um die Geräte zu kommen. Dabei ertönen jeweils schrille Warntöne, um auf den Hörschutz-Zwang hinzuweisen, weil die HDDs ohne Schallisolation so laut waren, dass sie das menschliche Gehör zerstörten. In der Führung hatte man jede Menge beeindruckende Technik gesehen. Stellenweise hat mich dieses Video daran erinnert. Auch das SEB Rechenenzentrum gab bzw. gibt es 2x an verschiedenen Orten. Grund war "der Fall, den sich niemand wünscht" - nämlich dass ein Flugzeug auf das Gebäude abstürzt. Für diesen Fall konnte damals innerhalb von wenigen Minuten das andere RZ komplett hochgefahren werden. Auch gab es Büros mit derselben Ausstattung 1:1 wie in den einzelnen Bankgebäuden. Hintergrund war, dass bei einem technischen Problem sofort ein Spezialist die Situation reproduzieren und eine Lösung erarbeiten konnte. Es ist schon erstaunlich, welch ein Aufwand mit modernster Technik für die Betiebssicherheit betrieben wird.
Mega interessantes Video, ich hätte nicht gedacht, das da teilweise so ein Aufwand betrieben wird - vor allem was die unfassbare Redundanz und Sicherheitsmaßnahmen angeht. Partikelmessung und Sauerstoffreduktion zum Brandmanagement - verrückt. Auch die Zuverlässigkeit von dem Mainframe oder die Tatsache dass der Power 10 einen 256Kern Epyc 1.5TB ddr4 Server zum Frühstuck isst hätte ich so nicht erwartet. Und einfach Masterstudiengang Kabelmanagement, Sicherheit, Ordnung und Organisation xD. Super Video, hab erst am Ende gemerkt, dass das ja fast ne Stunde war, freue mich auf den zweiten Teil. Viel interessanter als ein fünftausendstes Video mit "boah krass 12900k und 3090 voll viel fps krass". Den Aufwand ist das Video meiner Meinung nach definitiv wert.
@@joellegge460 Es ist nicht so einfach: POWER 9 hatte kein so direktes RAM Limit von 4TiB, das hatte nur die kleine Desktop Version. Bei PowerPC funktioniert RAM völlig anders als bei jedem anderen System, da auf ein anderes Interface gesetzt wird. Es gibt die Desktop Varianten (scale out), die 8 DDR4 Kanäle hatten und max Dual Sockel Systeme konnten. Die Scale Up Versionen können bis zu 16 Sockel und theoretisch sehr viel RAM verwalten, da statt auf Speicherkanäle auf OMI gesetzt wird. Das ist eine serielle Schnittstelle, die auf PCIe aufsetzt und dadurch skalierbarer als parallele Interfaces ist. Eine OMI Karte siehst du auch bei z.B. 38:27, deshalb sieht das RAM Modul auch wie eine PCIe Karte aus. Dadurch, dass du nicht durch Ranks und das parallele Interface beschränkt bist, kannst du theoretisch beliebig viel RAM auf solches Modul packen. eine offizielle Spezifikation was RAM Kapazität betrifft, hat IBM für Power9 nie offizielle Angaben gemacht, das höchste was durch IBM direkt verkauft wurde, waren aber 4TB pro Sockel, dafür aber mit 16 Sockel Systemen. Dagegen ist ein EPYC Dual Socket System mit den 4TB (bzw. 8TB seit ungefähr 2021, davor gab es keine 256GB DIMMs) gar nichts. Dadurch, dass die Schnittstelle seriell ist, kann dahinter auch ALLES an Speicher stecken. Nichts hält einen davon ab, DDR5 oder bauch DDR6 Module für Power9 zu entwickeln (auch wenn das volle Potential nicht genutzt werden kann). Bei Power10 sind es übrigens 1PiB (=1024TiB) pro Sockel, bzw. 2PiB in den DCM Varianten. Intel und AMD setzen noch immer auf parallele Schnittstellen und können daher bei weitem nicht so viele Speicherchips unterbringen. Mehr als 12 Speicherkanäle wird wegen den sehr empfindlichen Zeitbeschränkungen quasi nie möglich sein und mehr als 8 bekommst man auch Platztechnisch nicht unter. Nach JEDEC Specs kann es maximal 512GB oder 1024GiB Module geben, das wären maximal 24TiB pro Sockel, praktisch werden wir wohl eher bei 8-16TiB Maximum landen. Die Speicherbandbreite liegt bei Power 10 übrigens bei 1TB/s für DCM Chips. Deine Aussagen bezüglich Supercomputer sind übrigens sehr amüsant, weil gerade das einer der starken Bereiche für PowerPC ist. x86 schafft es im Supercomputersegment nur noch gerade so in die Top5: Platz 1 ist ein ARM System von 2018, Platz 2 und 3 sind POWER9 Platz 4 ist eine custom Architektur und Platz 5 ist ein Milan System. Insgesamt sind 6 Power9 Systeme unter den Top 100 Supercomputern. Das nächste was falsch ist, ist das mit den Kernen. Zunächst einmal sind die Kerne überhaupt nicht vergleichbar und zusätzlich lassen sich die CPUs umkonfigurieren. Ein Power10 Chip hat 15/30 Kerne und 120 Threads. Du kannst sogar zur Laufzeit die Topologie so verändern, dass du 15 oder Kerne hast (Einfach gesagt ändert sich das Verhalten des Caches). Und die Kerne sind einfach um ein vielfaches stärker. Zen3 und Golden Cove haben beide jeweils 2 Floating Point Execution units pro Kern, bei Power10 sind es 8 pro Kern. Damit ist Power10 in der Rohleistung (und diese ist viel einfacher Nutzbar aus Softwaresicht) pro Kern um Faktor 4 schneller als EPYC oder Xeon Systeme, deshalb ist es in dem Fall sinnvoller, die Anzahl der Threads zu vergleichen (alle drei Architekturen haben pro Thread eine FP EU). IBM verkauft die Systeme als SCM und DCM, die SCM Varianten haben 120 Threads pro Sockel und können in 16 Sockel Systeme gesetzt werden, während die DCM Varianten 240 Threads pro Sockel haben (ist wie Naples und Xeon 9300, es sind einfach zwei Dies auf einem Package) mit 4 Sockeln pro System. Damit ist die Dichte erheblich besser In einen Blade Server (Das sind typische compute Knoten, kleiner als 1U) bekommst du: Bei EPYC: 2x64/128 Kerne => 256Threads Bei Xeon ice Lake: 2x 40/80 Kerne => 160 Threads Bei Xeon Cascadelake/Skylake: 4x 28/56 Kerne => 224 Threads Bei Power10: 8x(4x2x)15/120 => 960 Threads Der einzige große "Nachteil" bei PowerPC ist, dass es keine richtige Vektorunterstützung gibt, bei Intel/AMD gibt es AVX, das in einigen Anwendungen große Performancevorteile haben kann. In schwierig zu vektorisierenden Anwendunghen (davon gibt es sehr viele), ist PowerPC im Nachteil. Dazu sei aber gesagt, dass die gesamte Architektur dafür entworfen ist, mit beschleuniger Hardware zusammen zu arbeiten. Über das gleiche Interface wie der Speicher können Beschleunigerkarten angeschlossen werden, die sogar den RAM mit der CPU teilen können. Die Technik dahinter nennt sich OpenCAPI (eingeführt mit Power9) und ist sehr ähnlich zu PCIe 5.0.
@@joellegge460 Du hast scheinbar nichts von dem verstanden... 1. Ich habe nie behauptet, dass die absolute Performance deutlich besser wäre und erst recht nicht, dass jede Anwendung von dieser Architektur profitiert. Und selbst wenn es so wäre (Rohleistung), dann sagt das noch überhhaupt nichts über die Performance in der Praxis aus. Egal was für für Hardware du hast, die Software ist viel wichtiger. Intel hat einen riesigen Softwarestack, der alleine schon grund genug ist, um sich oftmals für Intelsysteme zu entscheiden. Ein weiteres großes Argument gegen PowerPC sind die Kosten. Selbst wenn es hardwaretechnisch deutlich stärker wäre, dann können sich die wenigsten ein so teures System leisten. Deine Aussage von wegen 'bei supercomputern spielt Geld keine Rolle' ist schwachsinnig. In den Top 5 bis Top 10 vielleicht, weil diese Plätze prestigeträchtig sind (eigentlich nur Platz 1 so richtig), alle anderen haben sehr begrenzte Budgets und sind meist auf Fördergelder angewiesen (in Deutschland sind das alle). 2. Was ist OpenFoam bitte für ein Maßstab und auf was für Tests beziehst du dich? Den einzigen direktvergleich zwischen einem POWER und x86 System, den ich finde ist von IBM selbst und da spricht die Leistung eher für IBM. Aber selbst wenn die CPUs in OpenFoam deutlich schneller wären, dann hätte das keine große Aussagekraft. Diese Art von Berechnungen wird mittlerweile hauptsächlich auf GPUs durchgeführt, weil es gut zu vektorisieren ist (ich habe übrigens auch selbst schon etwas zu Vektorisierung auf PowerPC gesagt. 3. Hyperthreading ist NICHT vergleichbar mit IBMs Kern/Thread Modell. Ja, SMT (bei x86) hat nicht immer große Vorteile bei HPC Anwendungen (In vielen Supercomputern ist Hyperthreading deshalb auch deaktiviert, alleine schon weil oft kaum mehr als ein Thread pro Prozess genutzt wird) und oftmals große Nachteile. Der Unterschied ist aber, dass PowerPC nicht mit den gleichen Einschränkungen bei SMT kommt wie man sie bei Intel und AMD findet. Ich zweifle zwar an, dass du das verstehen wirst, aber hier eine kurze Erklärung, wie SMT/Hyperthreading bei Intel/AMD funktioniert (es ist nicht gleich, aber prinzipiell ähnlich) Die Execution Engine (das ist der Teil, in dem die Berechnungen stattfinden) besteht mittlerweile aus mehreren Teilen, die gleichzeitig genutzt werden können (nennt sich Superscalar). Davor sitzt ein Scheduler, der die Instruktionen, die in den Kern gelangen, auf die einzelnen Ports aufteilt. Typisch sind so etwas wie 2 AVX Einheiten (512bit), die FP und komplexe Int Berechnungen (inklusive FMA) Vektorisiert berechnen können, eine kurze Vektoreinheit für einfache Operationen (hauptsächlich int), eine sehr kurze ALU/Branch Einheit (zum berechnen von Sprungadressen) und ein wenig was an Load/Store Einheiten. Das "Problem" dabei ist, dass fast kein Programm alle Einheiten gleichzeitig nutzt und deshalb große Teile der EE nichts tun. Deshalb nutzt man Hyperthreading, was einfach nur einen zweiten Eingang zum Scheduler hinzufügt (stark vereinfacht gesagt). Je verschiedener die Instruktionen der beiden Threads, desto besser ist die jeweilige Performance, da die EE besser ausgenutzt wird. Bei Anwendungen, die sehr viel FP Einheiten nutzen (vor allem im Wissenschaftlichen Bereich) bringt das oft nicht viel, weil auch ein einziger Thread beide AVX Einheiten locker auslasten kann. Der zweite Thread fügt dann nur Overhead hinzu und macht das Programm langsamer (deshalb sieht man in dem Bereich auch oft eine schlechtere Performance mit Hyperthreading. Der Punkt ist aber, dass bei PowerPC Threads und Kerne anders funktionieren/definiert sind. In Power10 (auch schon in Power9) gibt es keine Kerne im klassischen Sionne. Jeder "Kern" ist ein eigentlich ein "core pair", die zwei gespiegelte Kerne sind. Der L2 Cache sitzt in der Mitte zwischen diesen beiden Kernen und kann (muss aber nicht) von beiden Kernen geteilt werden. Innerhalb eines "core pairs" ist also sowohl Level2 als auch Level3 Cache geteilt. Das fügt einfach eine weitere topologische Ebene hinzu, die kein Äquvivalent im x86 Bereich hat. Einen geteilten L2 Cache zu haben kann Vor- und Nachteile haben, weshalb sich dieses Feature an- bzw. ausschalten lässt. Damit das OS damit besser umgehen kann, definiert IBM diese L2 Csache Pools einfach als einen "Kern". Jeder dieser beiden Teilkerne ist wieder zweigeteilt und bestehgt aus jeweils zwei Vektor Execution Engines (Power 10: 128 bit, Power9 64bit), Load/Store Engines, und einer Matrix Engine. Damit entspricht (aus sicht der Execution Engines)jeder Teilkern wieder zwei Kernen, die dann wiederum zwei Threads pro Kern. Klingt kompliziert, ist es auch. Deshalb gibt IBM auch eigentlich nur noch die Anzahl der Threads an. Aus Softwaresicht lassen sich die Kerne/Threads wie folgt konfigurieren: 1 Kern, 8 Threads 2 Kerne, je 4 Threads 4 Kerne, je 2 Threads Damit kann man unanbhängig von der Threadnutzung die Konfgiguration an die Anwendung anpassen. 4. Thema Dichte: Du beziehst dich auf ein einziges IBM System, ich denke mal das E1080 System. Das ist ein Referenzsystem, das nicht unbedingt auf maximale Dichte getrimmt ist (es sind keine Compute Knoten und klassische Blade Server gibt es noch nicht). Die IBM eigenen Systeme sind eher für das I/O Angebot ausgelegt, compute Varianten werden folgen. PowerPC ist sehr offen und erlaubt es, allen Herstellern, unterschiedliche Systeme zu bauen (Die Plattform ist Open Source). Es gibt von IBM selbst auch noch keinen direkten Nachfolger für die Summit/Sierra Systeme. Meine Rechnung war nur Beispielhaft, konkrete Systeme sehen immer unterschiedlich aus. Es geht um das Potential der Dichte. Welche Blade 6000 Server meinst du überhaupt? Ich kenne nur Sun Blade 6000 Server, die passen aber nicht zu deinen Angaben. Warum deine Rechnung mit den Kernen keinen Sinn ergibt, muss ich hoffentlich nicht mehr erklären. 5. "Große DIMM Module von z.B. 1 TB sind vollkommen uninteressant" Was?! Selbstverständlich kommt es nicht nur auf die Menge des Speichers drauf an, aber trotzdem ist die Speichermenge sehr relevant. Aktuelle Systeme sind so entworfen, dass sie verhältnismäßig gut damit umgehen (man nutzt sehr schnelle Festplattensysteme, auf die immer wieder Daten geschrieben werden). Wenn man die Möglichkeit hätte, Alles im RAM zu halten, dann könnte man deutlich schneller Rechnen. Selbstverständlich braucht das nicht jeder. 6. Das was du wohl gar nicht verstehst ist, dass es im HPC Bereich sehr unterschiedliche Anforderungen gibt. Einige Anwendungen sind compute Bound, andere sind Memory(bandwidth) bound und wieder andere sind I/O Bound. Einige können effektiv GPUs nutzen, andere nicht. Usw usw. Klimasimulationen brauchen zum Beispiel sehr viel RAM (mit doppelter Auflösung verachtfacht sich in etwa der RAM Bedarf). Die Systeme des DWD haben deshalb zum Beispiel fast 1TB pro Knoten im Durchschnitt. Auch Proteinsimulationen brauchen sehr sehr viel RAM. Ein Rechenzentrum, dass sich hauptsächlich mit Proteinen/Wetter/Klima beschäftigt schafft ganz andere Systeme an als Rechenzentren, die sich auf AI fokussieren. 7. "Mit Supercomputer scheinst Du dich aus nicht sonderlich auszukennen" An dem Punkt war ich echt am verzweifeln. So viel Mist in einem Abschnitt habe ich lange nicht mehr gelesen. Ich hatte das Thema Top500 Liste nur angeracht, weil sie deine Aussage "und die ganzen Supercomputer würden nicht aus AMD oder Intel bestehen, denn hier spielt Geld keine Rolle." mehr oder weniger widerlegt hat. Die Liste ist wenig aussagekräftig und allgemein nkein guter Indikator. Ein Vergleich der PowerPC Systeme mit anderen wäre auch einfach dumm, weil Sierra und Summit extrem Anwendungsspezifisch entworfen sind. Aber genau das macht diene Behauptungen jetzt so richtig lächerlich. Dass die Aussage "Bei den Supercomputer ist nicht die absolute Rechenleistung entscheidend, sondern die Reichenleistung pro Quadratmeter. Oder die Rechenleistung pro 1U Node." Ziemlich falsch ist, ist nochmal ein anderes Thema. Supercomputer sind deutlich weniger durch die Fläche beschränkt alsa andere Systeme, weil es in vielen Hinsichten geringere Ansprüche gibt. Wenn du mal irgendwann die Chance hast, einen Supercomputer von innen zu sehen, dann mach dich gefasst, wie klein das ganze eigentlich ist. Aber selbst wenn das so sein sollte, dann ist deine Aussage ziemlich sicher gfalsch, bzw. ergibt sie keinen Sinn. In Sierra und Summit stecken AC922 Server, die jeweils 4U umfassen. Davon gibt es insgesamt etwa 4600 Knoten. Das macht eine Rechenleistung von etwa 32TFLOPS pro 4U System (wenn wir von der aggregierten Leistung herunterrechnen), bzw. 8TFLOPs pro 1U. Zum Vergleich: Die schnellsten EPYC CPUs (7763) erreichen pro Sockel etwa 1.6 TFLOPs. Das heißt, dass du 5 CPUs pro 1U bzw. 320 Kerne pro 1U bräuchtest, um diese Dichte zu erreichen. Aber es ist offensichtlich, dass das niucht funktioniert, weil die AC922 als GPU Server entworfen sind. Die Technik darin ist zu dem zeitpunkt absolut einzigartig und hat quasi keine Konkurrenz. Aber wie gesagt, alles ist anwedungsspezifisch.
@@joellegge460 Danke, dass du mich so unterhälst. Wie sollte ich Klimasimullationen sonst nennen? Klimamodelle? OpenFoam ist nicht mein Fachgebiet, das gebe ich zu, trotzdem habe ich schon einige Paper zum Thema GPU compute für OpenFoam gesehen. Konkret würde mir da u.A. RapidCDF, aktiv gearbeitet habe ich selbst aber noch nicht. Aber Fakt ist, dass es GPU beschleunigte Solver gibt, die Lib eingebunden werden können. Deshalb verstehe ich dein Problem nicht. "Sehr amüsant. OpenFoam ist die open Source CFD Software die sämtliche Wissenschaftler nutzen und auf sämtlichen Supercomputer installiert ist" Sämtliche Wissenschaftler also? Bei mir am Fachbereich hat das noch niemand genutzt und ich bin mir nicht einmal sicher ob es überhaupt auf dem cluster liegt. "FEM/ FVM ist ausschließlich Speicherbandbreiten limitiert, da bringt 1 TB pro Node überhaupt nichts. Denn bei FEM /FVM ist nicht der Speicher, sondern die CPU Zeit limitierend. Anstatt 1 TB RAM auf einen Node, sind vier Nodes mit je 256 GB Ram deutlich performanter." Habe ich das jemals anders behauptet? Nein. Ich weiß, es ist bestimmt eine überraschung für dich, aber die hpc Welt besteht nicht nur aus OpenFoam. "Du hast doch sicher niemals ein Klimamodell gesehen. Was soll das denn bitte für Modelle sein. Diese haben für gewöhnlich eine Netzauflösung von 50 km." Ich zitiere einfach mal den DWD: "Die horizontale Maschenweite des nativen ICON-Modellgitters beträgt 13 km. In der Vertikalen wird die Atmosphäre mit 90 Schichten aufgelöst, deren Obergrenze in 75 km Höhe liegt." Viel mehr braucht man da nicht zu zu sagen, aber ich soll derjenige sein, der noch nie damit gearbeitet hat. Aber ICON ist ja nur ein unbedeutenes Stück Software, das nur für so unwichtige Dinge wie den IPCC Bericht genutzt wird. Was du jetzt plötzlich mit 48GB GPUs willst, verstehe ich nicht. Die meisten Klimamodelle haben gar keinen GPU support und wenn ist dieser nur auf sehr kleine Teile beschränkt. "Keiner braucht einen Blade 6000 (die Maße stimmen übrigens, siehe Datenblatt)" Wann habe ich etwas zu den Maßen gesagt? "Fakt ist nun mal IBM Power hat in HPC keine nennenswerten Vorteile." Du machst dich langsam wirklich lächerlich. Wenn du aufmerksam lesen würdest, würedest du auch verstehen, was meine Aussagen sind. "Anscheinend hast Du weder meine Aussage, noch die TOP500 der Liste bezüglich Supercomputer verstanden" Wie kommst du zu dem Urteil, kannst du überhaupt lesen was ich schreibe? Deine Aussagen passen kein bisschen zu dem was ich geschrieben habe. "Deine Aussagen spiegeln nicht die Fakten wieder und IBM sieht es bezüglich technsiche Daten vollkommen anders wie Du." IBM sieht es anders ALS ich? wäre mir neu, warum bauen sie HPC Systeme? "von Dir kommen überhaupt keine Quellennachweise" Wofür willst du denn Quellen haben? Alle meine Aussagen lassen sich über OpenPower nachlesen. Du hasdt immer noch nicht die Quellen für deine Performancebehauptungen genannt, obwohl ich mehrfach danach gefragt habe, wo bleiben die? Viele von deinen "Argumenten" gehen kein bisschen auf meine konkreten Aussagen ein, wenn du meine Aussagen verzerrst, ist es klar, dass du etwas daran auszusetzen hast.
@@joellegge460 Schön, dass du immer noch keine Belege für deine Aussagen liefert, bestätigt nur meine Annahmen. Mir wird es echt zu dumm. ICON ist dynamisch und kann für unterschiedliche Regionen unterschiedliche Gittergrößen anlegen. Homogeneren Zonen können gröbere, Heterogeneren Zonen feinere Gitter zugeordnet werden. Aber warum sollte ich dir hier jetzt auch noch das Simulationsmodell erklären... Ich werde mal den sprechen, vielleicht stellen die dich ja ein, dann kannst du ja die Cluster Konfigurieren. Da hat der DWD wohl ganz umsonst über 400TB an RAM für die 500 Knoten gekauft, solltest du denen mal sagen. Ich geb dann auch mal weiter, dass man nicht mehr an Hochleistungs I/O arbeiten muss. Ich denke die vielen Petabytes, die zuletzt geschrieben wurden, waren nur Einbildung.
Absolut beeindruckend, mit wie vielen Sicherheitsvorkehrungen hier, in dem von dir gezeigten Hetzner RZ und zb den DATEV RZs im Vergleich zum OVH „Container RZ“ gearbeitet wird. Da überrascht es immer weniger, dass der Brand in OVH Strasbourg so dermaßen schief gehen musste. Danke dir für diese Einblicke Roman!
Stell mir gerade nen PC zusammen und bin beim Recherchieren irgendwie zufällig hier gelandet. Hab mir das ganze Video angeguckt. Obwohl ich wenig Ahnung von Computern usw hab, hat das mich richtig gefesselt. Schon krass was hinter nem Server stecken kann. Top Video!
Mega Video, es kann ruhig mehr davon geben. Super Arbeit! 👏 Als ITler schlägt einem da das Herz höher. Und ein ganz großes Lob an die Techniker dieses Zentrums, da das alles so extrem aufgeräumt, sortiert und sauber aussieht. Da schlägt auch mein Monk-Herz höher! 😉
Ich habe früher IBM Techniker im Netzwerkumfeld geschult. Ich kenn das sehr gut. Ganz schwer den Skill zu halten, den jemand benötigt, bei einem Crash. Es ist vieles abgesichert, kann aber trotzdem mal etwas passieren. Das alles zu planen und zu beherrschen, kostet schon sehr viel Wissen und zwar immer von den neuesten Technologien. Ganz schwierig, die Komplexität und den Lernaufwand dem Management zu erklären. Danke für das Video! Super gemacht von Euch. Ich habe ein wenig Sehnsucht nach einem RZ😀.
Wunderbar als „fast“ Laie erklärt! Komme selbst aus dem Rechzentrumsbereich und arbeite dort als Techniker für genau diese Infrastruktur, bei uns sieht es fast genau so aus. Wirklich sehr gut erklärt und auch schön ins Detail gegangen (RauchAnsaugSystem, A und B Trennung etc).
Eines der besten Techvideos welches ich jeh gesehen habe. Nicht weil für mich vieles neu war, sondern weil es wirklich extrem gut gemacht war und interessant, qualitativ und koherent erklärt wurde. Absolut mega Roman - dafür gönne ich dir Apohis' Helm!!! :D
Was für nen geiles Video wieder mal über so ein Rechenzentrum. Habe das damals andere schon verschlungen und hier war es net anders. Klasse und vielen dank an alle, die es uns ermöglichen solche Einblicke zu erlauben.
@@CoLuGames Das is mir schon klar... Die Glühkerzen sind ja auch eher fürn Kaltstart gedacht damit der Diesel zündwilliger ist... Aber kann gut sein, dass der Generator keine braucht wenn der sowieso immer Vorgewärmt ist...
@@Soulleey Müßt mal bei mir in der Firma nachfragen ob da überhaupt sowas verbaut wird. Bau die Einspritzungen für solche Agregate. Mich würd noch interresieren ob das ein 2Takt/4TAckt systhem is und ob das schon CR oder noch direckt ist. Aktuell werden die ja als 4 Takt CR Motoren gebaut. Funfact für euch. Wer soein Notstromagregat will, die gibts auch semiMobil in nem Schiffskontainer eingebaut. kann man sich dan in den gaten stellen. Übrigens... die "LKWs" die solche Motoren verwenden, sind zum Beispiel CAT-Muldenkiper in Tagbergbau. alles drunter sind normale Motoren. Auch was die LAufzeiten angeht sind diese Agregate der Wahnsinn. 10.000 Betriebsstunden ohne Komponententausch sind da echt nix. Wir versuchen gerade eine neue Pumpe auf 30.000 Stunden hochzukriegen. 10.000 Stunden heist, das der Motor ein Jahr durchläuft.
@@CoLuGames Stimmt auch nicht so ganz. Durch die Verdichung glüht die Glühkerze weiter und entzündet den Diesel erneut. Würde man die weglassen, bzw. würde die plötzlich kaputt gehen, würde sich da nix mehr entzünden.
So etwas sieht man wohl als Außenstehender nie. Und ich muss gestehen, selbst mit Industriebauerfahrung hat mich dieser Einblick umgehauen. Danke an alle, die das ermöglicht haben. 👍🙂
Es ist sehr interessant so ein Rechenzentrum von Innen zu sehen. Klasse wie du das erklärst. Und danke dasdu solche Einblicke ermöglichst. Mache weiter so. Mag dein dein Kanal absolut.
Sehr geiles Video! Komme aus der IT-Branche aber so ein riesiges Rechenzentrum sieht man nicht alle Tage. Danke, dass du uns mitgenommen hast. Freue mich auf Teil 2!
Sehr gutes Video. Zu 48:40 : als beruflicher Storageadmin geht mir jedes mal einer ab bei dem Design von den EMC² Kisten. Die stechen im RZ so krass hervor, dass ich mir ein altes VMAX Rack als 19" Schrank für mich zu Hause geholt habe XD
der8auer ersetzt die maus am sonntag ^^ geiler content meiner! endlich kann ich mir mal was unter einem Industrieserver vorstellen. Und aus HLSK Sicht einfach super zu sehen, was man täglich so plant ;)
Als Elektriker und Technik Begeisterter sehr informativ und spannend!!😍 Ich finde das mit den 192!!! Kernen echt umwerfend, wir "Normalos" haben ja meistens höchstend 16 Kerne. Vielen Dank Roman für diese Einblicke in eine andere Welt, gerne mehr davon😁😁😁😁
Und wir Normalos haben kaum Software die alle Kerne nutzt. Kerne-Kauf ist privat eher Geldverschwendung. Genauso RAM. Man hat mal gesagt /4/ GB pro Task. Aber das ist oft übertrieben. Und es gibt ein Appöe Computer für etwa /60.000/ Euro. Wer schneidet denn so viel Videos? Das machen nur Profis. Ich kenne Programme die verkleinern Bilddateien in der Datei-Größe und nicht in der Bild-Größe. Ich wollte immer Videos zerlegen. Die Bilddatei verkleiner und dann wieder zusammen fügen. Eine DVD hätte dann extrem viele Spielfilme. Aber das habe ich noch nicht gemacht.
Ein sehr schönes Video, ich kann mir vorstellen das es sehr viel aufwand gemacht hat das ganze zu Produzieren. Sicher nicht einfach wenn man immer aufpassen muss was man sagt oder zeigt! Und dennoch ein sehr schöner und lustiger Fehler in diesen paar Sekunden 28:30 - 28:50 (Sauerstoff, kann dann schon knapp werden :D )
Die Anlage ist wirklich beeindruckend und technisch echt gut durchdacht. Sehr interessant mal ein aktuelles Rechenzentrum von innen zusehen. Die Thematik Zündkerze Zündspule ist wirklich sowas von nebensächlich in so einem Video. Insgesamt ein sehr gutes Video sowas kannst du gerne öfter mal machen! 😉
Wir haben unseren Hauptstandort im Interxion FRA-14 was ziemlich ähnlich gebaut ist und so ziemlich alle deutschen ISP's beherbergt. Wir fahren für uns selbst auch den Anspruch an Zero-Downtime, auch wenn dies in unserem Fall keine Kundenanforderung ist und erreichen auch 4 Neunen nach dem Komma, was nur einem einzigen Ausfall geschuldet ist, bei dem uns trotz Redundanz am selben Tag erst der erste Router und noch bevor wir diesen ersetzen konnten auch der zweite Router abgeraucht ist. Trotzdem sind Banken, Börse, etc. natürlich nochmal ein ganz anderes Level, bei dem Sekunden bereits Millarden ausmachen können und wer den Laden freiwillig verantwortet muss irre sein.
Danke für den Einblick, ich finde das Thema extrem interessant. Die Planung und Ingenieursleistung die da dahintersteckt ist echt beeindruckend. Freue mich schon auf das zweite Video.
Hammer! Ich erinnere mich an Ende der 60er Jahre, als ich (noch völlig grün hinter den Ohren) ein solches Zentrum mit den technischen Stand damals besucht hatte. Und ja, auch ein Großdiesel hat Zündkerzen. Zwar nicht als Funkenstrecke, aber (früher) als Glühfaden. Damit wird das Gemisch (initial) gezündet. 😉
Deshalb heißt das Ding G l ü h kerze :-)) Im Modell-Hobby haben Motoren oft Glühkerzen. Zündkerzen wären oft zu schwer. Nur die mit mehr Hubraum haben Zündkerzen. Mazda hat ein Motor gebaut der hat Benzin-Selbstzündung. Den Skyaktiv X Motor. Und weil die Bedinungen zur Selbstzündung nicht immer optmal sind hat der Motor zusätzlich Zündkerzen.
48:17 Hach, Dell EMC, da finde ich ja schon die Serverschränke so genial designed. Hab mir für meinen auch diese beleuchtete Frontplatte (gebraucht bei eBay) geholt, das Licht wird dabei ganz modern via USB angeschlossen.
Auto freak bedeutet nicht gleich diesel Fahrer es gibt ja auch Elektro Autos und Benziner und gute Autos wie ein gtr fahren ja mit Benzin weil Diesel Müll ist und zum Glück bald verboten wird
Selbst als IT-Systemelektroniker der 1999 seine Ausbildung begonnen hat ist das schon sehr beeindruckend. Aber Gerade Data Center sind immer etwas ganz eigenes und Beeindruckend. Einiges kannte ich, halt aus kleineren Umsetzungen, aber die Umsetzung ist schon richtig gut gemacht. Besonders Interessant das man nicht nur auf 1 Hersteller setzte sondern Quer durch geht.
Nachdem ich schon einige "Cages" in Rechenzentren von "Equinix" und "e-shelter" in Frankfurt/Main und die firmeneigenen Rechenzentren betreut hatte, war es auch interessant mal zu sehen, was noch so dahinter an Technik steht. Auch war die Sauberkeit der verbauten Hardware beeindruckend und hab dies bisher nur bei "Equinix" in diesem Ausmaß gesehen. Sehr gutes und informatives Video. :)
Ich finde es wirklich mega interessant! Ich habe gestern einen Podcast über Speicherlösungen auf Netzebene gehört (Batteriespeicher, Wasserkraftwerke, Gaskraftwerke, etc.). Im übertragenen Sinne sind alle Aspekte im Rechenzentrum im kleinen Format wiederzufinden (Batteriespeicher, Dieselmotor, etc.). Sehr interessantes Video, Roman! Hammer! Großes Dankeschön auch an Dominik :)
Schwungrad ist auch ab und an anzutreffen. Entweder direkt am Diesel angebaut oder separat, ähnlich wie om Video der Batterieraum. Energiemenge je nach Bauform 3 oder 20 Sekunden Volllast. Da muss der Diesel wirklich schnell anspringen und auf Vollast gehen.
Interessant, was andere RZ so treiben... Vergleichsweise aber doch ein eher kleines RZ, 2N (oder 2N+1) Redundanz damit saubere, A+B-Versorgung klar, Spiegel-RZ an anderem Ort, sieht nach Zertifizierung irgendwo zwischen Tier 3 oder vielleicht sogar 4 aus. Die Ordnung ist sehr Respektabel, das sieht in alten gewachsenen RZ leider eher nicht so gut aus... Von der Effizienz können sich ebenso viele andere RZ gut was abschneiden. Insgesamt sauber, Lob!
Die Redundanz ist beim Diesel mit 2N nicht übertrieben hoch. Wenn ein Diesel in Wartung ist, ist die Redimdanz bei Stromausfall null. Bei der USV siehts gleich aus. Sollte also ein Bauteil an einer solchen Anlage kaputt gehen, und auffrund Lieferketten...Du weisst was ich meine, dann bist du 10 wochen mit Redundamz 1n unterwegs. Fühlt sich nicht gut an für dem Betreiber.
Cool das man durch Leute wie dich Einblick in die aktuelle Server- Welt bekommt und krass wie viel Aufwand betrieben wird, "nur" um Notfälle zu vermeiden
Du solltest dir vlt. nochmal das Rechenzentrum maincubes FRA-01 in Frankfurt ansehen. Die legen dort noch eine ganze Schippe drauf, vor allem hinsichtlich innovativer Ansätze beim Kühlkonzept und einem ganz anderen Design hinsichtlich Stromversorgung (Thema Ringverbund). Dennoch sehr spannendes Video und sehr lehrreich
Als jemand, der mit solchen Kisten sein Geld verdient, ein unfassbar spannendes Video. Was ein Datacenter. Mit lösungen, die ich so noch nicht gesehen habe (Battery-Backup ist einfach ein ganzer Raum, Notstrom durch 2 Schiffsdiesel, Tape-Library größer als ein Auto und RAM-Dichte sein Vater in der IBM-Bude)
Arbeite selbst in nem IT Konzern und unser RZ ist nicht annähernd so beeindruckend, obwohl wir mehrere Krankenhäuser mit IT versorgen. Haben da aber nur x86 Hardware im Einsatz, da ist das ist hier schon ne ganz andere Hausnummer. Super Video!
Finde sowas immer so krass beeindruckend. Allein die Planung für sowas und dann auch noch die Umsetzung. Vorallem mit allen Vorschriften die es in Deutschland gibt.
Auch wenn man schon so einige Rechenzentren gesehen hat, ist es immer wieder beeindruckend und sehr interessant. Gut produziertes Video und auch sehr verständlich erklärt. Danke an alle Beteiligten für diese Einblicke. Finde es nach wie vor nicht selbstverständlich, dass man sowas öffentlich macht.
Was ein geiles Video. Danke. Unglaublich was für Technik da im Einsatz ist und was das alles für ein Aufwand und für Kosten sind, nur damit wir alle hier unseren Datenmüll abladen können.
Unfassbar. Was ein Video. Roman, du übertriffst dich wirklich immer wieder selber. Das ich sowas gratis auf TH-cam gucken darf schockt mich gerade ein wenig :D
Hammer Video. Super geworden. Ich finde ein Rechenzentrum von innen zu sehen ist sehr interessant. Die ganze Technik die immer im Hintergrund mitlaufen oder im Standby sein muss. Es steckt eine Menge hinter. Für den Inhalt ist die Länge des Videos okay. Ich bin schon gespannt auf ein weiteres Video.
Langes Video mit sehr viel Aufwand aber ich bin mega Happy dass es endlich online ist 😬 etwas länger als sonst, aber ich denke es lohnt sich. Viel Spaß 💪
Edit: Wenn der einzige Fehler in einem 1h Video eine "Zündkerze" ist kann ich damit sehr gut leben xD
Ich mag so lange Videos, vor allem von so kompetent Leuten wie du einer bist! Mach weiter so.
die arbeit war es definitiv wert. gutes video (bis jetzt, bin bei 24min)
Sehr gutes und interessantes Video auch dafür geworden.
Danke
Wenns so interessant und so gut erklärt/gezeigt wird ist die länge egal. Sehr gut gemacht und danke für die zeit die da reingesteckt wurde, vielen dank dafür
Bei so ein Video ist denk ich mal ,denn meisten die länge des videos egal , es war echt spannend zu sehen wie das Zentrum aufgebaut ist .
Da Bielefeld offiziell gar nicht existiert, sind die Server schwer auffindbar und somit sehr gut gesichert. Ziemlich schlau von denen.
Die haben alles sehr genau durchdacht
Wow ein neuer orgineller Bielefeld Witz *Ba Dum Tss*
Bielefeld?
wer ist dieser bielefeld?
Und dann gibt's Bielefeld auch noch doppelt
Fantastisches Video!
Als Elektro-Mensch unfassbar informativ und cool zu sehen! Da wird an so viel gedacht 😯 Vielen Dank dafür dass du deine Kontakte nutzt um uns solche Einblicke zu ermöglichen!!
dem kann ich nur zustimmen deutlich interresanter als das immer in ner vorlesung vorgebrabbelt zu bekommen. 😍
Wir suchen in datacenter viel elektro Menschen. Da Verdienst du ein Vielfaches
Ein Zündkerzen Problem beim Diesel wäre echt bitter😉
Mega interessantes Video, danke dafür.
Aua, aua, aua....🤣🤣
😂😂😂😂
Zündkerze beim diesel ?
Zündkerze? Wäre eh egal sind ja alle online USV Systeme
@@P1aenkl3r du hast ja mal har nichts gerafft. 😅😁
Immer wieder interessant Rechenzentren mal von innen zu sehen!
ohja. Und Linus LinusTechTips hat noch vor 3 Tagen behauptet Rechenzentren sind so hochsicher dass man da gar nicht reinkommt um zu filmen :P Tja Mr Sebastian in Europa und mit Roman geht das schon.
Auf jeden Fall wird hier mehr berechnet als bei meiner Cousine im Matheheft haha ;--)
@@RandomUser2401 q
@@jorgwohlgemuth7040 p
Sehe doch alle gleich aus. Bin jeden Tag in welchen . Je nach Anbieter sehen die meistens gleich aus
Eines der Besten Videos, was ich bislang von dir gesehen habe. Mega faszinierend und sehr gut die Zusammenhänge und Gründe erklärt 👏
Freut mich, danke!
Ja und toll das man ihm vertraut, wenn schon nur ein IBM-Techniker dran darf. Er könnte ja einfach Kabel ziehen :-))
Erstmal ein großes Dankeschön 💪
Jedem Fachinformatiker/Admin geht da das Herz auf. Einfach so sauber. Das Kabelmanagement top. Cool das du uns hier teilhaben lässt.💪💻👨💻
Das ist eigentlich Standart, cabeling muss so sein
Geniales Video, welches sich definitiv nicht hinter klassisch hergestellten Dokus mit großem Produktionsteam und hohem Budget verstecken muss! Sowohl was die Länge, als auch die Qualität angeht.
Das hat sich gar nicht wie ein fast einstündiges Video angefühlt!
Vielen Dank!
Das Video war unglaublich Informativ und Interessant, einfach brutal was für krasse Technik in dem Rechenzentrum stecket...
Wirklich vielen Dank für diesen Einblick👍
"Wenn der Stickstoff eingeleitet ist, dann ist die Umgebungsluft komplett voll mit Sauerstoff" - Roman Hartung
28:38
xD
In knapp einer Stunde sei ihm der Fehler doch hoffentlich verziehen - unglaub wieviel Arbeit in dem Video steckt - finde es einfach mega interessant!
LOL jo :D
Sauerstoffreduzierter Bereich ... merkt man aber nix von
@@Hurrycane-j Kurzzeitig natürlich nicht, wenn man da drin ein-zwei Monate verbringt bildet dein Körper z.B. wesentlich mehr Hämoglobin (rote Blutkörperchen). Ist halt ähnlich wie Höhenluft... bei 17% schätze ich jetzt mal eine Höhe von 2000 m über N.N., also Meresspiegel. Dass da kein Feuer mehr entfacht werden kann, bezweifle ich sehr, aber erschwert wird es sicherlich.
@@derpopanz4502 Das Mensch auf dem Mont Blanc kein Feuer machen kann ist faktisch nicht richtig. Auch deine Schätzung,17% Sauerstoffanteil bei 2000 m über n.N. kann nicht sein: Der Anteil der verschiedenen Gase, die die Luft auf der Erde ausmachen, bleibt immer gleich: 21 Prozent Sauerstoff, 78 Prozent Stickstoff, ein Prozent Argon, Kohlendioxid, Wasserdampf und andere Edelgasmoleküle.
Nur die Luft wird dünn, was bedeutet pro Atemzug atmet man weniger Moleküle ein und damit weniger Sauerstoff.
Ein Mensch würde bei 17% Sauerstoff in dem Atemzug unweigerlich die Höhenkrankheit bekommen.
Was aber schlimmer ist bei der STICKSTOFF gesättigten Luft: Der Mensch kann nur einen gewissen Anteil von Stickstoff binden und ausatmen.
Daher kommt das Wort "ERSTICKEN"!
Das finde ich ja toll, dass die OEDIF so einen tiefen Einblick in ihr RZ gegeben hat. Ich kenne die OEDIV seit 15 Jahren als Anbieter von SAP Dienstleistungen. Über die IBM Server freue ich mich immer wieder. Habe das schwarze Blech fast 10 Jahre verkaufen dürfen. Klasse Video 👍🏻.
Moin Roman, ich war selbst in meinen Jahren als IT Service Engineer oft in verschiedenen Rechenzentren in München und Frankfurt. Nichtsdestotrotz hat mir dieses Video nochmal viele Dinge gezeigt, die ich dabei nie so hautnah erlebt habe, gleichwohl mir ihre Existenz bewußt war, Daher herzlichen Dank für dieses wirklich gute Video über ein modernes Rechenzentrum. So etwas habe ich in dieser Qualität noch nie gesehen. :-)
Ich habe schon einge Rechenzentren gesehen, aber eine so saubere Verkabelung noch nie.
P.S. Geiles Video. Da schlägt mein Admin Herz gleich höher.
Und LTO Backup bekommen all unsere Kunden in irgendeiner Größenordnung.
War bisher in 3 Rechenzentren, davon hatten 2 praktisch die gleiche "Qualität" bzw. Ordnung an Verkabelung. Muss ab einem gewissen Grad auch einfach sein, wenn man tausende Server hat. Sonst kriegst ja kein Kabel mehr getauscht usw.
@@t0xanes gerade hinten in den racks sieht es aber hinten doch meistens anders aus. Ich red ja nicht von kraut und rüben Verkabelung. Oft passiert es einfach, dass Kabel im rack aufgerollt und zusammen gestrapst werden.
@@tl1897 du scheinst interessante Rechenzentren zu kennen.
@@tl1897 Beim HPC-Cluster den ich betreue haben wir immer eine Schlaufe Kabel für je zwei Nodes einfach auf den Maschinen drauf liegen. Allein von der Stromversorgung konnten wir die Racks ohnehin nicht voll machen, also haben wir einfach immer 2 Server, 1HE Lücke, 2 Server, usw. gemacht.
Das ist zwar vielleicht nicht ganz so "sauber", aber hat durchaus auch Vorteile. Die Kabel liegen so recht lose und lassen sich bei Bedarf recht einfach tauschen. Ursprünglich waren die Kabel wie hier im Video "schön" in Kabelarmen verlegt, da war ein Tausch jedes Mal ein größeres Drama (und durch die engen Knickwinkel in den Armen kam das auch öfter mal vor). Plus man muss die Kabel jetzt nicht mehr exakt ablängen, sondern kann einfach Standardlängen verwenden.
Außerdem haben die Arme mit jeweils 7 Kabeln (2x Strom, 1x IPMI, 2x Ethernet, 2x Infiniband) bei den 1HE-Servern praktisch die ganze Rückseite dicht gemacht und die Kühlung beeinträchtigt. Seit wir die Kabel zwischen den Maschinen aufrollen fahren wir ein paar Grad kühler (und somit auch länger im Allcore-Turbo). Und zur Wartung herausziehen geht immer noch recht einfach (kommt aber im Cluster ohnehin kaum je vor dass man eine laufende Maschine rausziehen müsste - die Jobs werden ohnehin automatisch verteilt, da kann man einzelne Kisten auch mal herunterfahren, abkabeln und gemütlich am Tisch zerlegen).
Also falls jemand 150 Cisco-Kabelarme braucht: einfach melden :-)
Das Geheimnis sind die Kreuzungen 😉 wenn du das nächste Mal siehst das so sauber ausgebunden wude schau dahin oder Darunter
Danke wieder mal an Firmen die solche Einblicke ermöglichen, von denen sie direkt nicht profitieren, sondern einfach bereit sind coole Technik zu zeigen!
Holy shit, der Aufwand für dieses Video ist insane, danke für diesen krassen Einblick, die ganzen Ideen und das Know How das da drin steckt.. einfach nur krank!
Witcher 3 beste, danke dir
Wow. Das ist schon der Wahnsinn. Als Elektroniker für Betriebstechnik der jetzt als Mikrotechnologe für Halbleiterschaltkreise arbeitet weiß, dass das ein großes Privileg ist. Das ist nämlich nicht selbstverständlich. Dieser Einblick und den Umfang an Informationen fachkundig zu übermitteln ist auch nicht leicht. Riesen Dank an alle die das für uns möglich gemacht haben. Normalerweise darf man ohne ärztliche Bescheinigung keine Sauerstoff reduzierte Atmosphäre betreten. Als ich noch als Elektroniker unterwegs war, mussten wir auch unseren Serverraum kontrollieren und ohne Nachweis darf man da nicht rein. Zum Schutz von allen natürlich. Mega geil von der Firma uns den Einblick zu gewähren, denn das ist auch nicht selbstverständlich. Meistens sieht man gar nicht mehr. Vielen vielen Dank 🙏
Exzellentes Video, es ist sehr schwer ein so großes RZ für DIY Gamer zu erklären und man sieht, wie viel Aufwand in diesem Video steckt. Ich war selbst in einem solchen RZ mal zu Besuch (als Kunde) und da war genau das gleiche - auch so Feinheiten wie der aufgewärmte Diesel, der auch blau angestrichen war, die Löschflaschen, Batterien usw.
Solche Plattenwärmetauscher haben wir auch auf der Arbeit. Die Teile sind echt super, man kann durch die Anzahl der Platten die Kühlleistung in kleinen Schritten genau auf das Level anpassen wie man es braucht. Bei uns wird Wasser aus einem Pressbecken damit gekühlt in das Rohre hineingepresst werden. Im Wasserbecken sind Platten aus Graphit (gute Gleiteigenschaften und Hitzebeständig, die Rohre kommen mit ca. 800°C glühend durch eine Schleuse ins Wasserbecken. Hinter den Platten aus Graphit kommen Platten aus Hartholz, weil die Rohre zwischen 16 und 50 Meter lang sind, sind sie ab da schon kalt genug um die Platten aus Hartholz nicht zu verbrennen. Der Abrieb des Graphits haftet mit der Zeit auf den Kühlplatten des Kühlers und dann kann man ganz einfach die Gewindestangen die den Kühler zusammen halten lösen und entnehmen und die Platten auf einer Schiene einzeln hin und her schieben wie einen Kleiderbügel auf einer Kleiderstange im Kleiderschrank. Auf die Weise ist ruck zuck der Kühler sauber und wieder fit für ein bis zwei Jahre. Schon ganz cool die Idee mit dem Kühler. 👍
Edit:Wir schieben die Platten dann einzeln auseinander und spritzen die mit nem Dampfstrahler ab.
Danke dafür. Da hat sich in den letzten 30 Jahren einiges getan bei IBM. Durfte mir damals mit meinem Vater eines ansehen. Wahnsinn das alles nur mehr im Ramspeicher liegt für den Datenzugriff und die Festspeicher eigentlich nur mehr als Backup dienen. Die Energieeffizienz ist auch der Hammer auch wenn ich das nicht ganz glauben kann. Zumindest Sparsamer als vor 30 Jahren :)
Für mich persönlich eins der interessantesten Videos seit langem im Internet. Habe nicht mal ahnen können, wie viel Aufwand betrieben werden muss, um einen Rechenzentrum stabil zu halten.
Gut und informativ rüber gebracht, danke an die Betreiber und euch für den Einblick. Ich könnte es mir noch stundenlang weiter ansehen.
Hammer Video. Danke and dich und auch an OEDIV. Ist nicht selbstverständlich, dass ne Firma sowas herzeigt und das auch noch so detailliert.
Es ist echt mega zu sehen wie viele kleine geordnete Details und eine Maschine auf die andere abgestimmt sein muss wie ein Organismus der dann das Große ganze ergibt, mega Video Danke :D!
es ist beruhigend zu sehen das die Industrie, nicht wie die Politik vor 30-40 Jahren hängen geblieben ist, sondern ganz vorne mit dabei ist. sehr interessante und informative einblicke in den enterprise sektor, für mich gerne mehr davon.
Danke für diese Tour. Bin selber Fachinformatiker aber sowas habe ich noch nie gesehen. Einfach unglaublich was für ein Aufwand da betrieben wird und auf welchem technischen Stand das ist.
Einstellungs-Kriterium im Rechenzentrum: keine Rot-Grün-Sehschwäche ... ;-)
Tolles Video. Vielen Dank!
ja was soll ich sagen IBM Power "mal mit den Grossen spielen" ist eine coole Technik. Ich arbeite jetzt seit 1990 in der IT und bin immer noch begeistert wie die RZ anderer Firmen aufgebaut sind. Vielen Dank für die Einblicke und das coole Video
Danke für das Video! Ich war Anfang der 2000er Jahre bei einer Führung im Rechenzentzrum der SEB in Frankfurt dabei. Dort gab es noch Speicherschränke mit SCSI HDDs, die mit 10.000 oder 16.000 rpm nagelten. Man musste mehrere übereinanderliegende Türen öffnen, um die Geräte zu kommen. Dabei ertönen jeweils schrille Warntöne, um auf den Hörschutz-Zwang hinzuweisen, weil die HDDs ohne Schallisolation so laut waren, dass sie das menschliche Gehör zerstörten. In der Führung hatte man jede Menge beeindruckende Technik gesehen. Stellenweise hat mich dieses Video daran erinnert. Auch das SEB Rechenenzentrum gab bzw. gibt es 2x an verschiedenen Orten. Grund war "der Fall, den sich niemand wünscht" - nämlich dass ein Flugzeug auf das Gebäude abstürzt. Für diesen Fall konnte damals innerhalb von wenigen Minuten das andere RZ komplett hochgefahren werden. Auch gab es Büros mit derselben Ausstattung 1:1 wie in den einzelnen Bankgebäuden. Hintergrund war, dass bei einem technischen Problem sofort ein Spezialist die Situation reproduzieren und eine Lösung erarbeiten konnte.
Es ist schon erstaunlich, welch ein Aufwand mit modernster Technik für die Betiebssicherheit betrieben wird.
Das andere muss nicht hochgefährlich werden. Das ist immer da. Das würde sonst Stunden gehen..aber zwischen 2000 und heute sind Welten
Und die Notfall Arbeitsplätze sind die Banken Vorschrift um den not Betrieb zu gewährleisten
Bin gerade in meiner Ausbildung zum Systemintegrator und solche Videos erinnern mich immer wieder daran warum ich das mache. Einfach nur zu geil
Mega interessantes Video, ich hätte nicht gedacht, das da teilweise so ein Aufwand betrieben wird - vor allem was die unfassbare Redundanz und Sicherheitsmaßnahmen angeht. Partikelmessung und Sauerstoffreduktion zum Brandmanagement - verrückt. Auch die Zuverlässigkeit von dem Mainframe oder die Tatsache dass der Power 10 einen 256Kern Epyc 1.5TB ddr4 Server zum Frühstuck isst hätte ich so nicht erwartet. Und einfach Masterstudiengang Kabelmanagement, Sicherheit, Ordnung und Organisation xD.
Super Video, hab erst am Ende gemerkt, dass das ja fast ne Stunde war, freue mich auf den zweiten Teil. Viel interessanter als ein fünftausendstes Video mit "boah krass 12900k und 3090 voll viel fps krass".
Den Aufwand ist das Video meiner Meinung nach definitiv wert.
@@joellegge460 Es ist nicht so einfach:
POWER 9 hatte kein so direktes RAM Limit von 4TiB, das hatte nur die kleine Desktop Version.
Bei PowerPC funktioniert RAM völlig anders als bei jedem anderen System, da auf ein anderes Interface gesetzt wird. Es gibt die Desktop Varianten (scale out), die 8 DDR4 Kanäle hatten und max Dual Sockel Systeme konnten. Die Scale Up Versionen können bis zu 16 Sockel und theoretisch sehr viel RAM verwalten, da statt auf Speicherkanäle auf OMI gesetzt wird. Das ist eine serielle Schnittstelle, die auf PCIe aufsetzt und dadurch skalierbarer als parallele Interfaces ist. Eine OMI Karte siehst du auch bei z.B. 38:27, deshalb sieht das RAM Modul auch wie eine PCIe Karte aus. Dadurch, dass du nicht durch Ranks und das parallele Interface beschränkt bist, kannst du theoretisch beliebig viel RAM auf solches Modul packen. eine offizielle Spezifikation was RAM Kapazität betrifft, hat IBM für Power9 nie offizielle Angaben gemacht, das höchste was durch IBM direkt verkauft wurde, waren aber 4TB pro Sockel, dafür aber mit 16 Sockel Systemen. Dagegen ist ein EPYC Dual Socket System mit den 4TB (bzw. 8TB seit ungefähr 2021, davor gab es keine 256GB DIMMs) gar nichts.
Dadurch, dass die Schnittstelle seriell ist, kann dahinter auch ALLES an Speicher stecken. Nichts hält einen davon ab, DDR5 oder bauch DDR6 Module für Power9 zu entwickeln (auch wenn das volle Potential nicht genutzt werden kann). Bei Power10 sind es übrigens 1PiB (=1024TiB) pro Sockel, bzw. 2PiB in den DCM Varianten.
Intel und AMD setzen noch immer auf parallele Schnittstellen und können daher bei weitem nicht so viele Speicherchips unterbringen. Mehr als 12 Speicherkanäle wird wegen den sehr empfindlichen Zeitbeschränkungen quasi nie möglich sein und mehr als 8 bekommst man auch Platztechnisch nicht unter. Nach JEDEC Specs kann es maximal 512GB oder 1024GiB Module geben, das wären maximal 24TiB pro Sockel, praktisch werden wir wohl eher bei 8-16TiB Maximum landen.
Die Speicherbandbreite liegt bei Power 10 übrigens bei 1TB/s für DCM Chips.
Deine Aussagen bezüglich Supercomputer sind übrigens sehr amüsant, weil gerade das einer der starken Bereiche für PowerPC ist. x86 schafft es im Supercomputersegment nur noch gerade so in die Top5: Platz 1 ist ein ARM System von 2018, Platz 2 und 3 sind POWER9 Platz 4 ist eine custom Architektur und Platz 5 ist ein Milan System. Insgesamt sind 6 Power9 Systeme unter den Top 100 Supercomputern.
Das nächste was falsch ist, ist das mit den Kernen. Zunächst einmal sind die Kerne überhaupt nicht vergleichbar und zusätzlich lassen sich die CPUs umkonfigurieren. Ein Power10 Chip hat 15/30 Kerne und 120 Threads. Du kannst sogar zur Laufzeit die Topologie so verändern, dass du 15 oder Kerne hast (Einfach gesagt ändert sich das Verhalten des Caches). Und die Kerne sind einfach um ein vielfaches stärker. Zen3 und Golden Cove haben beide jeweils 2 Floating Point Execution units pro Kern, bei Power10 sind es 8 pro Kern. Damit ist Power10 in der Rohleistung (und diese ist viel einfacher Nutzbar aus Softwaresicht) pro Kern um Faktor 4 schneller als EPYC oder Xeon Systeme, deshalb ist es in dem Fall sinnvoller, die Anzahl der Threads zu vergleichen (alle drei Architekturen haben pro Thread eine FP EU). IBM verkauft die Systeme als SCM und DCM, die SCM Varianten haben 120 Threads pro Sockel und können in 16 Sockel Systeme gesetzt werden, während die DCM Varianten 240 Threads pro Sockel haben (ist wie Naples und Xeon 9300, es sind einfach zwei Dies auf einem Package) mit 4 Sockeln pro System. Damit ist die Dichte erheblich besser
In einen Blade Server (Das sind typische compute Knoten, kleiner als 1U) bekommst du:
Bei EPYC: 2x64/128 Kerne => 256Threads
Bei Xeon ice Lake: 2x 40/80 Kerne => 160 Threads
Bei Xeon Cascadelake/Skylake: 4x 28/56 Kerne => 224 Threads
Bei Power10: 8x(4x2x)15/120 => 960 Threads
Der einzige große "Nachteil" bei PowerPC ist, dass es keine richtige Vektorunterstützung gibt, bei Intel/AMD gibt es AVX, das in einigen Anwendungen große Performancevorteile haben kann. In schwierig zu vektorisierenden Anwendunghen (davon gibt es sehr viele), ist PowerPC im Nachteil.
Dazu sei aber gesagt, dass die gesamte Architektur dafür entworfen ist, mit beschleuniger Hardware zusammen zu arbeiten. Über das gleiche Interface wie der Speicher können Beschleunigerkarten angeschlossen werden, die sogar den RAM mit der CPU teilen können. Die Technik dahinter nennt sich OpenCAPI (eingeführt mit Power9) und ist sehr ähnlich zu PCIe 5.0.
@@joellegge460 Du hast scheinbar nichts von dem verstanden...
1. Ich habe nie behauptet, dass die absolute Performance deutlich besser wäre und erst recht nicht, dass jede Anwendung von dieser Architektur profitiert.
Und selbst wenn es so wäre (Rohleistung), dann sagt das noch überhhaupt nichts über die Performance in der Praxis aus. Egal was für für Hardware du hast, die Software ist viel wichtiger. Intel hat einen riesigen Softwarestack, der alleine schon grund genug ist, um sich oftmals für Intelsysteme zu entscheiden. Ein weiteres großes Argument gegen PowerPC sind die Kosten. Selbst wenn es hardwaretechnisch deutlich stärker wäre, dann können sich die wenigsten ein so teures System leisten. Deine Aussage von wegen 'bei supercomputern spielt Geld keine Rolle' ist schwachsinnig. In den Top 5 bis Top 10 vielleicht, weil diese Plätze prestigeträchtig sind (eigentlich nur Platz 1 so richtig), alle anderen haben sehr begrenzte Budgets und sind meist auf Fördergelder angewiesen (in Deutschland sind das alle).
2. Was ist OpenFoam bitte für ein Maßstab und auf was für Tests beziehst du dich? Den einzigen direktvergleich zwischen einem POWER und x86 System, den ich finde ist von IBM selbst und da spricht die Leistung eher für IBM.
Aber selbst wenn die CPUs in OpenFoam deutlich schneller wären, dann hätte das keine große Aussagekraft. Diese Art von Berechnungen wird mittlerweile hauptsächlich auf GPUs durchgeführt, weil es gut zu vektorisieren ist (ich habe übrigens auch selbst schon etwas zu Vektorisierung auf PowerPC gesagt.
3. Hyperthreading ist NICHT vergleichbar mit IBMs Kern/Thread Modell. Ja, SMT (bei x86) hat nicht immer große Vorteile bei HPC Anwendungen (In vielen Supercomputern ist Hyperthreading deshalb auch deaktiviert, alleine schon weil oft kaum mehr als ein Thread pro Prozess genutzt wird) und oftmals große Nachteile. Der Unterschied ist aber, dass PowerPC nicht mit den gleichen Einschränkungen bei SMT kommt wie man sie bei Intel und AMD findet.
Ich zweifle zwar an, dass du das verstehen wirst, aber hier eine kurze Erklärung, wie SMT/Hyperthreading bei Intel/AMD funktioniert (es ist nicht gleich, aber prinzipiell ähnlich)
Die Execution Engine (das ist der Teil, in dem die Berechnungen stattfinden) besteht mittlerweile aus mehreren Teilen, die gleichzeitig genutzt werden können (nennt sich Superscalar). Davor sitzt ein Scheduler, der die Instruktionen, die in den Kern gelangen, auf die einzelnen Ports aufteilt.
Typisch sind so etwas wie 2 AVX Einheiten (512bit), die FP und komplexe Int Berechnungen (inklusive FMA) Vektorisiert berechnen können, eine kurze Vektoreinheit für einfache Operationen (hauptsächlich int), eine sehr kurze ALU/Branch Einheit (zum berechnen von Sprungadressen) und ein wenig was an Load/Store Einheiten. Das "Problem" dabei ist, dass fast kein Programm alle Einheiten gleichzeitig nutzt und deshalb große Teile der EE nichts tun. Deshalb nutzt man Hyperthreading, was einfach nur einen zweiten Eingang zum Scheduler hinzufügt (stark vereinfacht gesagt). Je verschiedener die Instruktionen der beiden Threads, desto besser ist die jeweilige Performance, da die EE besser ausgenutzt wird. Bei Anwendungen, die sehr viel FP Einheiten nutzen (vor allem im Wissenschaftlichen Bereich) bringt das oft nicht viel, weil auch ein einziger Thread beide AVX Einheiten locker auslasten kann. Der zweite Thread fügt dann nur Overhead hinzu und macht das Programm langsamer (deshalb sieht man in dem Bereich auch oft eine schlechtere Performance mit Hyperthreading.
Der Punkt ist aber, dass bei PowerPC Threads und Kerne anders funktionieren/definiert sind. In Power10 (auch schon in Power9) gibt es keine Kerne im klassischen Sionne. Jeder "Kern" ist ein eigentlich ein "core pair", die zwei gespiegelte Kerne sind. Der L2 Cache sitzt in der Mitte zwischen diesen beiden Kernen und kann (muss aber nicht) von beiden Kernen geteilt werden. Innerhalb eines "core pairs" ist also sowohl Level2 als auch Level3 Cache geteilt. Das fügt einfach eine weitere topologische Ebene hinzu, die kein Äquvivalent im x86 Bereich hat.
Einen geteilten L2 Cache zu haben kann Vor- und Nachteile haben, weshalb sich dieses Feature an- bzw. ausschalten lässt. Damit das OS damit besser umgehen kann, definiert IBM diese L2 Csache Pools einfach als einen "Kern". Jeder dieser beiden Teilkerne ist wieder zweigeteilt und bestehgt aus jeweils zwei Vektor Execution Engines (Power 10: 128 bit, Power9 64bit), Load/Store Engines, und einer Matrix Engine. Damit entspricht (aus sicht der Execution Engines)jeder Teilkern wieder zwei Kernen, die dann wiederum zwei Threads pro Kern. Klingt kompliziert, ist es auch. Deshalb gibt IBM auch eigentlich nur noch die Anzahl der Threads an. Aus Softwaresicht lassen sich die Kerne/Threads wie folgt konfigurieren:
1 Kern, 8 Threads
2 Kerne, je 4 Threads
4 Kerne, je 2 Threads
Damit kann man unanbhängig von der Threadnutzung die Konfgiguration an die Anwendung anpassen.
4. Thema Dichte:
Du beziehst dich auf ein einziges IBM System, ich denke mal das E1080 System. Das ist ein Referenzsystem, das nicht unbedingt auf maximale Dichte getrimmt ist (es sind keine Compute Knoten und klassische Blade Server gibt es noch nicht). Die IBM eigenen Systeme sind eher für das I/O Angebot ausgelegt, compute Varianten werden folgen. PowerPC ist sehr offen und erlaubt es, allen Herstellern, unterschiedliche Systeme zu bauen (Die Plattform ist Open Source). Es gibt von IBM selbst auch noch keinen direkten Nachfolger für die Summit/Sierra Systeme.
Meine Rechnung war nur Beispielhaft, konkrete Systeme sehen immer unterschiedlich aus. Es geht um das Potential der Dichte.
Welche Blade 6000 Server meinst du überhaupt? Ich kenne nur Sun Blade 6000 Server, die passen aber nicht zu deinen Angaben.
Warum deine Rechnung mit den Kernen keinen Sinn ergibt, muss ich hoffentlich nicht mehr erklären.
5. "Große DIMM Module von z.B. 1 TB sind vollkommen uninteressant"
Was?! Selbstverständlich kommt es nicht nur auf die Menge des Speichers drauf an, aber trotzdem ist die Speichermenge sehr relevant. Aktuelle Systeme sind so entworfen, dass sie verhältnismäßig gut damit umgehen (man nutzt sehr schnelle Festplattensysteme, auf die immer wieder Daten geschrieben werden). Wenn man die Möglichkeit hätte, Alles im RAM zu halten, dann könnte man deutlich schneller Rechnen. Selbstverständlich braucht das nicht jeder.
6. Das was du wohl gar nicht verstehst ist, dass es im HPC Bereich sehr unterschiedliche Anforderungen gibt. Einige Anwendungen sind compute Bound, andere sind Memory(bandwidth) bound und wieder andere sind I/O Bound. Einige können effektiv GPUs nutzen, andere nicht. Usw usw. Klimasimulationen brauchen zum Beispiel sehr viel RAM (mit doppelter Auflösung verachtfacht sich in etwa der RAM Bedarf). Die Systeme des DWD haben deshalb zum Beispiel fast 1TB pro Knoten im Durchschnitt. Auch Proteinsimulationen brauchen sehr sehr viel RAM.
Ein Rechenzentrum, dass sich hauptsächlich mit Proteinen/Wetter/Klima beschäftigt schafft ganz andere Systeme an als Rechenzentren, die sich auf AI fokussieren.
7. "Mit Supercomputer scheinst Du dich aus nicht sonderlich auszukennen"
An dem Punkt war ich echt am verzweifeln. So viel Mist in einem Abschnitt habe ich lange nicht mehr gelesen. Ich hatte das Thema Top500 Liste nur angeracht, weil sie deine Aussage "und die ganzen Supercomputer würden nicht aus AMD oder Intel bestehen, denn hier spielt Geld keine Rolle." mehr oder weniger widerlegt hat.
Die Liste ist wenig aussagekräftig und allgemein nkein guter Indikator. Ein Vergleich der PowerPC Systeme mit anderen wäre auch einfach dumm, weil Sierra und Summit extrem Anwendungsspezifisch entworfen sind.
Aber genau das macht diene Behauptungen jetzt so richtig lächerlich. Dass die Aussage "Bei den Supercomputer ist nicht die absolute Rechenleistung entscheidend, sondern die Reichenleistung pro Quadratmeter. Oder die Rechenleistung pro 1U Node." Ziemlich falsch ist, ist nochmal ein anderes Thema. Supercomputer sind deutlich weniger durch die Fläche beschränkt alsa andere Systeme, weil es in vielen Hinsichten geringere Ansprüche gibt. Wenn du mal irgendwann die Chance hast, einen Supercomputer von innen zu sehen, dann mach dich gefasst, wie klein das ganze eigentlich ist.
Aber selbst wenn das so sein sollte, dann ist deine Aussage ziemlich sicher gfalsch, bzw. ergibt sie keinen Sinn. In Sierra und Summit stecken AC922 Server, die jeweils 4U umfassen. Davon gibt es insgesamt etwa 4600 Knoten. Das macht eine Rechenleistung von etwa 32TFLOPS pro 4U System (wenn wir von der aggregierten Leistung herunterrechnen), bzw. 8TFLOPs pro 1U. Zum Vergleich: Die schnellsten EPYC CPUs (7763) erreichen pro Sockel etwa 1.6 TFLOPs. Das heißt, dass du 5 CPUs pro 1U bzw. 320 Kerne pro 1U bräuchtest, um diese Dichte zu erreichen.
Aber es ist offensichtlich, dass das niucht funktioniert, weil die AC922 als GPU Server entworfen sind. Die Technik darin ist zu dem zeitpunkt absolut einzigartig und hat quasi keine Konkurrenz.
Aber wie gesagt, alles ist anwedungsspezifisch.
@@joellegge460 Danke, dass du mich so unterhälst.
Wie sollte ich Klimasimullationen sonst nennen? Klimamodelle?
OpenFoam ist nicht mein Fachgebiet, das gebe ich zu, trotzdem habe ich schon einige Paper zum Thema GPU compute für OpenFoam gesehen. Konkret würde mir da u.A. RapidCDF, aktiv gearbeitet habe ich selbst aber noch nicht. Aber Fakt ist, dass es GPU beschleunigte Solver gibt, die Lib eingebunden werden können. Deshalb verstehe ich dein Problem nicht.
"Sehr amüsant. OpenFoam ist die open Source CFD Software die sämtliche Wissenschaftler nutzen und auf sämtlichen Supercomputer installiert ist"
Sämtliche Wissenschaftler also? Bei mir am Fachbereich hat das noch niemand genutzt und ich bin mir nicht einmal sicher ob es überhaupt auf dem cluster liegt.
"FEM/ FVM ist ausschließlich Speicherbandbreiten limitiert, da bringt 1 TB pro Node überhaupt nichts. Denn bei FEM /FVM ist nicht der Speicher, sondern die CPU Zeit limitierend. Anstatt 1 TB RAM auf einen Node, sind vier Nodes mit je 256 GB Ram deutlich performanter." Habe ich das jemals anders behauptet? Nein. Ich weiß, es ist bestimmt eine überraschung für dich, aber die hpc Welt besteht nicht nur aus OpenFoam.
"Du hast doch sicher niemals ein Klimamodell gesehen. Was soll das denn bitte für Modelle sein. Diese haben für gewöhnlich eine Netzauflösung von 50 km."
Ich zitiere einfach mal den DWD: "Die horizontale Maschenweite des nativen ICON-Modellgitters beträgt 13 km. In der Vertikalen wird die Atmosphäre mit 90 Schichten aufgelöst, deren Obergrenze in 75 km Höhe liegt."
Viel mehr braucht man da nicht zu zu sagen, aber ich soll derjenige sein, der noch nie damit gearbeitet hat. Aber ICON ist ja nur ein unbedeutenes Stück Software, das nur für so unwichtige Dinge wie den IPCC Bericht genutzt wird.
Was du jetzt plötzlich mit 48GB GPUs willst, verstehe ich nicht. Die meisten Klimamodelle haben gar keinen GPU support und wenn ist dieser nur auf sehr kleine Teile beschränkt.
"Keiner braucht einen Blade 6000 (die Maße stimmen übrigens, siehe Datenblatt)"
Wann habe ich etwas zu den Maßen gesagt?
"Fakt ist nun mal IBM Power hat in HPC keine nennenswerten Vorteile."
Du machst dich langsam wirklich lächerlich. Wenn du aufmerksam lesen würdest, würedest du auch verstehen, was meine Aussagen sind.
"Anscheinend hast Du weder meine Aussage, noch die TOP500 der Liste bezüglich Supercomputer verstanden"
Wie kommst du zu dem Urteil, kannst du überhaupt lesen was ich schreibe? Deine Aussagen passen kein bisschen zu dem was ich geschrieben habe.
"Deine Aussagen spiegeln nicht die Fakten wieder und IBM sieht es bezüglich technsiche Daten vollkommen anders wie Du."
IBM sieht es anders ALS ich? wäre mir neu, warum bauen sie HPC Systeme?
"von Dir kommen überhaupt keine Quellennachweise" Wofür willst du denn Quellen haben? Alle meine Aussagen lassen sich über OpenPower nachlesen. Du hasdt immer noch nicht die Quellen für deine Performancebehauptungen genannt, obwohl ich mehrfach danach gefragt habe, wo bleiben die?
Viele von deinen "Argumenten" gehen kein bisschen auf meine konkreten Aussagen ein, wenn du meine Aussagen verzerrst, ist es klar, dass du etwas daran auszusetzen hast.
@@joellegge460 Schön, dass du immer noch keine Belege für deine Aussagen liefert, bestätigt nur meine Annahmen. Mir wird es echt zu dumm. ICON ist dynamisch und kann für unterschiedliche Regionen unterschiedliche Gittergrößen anlegen. Homogeneren Zonen können gröbere, Heterogeneren Zonen feinere Gitter zugeordnet werden.
Aber warum sollte ich dir hier jetzt auch noch das Simulationsmodell erklären...
Ich werde mal den sprechen, vielleicht stellen die dich ja ein, dann kannst du ja die Cluster Konfigurieren. Da hat der DWD wohl ganz umsonst über 400TB an RAM für die 500 Knoten gekauft, solltest du denen mal sagen.
Ich geb dann auch mal weiter, dass man nicht mehr an Hochleistungs I/O arbeiten muss. Ich denke die vielen Petabytes, die zuletzt geschrieben wurden, waren nur Einbildung.
Epyic ist doch AMD!? Aber das sind doch IBM chips drin ? hee 🤔
Absolut beeindruckend, mit wie vielen Sicherheitsvorkehrungen hier, in dem von dir gezeigten Hetzner RZ und zb den DATEV RZs im Vergleich zum OVH „Container RZ“ gearbeitet wird. Da überrascht es immer weniger, dass der Brand in OVH Strasbourg so dermaßen schief gehen musste. Danke dir für diese Einblicke Roman!
Einfach holy shit, wie viele Leute da wie lange dran geplant haben müssen... Und am Ende funktioniert alles auch noch!
Einfach krass
stell dir mal vor, da würden Politiker dran arbeiten, holy sh** xD
@@nervenjere
Die würden dann die Türe abschließen, damit kein Hacker rein kommt 😁
Stell mir gerade nen PC zusammen und bin beim Recherchieren irgendwie zufällig hier gelandet. Hab mir das ganze Video angeguckt. Obwohl ich wenig Ahnung von Computern usw hab, hat das mich richtig gefesselt. Schon krass was hinter nem Server stecken kann. Top Video!
Extrem interessant! Das sind wirklich unfassbare Server 🤯 Und die ganze Struktur des Rechenzentrums ist einfach nur beeindruckend.
Der allerbeste Beitrag mit allerbester Moderation, den ich bisher zum Thema aktuelle Server und Datenspeicher gesehen habe!
Vielen Dank!
Mega Video, es kann ruhig mehr davon geben. Super Arbeit! 👏
Als ITler schlägt einem da das Herz höher. Und ein ganz großes Lob an die Techniker dieses Zentrums, da das alles so extrem aufgeräumt, sortiert und sauber aussieht. Da schlägt auch mein Monk-Herz höher! 😉
Ich habe früher IBM Techniker im Netzwerkumfeld geschult. Ich kenn das sehr gut. Ganz schwer den Skill zu halten, den jemand benötigt, bei einem Crash. Es ist vieles abgesichert, kann aber trotzdem mal etwas passieren. Das alles zu planen und zu beherrschen, kostet schon sehr viel Wissen und zwar immer von den neuesten Technologien. Ganz schwierig, die Komplexität und den Lernaufwand dem Management zu erklären. Danke für das Video! Super gemacht von Euch. Ich habe ein wenig Sehnsucht nach einem RZ😀.
😂😂😂
Sehr geiles und vor allem interessantes Video. Großen Respekt auch an OEDIV, dafür dass sie uns mal einen Blick in ihre Welt gestattet haben! 😌👍
Als jemand, der beruflich solche Technik (Storage/Backup, hauptsächlich) verkauft: Boah, was da an SUMMEN stehen. In jedem Kapitel. Der Hammer.
Wenn man das tatsächlich auch braucht und irgendwie gerechtfertigt ist!?
Wahnsinn Video, einfach eine Stunde interessanteste Unterhaltung. Danke dafür!
Wunderbar als „fast“ Laie erklärt! Komme selbst aus dem Rechzentrumsbereich und arbeite dort als Techniker für genau diese Infrastruktur, bei uns sieht es fast genau so aus. Wirklich sehr gut erklärt und auch schön ins Detail gegangen (RauchAnsaugSystem, A und B Trennung etc).
vielen Dank :)
Könnte ich mir den ganzen Tag anschauen! 🙂 Tolles Video und sehr informativ! Vielen Dank an OEDIV, IBM und natürlich dich, Roman! 👍
Eines der besten Techvideos welches ich jeh gesehen habe. Nicht weil für mich vieles neu war, sondern weil es wirklich extrem gut gemacht war und interessant, qualitativ und koherent erklärt wurde. Absolut mega Roman - dafür gönne ich dir Apohis' Helm!!! :D
Server fast so laut wie meine playstation
Aber nur fast 😂
Was für nen geiles Video wieder mal über so ein Rechenzentrum. Habe das damals andere schon verschlungen und hier war es net anders.
Klasse und vielen dank an alle, die es uns ermöglichen solche Einblicke zu erlauben.
13:00 Ach ja, das Zündkerzenproblem beim Diesel 😁 Aber sehr cooles Video, freue mich schon auf den zweiten Teil!
Dann halt nen Glühkerzenproblem xD
@@Soulleey Diesel wird/kann im Gegensatz zu Benzin so stark verdichtet (werden), dass dieser sich selbst entzündet. Deshalb braucht es keinen Funken.
@@CoLuGames Das is mir schon klar... Die Glühkerzen sind ja auch eher fürn Kaltstart gedacht damit der Diesel zündwilliger ist... Aber kann gut sein, dass der Generator keine braucht wenn der sowieso immer Vorgewärmt ist...
@@Soulleey Müßt mal bei mir in der Firma nachfragen ob da überhaupt sowas verbaut wird. Bau die Einspritzungen für solche Agregate. Mich würd noch interresieren ob das ein 2Takt/4TAckt systhem is und ob das schon CR oder noch direckt ist.
Aktuell werden die ja als 4 Takt CR Motoren gebaut.
Funfact für euch. Wer soein Notstromagregat will, die gibts auch semiMobil in nem Schiffskontainer eingebaut. kann man sich dan in den gaten stellen.
Übrigens... die "LKWs" die solche Motoren verwenden, sind zum Beispiel CAT-Muldenkiper in Tagbergbau. alles drunter sind normale Motoren.
Auch was die LAufzeiten angeht sind diese Agregate der Wahnsinn. 10.000 Betriebsstunden ohne Komponententausch sind da echt nix. Wir versuchen gerade eine neue Pumpe auf 30.000 Stunden hochzukriegen. 10.000 Stunden heist, das der Motor ein Jahr durchläuft.
@@CoLuGames Stimmt auch nicht so ganz. Durch die Verdichung glüht die Glühkerze weiter und entzündet den Diesel erneut. Würde man die weglassen, bzw. würde die plötzlich kaputt gehen, würde sich da nix mehr entzünden.
So etwas sieht man wohl als Außenstehender nie. Und ich muss gestehen, selbst mit Industriebauerfahrung hat mich dieser Einblick umgehauen. Danke an alle, die das ermöglicht haben. 👍🙂
Sehr informatives und interessantes Video. Danke dir!
btw. Zündkerzenproblem bei einem Dieselaggregat wage ich zu bezweifeln ;)
Es ist sehr interessant so ein Rechenzentrum von Innen zu sehen. Klasse wie du das erklärst. Und danke dasdu solche Einblicke ermöglichst. Mache weiter so. Mag dein dein Kanal absolut.
Sehr geiles Video! Komme aus der IT-Branche aber so ein riesiges Rechenzentrum sieht man nicht alle Tage. Danke, dass du uns mitgenommen hast. Freue mich auf Teil 2!
Wenn tatsächlich nur 2 solche Diesel da stehen, ists nicht soo gross. Aber die vielfalt der technischen Einrichtung ist toll gezeigt.
Sehr gutes Video. Zu 48:40 : als beruflicher Storageadmin geht mir jedes mal einer ab bei dem Design von den EMC² Kisten. Die stechen im RZ so krass hervor, dass ich mir ein altes VMAX Rack als 19" Schrank für mich zu Hause geholt habe XD
der8auer ersetzt die maus am sonntag ^^ geiler content meiner! endlich kann ich mir mal was unter einem Industrieserver vorstellen. Und aus HLSK Sicht einfach super zu sehen, was man täglich so plant ;)
großes lob an die monteure....wahnsinns kabel- und rohrführung / 39:30...startet ein jet, nein der server fährt hoch - vielen vielen Dank!
Mega interessantes Video, mach weiter solche tollen Videos
Als Elektriker und Technik Begeisterter sehr informativ und spannend!!😍
Ich finde das mit den 192!!! Kernen echt umwerfend, wir "Normalos" haben ja meistens höchstend 16 Kerne.
Vielen Dank Roman für diese Einblicke in eine andere Welt, gerne mehr davon😁😁😁😁
Und wir Normalos haben kaum Software die alle Kerne nutzt. Kerne-Kauf ist privat eher Geldverschwendung. Genauso RAM. Man hat mal gesagt /4/ GB pro Task. Aber das ist oft übertrieben.
Und es gibt ein Appöe Computer für etwa /60.000/ Euro. Wer schneidet denn so viel Videos? Das machen nur Profis.
Ich kenne Programme die verkleinern Bilddateien in der Datei-Größe und nicht in der Bild-Größe. Ich wollte immer Videos zerlegen. Die Bilddatei verkleiner und dann wieder zusammen fügen. Eine DVD hätte dann extrem viele Spielfilme. Aber das habe ich noch nicht gemacht.
Ein sehr schönes Video, ich kann mir vorstellen das es sehr viel aufwand gemacht hat das ganze zu Produzieren. Sicher nicht einfach wenn man immer aufpassen muss was man sagt oder zeigt!
Und dennoch ein sehr schöner und lustiger Fehler in diesen paar Sekunden 28:30 - 28:50 (Sauerstoff, kann dann schon knapp werden :D )
Super video, danke an alle die unterstützt und mitgeholfen haben. Nächstes mal noch ein cinebench run auf 196 Kernen und mein Tag wäre perfekt😉.
Verbesserungsvorschlag: Ich hätte mir erst rot angeschaut. Damit ich danach hätte sagen können "da ist das Gleiche in grün." luul :)
Die Anlage ist wirklich beeindruckend und technisch echt gut durchdacht. Sehr interessant mal ein aktuelles Rechenzentrum von innen zusehen. Die Thematik Zündkerze Zündspule ist wirklich sowas von nebensächlich in so einem Video. Insgesamt ein sehr gutes Video sowas kannst du gerne öfter mal machen! 😉
Mega interessantes Video. Nimm das nächste Mal eine Wärmebildkamera mit, dann kannst du die Kühlung besser erklären
Vielen Dank für dieses Video. Unglaublich beeindruckend. Grandios, dass du uns solche Einblicke ermöglichst.
geiles Video ! Nur eine Frage noch:
Can it run Crysis?
Wir haben unseren Hauptstandort im Interxion FRA-14 was ziemlich ähnlich gebaut ist und so ziemlich alle deutschen ISP's beherbergt. Wir fahren für uns selbst auch den Anspruch an Zero-Downtime, auch wenn dies in unserem Fall keine Kundenanforderung ist und erreichen auch 4 Neunen nach dem Komma, was nur einem einzigen Ausfall geschuldet ist, bei dem uns trotz Redundanz am selben Tag erst der erste Router und noch bevor wir diesen ersetzen konnten auch der zweite Router abgeraucht ist. Trotzdem sind Banken, Börse, etc. natürlich nochmal ein ganz anderes Level, bei dem Sekunden bereits Millarden ausmachen können und wer den Laden freiwillig verantwortet muss irre sein.
21:05 die Lüfter laufen gerade im Idle Modus 😂
Danke für den Einblick, ich finde das Thema extrem interessant.
Die Planung und Ingenieursleistung die da dahintersteckt ist echt beeindruckend.
Freue mich schon auf das zweite Video.
So ein unfassbar geiles Video ich bin komplett geflasht
vielen Dank!
@@der8auer nichts zu danken ich danke für das Video 🙈💟
Sehr interessante Einblicke. Danke für Deine ausführlichen Kommentare und Deine Mühe!
Hammer! Ich erinnere mich an Ende der 60er Jahre, als ich (noch völlig grün hinter den Ohren) ein solches Zentrum mit den technischen Stand damals besucht hatte.
Und ja, auch ein Großdiesel hat Zündkerzen. Zwar nicht als Funkenstrecke, aber (früher) als Glühfaden. Damit wird das Gemisch (initial) gezündet. 😉
Deswegen heißen die Zündkerzen beim Diesel auch Glühkerzen 😉
Deshalb heißt das Ding G l ü h kerze :-)) Im Modell-Hobby haben Motoren oft Glühkerzen. Zündkerzen wären oft zu schwer. Nur die mit mehr Hubraum haben Zündkerzen.
Mazda hat ein Motor gebaut der hat Benzin-Selbstzündung. Den Skyaktiv X Motor. Und weil die Bedinungen zur Selbstzündung nicht immer optmal sind hat der Motor zusätzlich Zündkerzen.
Ist bei dem MTU nicht so. Der hat keine.
Bei 50 Grad Vorwärmtemperatur zündet das Gemisch zuverlässig über Kompression
Absolut beeindruckend.
also sorry, ich muss wirklich mal sagen, unglaublich gut und informativ gemacht... viel besser als das video von ltt und das heißt was... :) Danke
jop, die habens viel zu kurz gefasst
@@Jungedasgehtnich Die Frage ist wie viel und lange die Filmen durften.
Danke dir, dass wir durch dich sowas zu sehen bekommen. Ohne dich würden die wenigsten von uns vermutlich sowas jemals zu Gesicht bekommen.
Mainframes erregen mich. 😏
So fängt der Sonntag gut an - danke, Roman!
Unfassbar Spannendes Video. Danke, dass du uns so etwas kostenlos zur Verfügung stellst
Top Video alleine für die mention von der Benjamin Blümchen Torte
xD
Erinnert auf ne gewisse Art und Weise an die Sendung mit der Maus :D Vielen Dank an alle Beteiligten für die Einblicke. Das war wirklich intressant.
Einfach RGB in den Dr.Oetker Servern, sehr schnieke 17:00
48:17 Hach, Dell EMC, da finde ich ja schon die Serverschränke so genial designed. Hab mir für meinen auch diese beleuchtete Frontplatte (gebraucht bei eBay) geholt, das Licht wird dabei ganz modern via USB angeschlossen.
Roman der Autofreak sagt : Falls der Diesel mal ein Zündkerzenproblem hat.." :D hihi
Auto freak bedeutet nicht gleich diesel Fahrer es gibt ja auch Elektro Autos und Benziner und gute Autos wie ein gtr fahren ja mit Benzin weil Diesel Müll ist und zum Glück bald verboten wird
Selbst als IT-Systemelektroniker der 1999 seine Ausbildung begonnen hat ist das schon sehr beeindruckend. Aber Gerade Data Center sind immer etwas ganz eigenes und Beeindruckend. Einiges kannte ich, halt aus kleineren Umsetzungen, aber die Umsetzung ist schon richtig gut gemacht. Besonders Interessant das man nicht nur auf 1 Hersteller setzte sondern Quer durch geht.
Ja jeder Kunde setzt seine bevorzugte Hardware ein und auch je nach Verwendungszweck
Erinnere mich noch dich damals abonniert zu haben mit vllt 400 Abos und jetzt alles explodiert :D
Nachdem ich schon einige "Cages" in Rechenzentren von "Equinix" und "e-shelter" in Frankfurt/Main und die firmeneigenen Rechenzentren betreut hatte, war es auch interessant mal zu sehen, was noch so dahinter an Technik steht. Auch war die Sauberkeit der verbauten Hardware beeindruckend und hab dies bisher nur bei "Equinix" in diesem Ausmaß gesehen. Sehr gutes und informatives Video. :)
Wo steht der 10.000 l Dieseltank? Ich frag für nen Freund xD
Ich finde es wirklich mega interessant! Ich habe gestern einen Podcast über Speicherlösungen auf Netzebene gehört (Batteriespeicher, Wasserkraftwerke, Gaskraftwerke, etc.). Im übertragenen Sinne sind alle Aspekte im Rechenzentrum im kleinen Format wiederzufinden (Batteriespeicher, Dieselmotor, etc.). Sehr interessantes Video, Roman! Hammer! Großes Dankeschön auch an Dominik :)
Schwungrad ist auch ab und an anzutreffen. Entweder direkt am Diesel angebaut oder separat, ähnlich wie om Video der Batterieraum. Energiemenge je nach Bauform 3 oder 20 Sekunden Volllast. Da muss der Diesel wirklich schnell anspringen und auf Vollast gehen.
Interessant, was andere RZ so treiben... Vergleichsweise aber doch ein eher kleines RZ, 2N (oder 2N+1) Redundanz damit saubere, A+B-Versorgung klar, Spiegel-RZ an anderem Ort, sieht nach Zertifizierung irgendwo zwischen Tier 3 oder vielleicht sogar 4 aus. Die Ordnung ist sehr Respektabel, das sieht in alten gewachsenen RZ leider eher nicht so gut aus... Von der Effizienz können sich ebenso viele andere RZ gut was abschneiden. Insgesamt sauber, Lob!
Die Redundanz ist beim Diesel mit 2N nicht übertrieben hoch. Wenn ein Diesel in Wartung ist, ist die Redimdanz bei Stromausfall null. Bei der USV siehts gleich aus.
Sollte also ein Bauteil an einer solchen Anlage kaputt gehen, und auffrund Lieferketten...Du weisst was ich meine, dann bist du 10 wochen mit Redundamz 1n unterwegs. Fühlt sich nicht gut an für dem Betreiber.
Cool das man durch Leute wie dich Einblick in die aktuelle Server- Welt bekommt und krass wie viel Aufwand betrieben wird, "nur" um Notfälle zu vermeiden
Du solltest dir vlt. nochmal das Rechenzentrum maincubes FRA-01 in Frankfurt ansehen. Die legen dort noch eine ganze Schippe drauf, vor allem hinsichtlich innovativer Ansätze beim Kühlkonzept und einem ganz anderen Design hinsichtlich Stromversorgung (Thema Ringverbund). Dennoch sehr spannendes Video und sehr lehrreich
Als jemand, der mit solchen Kisten sein Geld verdient, ein unfassbar spannendes Video. Was ein Datacenter. Mit lösungen, die ich so noch nicht gesehen habe (Battery-Backup ist einfach ein ganzer Raum, Notstrom durch 2 Schiffsdiesel, Tape-Library größer als ein Auto und RAM-Dichte sein Vater in der IBM-Bude)
Die Frage ist…
Can it run crisis???
Arbeite selbst in nem IT Konzern und unser RZ ist nicht annähernd so beeindruckend, obwohl wir mehrere Krankenhäuser mit IT versorgen.
Haben da aber nur x86 Hardware im Einsatz, da ist das ist hier schon ne ganz andere Hausnummer.
Super Video!
Dieselmotoren haben Glühkerzen 😅
wow, selbst nach 25 Jahren in der IT ist DAS verdammt beeindruckend, danke für das Video!
Bielefeld gibz net xDD
Und ich freu mich über mein sfp+ 10gbit Equipment 😭🤣
So langsam ist es gut oder? Alt und schon lange nicht mehr witzig.
Absolut krankes Video. Soviel Informationen und Einblicke und das alles umsonst auf TH-cam. Danke dir.
Finde sowas immer so krass beeindruckend. Allein die Planung für sowas und dann auch noch die Umsetzung. Vorallem mit allen Vorschriften die es in Deutschland gibt.
Das ist mal ein geniales Video und super interessant. 👍
Der Aufwand ist noch höher als ich gedacht habe.
Auch wenn man schon so einige Rechenzentren gesehen hat, ist es immer wieder beeindruckend und sehr interessant.
Gut produziertes Video und auch sehr verständlich erklärt.
Danke an alle Beteiligten für diese Einblicke. Finde es nach wie vor nicht selbstverständlich, dass man sowas öffentlich macht.
28:35 komplett voll mit Stickstoff.... Top Bericht insgesamt. Danke!
Was ein geiles Video. Danke. Unglaublich was für Technik da im Einsatz ist und was das alles für ein Aufwand und für Kosten sind, nur damit wir alle hier unseren Datenmüll abladen können.
Unfassbar. Was ein Video. Roman, du übertriffst dich wirklich immer wieder selber. Das ich sowas gratis auf TH-cam gucken darf schockt mich gerade ein wenig :D
Hammer Video. Super geworden. Ich finde ein Rechenzentrum von innen zu sehen ist sehr interessant. Die ganze Technik die immer im Hintergrund mitlaufen oder im Standby sein muss. Es steckt eine Menge hinter.
Für den Inhalt ist die Länge des Videos okay.
Ich bin schon gespannt auf ein weiteres Video.
Ich habe noch keine bessere Doku zu diesem Thema gesehen, DANKE