Energieverbrauchs- und Verfahrensoptimierung in einem Rechenzentrum

eBay ist eine der weltgrößten Internet-Commerce-Plattformen und stellt höchste Anforderungen an die Zuverlässigkeit von Rechenzentren. Jeder Ausfall würde aufgrund der nicht mehr stattfindenden Transaktionen der User Kosten in Höhe von 2000 Dollar/Sekunde verursachen. Das für Rechenzentren verantwortliche globale Team muss gleichzeitig die Betriebszeit und die Flexibilität gewährleisten und dabei die Kosten niedrig halten – eine komplexe Herausforderung, die ein stetes Maß an Innovation voraussetzt. 

 

Seit der Firmengründung stieg die Zahl der von eBay betriebenen Rechenzentren auf 12 an, um mit den konstant zunehmenden Rechenanforderungen Schritt zu halten. Deshalb überrascht es nicht, wenn die von den Rechenzentren verursachten Betriebskosten ebenfalls jedes Jahr ansteigen. 

eBay rief daher einen Vierjahresplan für die Rechenzentren mit einem ehrgeizigen Ziel ins Leben: die Halbierung der Stromkosten bei gleichzeitiger Verdoppelung der Rechenleistung. Dieses neue Infrastrukturdesign ermöglicht gleichzeitig mehr Flexibilität und eine höhere Zuverlässigkeit. 

eBay beabsichtigt, seinen Bestand in weniger Rechenzentren zu konsolidieren, um diese Ziele zu erreichen. Diese Rechenzentren werden von Grund auf mit  höchster Energieeffizienz und ohne Kompromisse hinsichtlich der Betriebszeit konzipiert. 

„Eine erfolgreiche Strategie für Rechenzentren geht davon aus, dass die Anforderungen an die Rechenleistung jährlich ansteigen. Gleichzeitig setzt sie voraus, dass die Betriebskosten nicht proportional ansteigen“, erläutert Dean Nelson, Senior Director of Data Center Strategy und Operations bei eBay. „Um dieses Ziel zu erreichen, müssen wir den linearen Zusammenhang zwischen Rechenleistung und Betriebskosten beseitigen. Hierzu ist es erforderlich, dass bei der Energieeffizienz, Rechenleistung und Serverauslastung regelmäßige Fortschritte erzielt werden.“ 

Im Mai 2010 startete ebay mit dem Bau seiner Niederlassung in Topaz, ein Flagschiff und ein Meilenstein seiner neuen Rechenzentrumsstrategie. Topaz befindet sich in South Jordan im US-Bundesstaat Utah und ist die größte Kapitalanlage in der Geschichte von eBay. Diese Niederlassung ist das Zuhause von mehr als einem
Drittel der weltweiten Serverinfrastruktur von eBay. Trotz Implementie-rung aller erforderlichen Redundanzen, die für ein Tier-IV-Rechenzentrum erforderlich sind, beläuft sich die Energieeffizienz (PUE, Power Usage Effectiveness) von Topaz auf den Wert 1,4. 

Maximale Serverschrankeffizienz mittels optimaler Verfahren

Durch den Einsatz innovativer, energieeffizienter Verfahren in seiner Infrastruktur – wie beispielsweise ein optimiertes Gebäudedesign, Economiser, Regenwassernutzung und Subsysteme zur elektrischen Verteilung – realisiert die Topaz-Niederlassung die Energiezufuhr und Kühlung mit minimalen Fixkosten. 

Zur Ergänzung dieser Verfahren implementiert Topaz auch optimale Verfahren in seinen Doppelbodenbereichen, die in Verbindung mit der Kühlanlage zum LEED Gold-Design des Standorts beitragen. Fünf Hauptmerkmale der Topaz-Doppelbodenbereiche sind aufgrund ihres Werts und ihrer Anwendbarkeit in allen modernen
Rechenzentren besonders überzeugend:

 

1. Hot Aisle Containment

Um bei der Kühlung eine maximale Effizienz zu erreichen, entschied sich eBay für ein sorgfältig konzipiertes Hot Aisle Containment-Design, von dem vor dem Bau ein ausgemessener Prototyp erstellt wurde.

Das für die Architektur von Rechenzentren verantwortliche Team im eBay-Hauptsitz in San Jose konstruierte vollmaßstäbliche Simulationen mehrerer Containment-Designs. Sie experimentierten mit verschiedenen Strategien (Hot Aisle vs. Cold Aisle Containment), Materialien (Spezialtüren vs. Plastikmantel) und Abmessungen. Mit diesem Designprozess wurde vor der breiten Einführung ein
optimales Gleichgewicht zwischen Kosten, Flexibilität und Zuverlässigkeit festgelegt. eBay stellte fest, dass Hot Aisle Containment im Falle eines CRAC-Versagens großzügigere Pufferzeiten als Cold Aisle Containment ermöglicht. Das Team implementierte Containment Aisles aus Reihen mit 45U-Schränken. Es arbeitete mit seinem Serverschrank- und Containment-Anbieter zusammen, um ein modulares Design mit minimalen Verlusten zu gewährleisten.

2. 400-V-Stromverteilung an jeden Serverschrank

Manche Serverschränke enthalten mehrere Blade-Server. eBay wollte, dass für jeden Serverschrank bis zu 17kw Leistung verfügbar sind. Dies ist zwar mit einer 208-V-Verteilung möglich, allerdings erreicht Topaz mit einer höheren Voltzahl für jeden Serverschrank eine beträchtliche Kosteneffizienz. Durch die Versorgung von jedem Serverschrank mit 400 V minimiert eBay die mit dem Herunter-transformieren und Übertragen mittels Leitung verbundenen Verluste, während gleichzeitig der Einsatz von Kupfer reduziert wird.

eBay versorgt zwei intelligente Raritan Serverschrank-Stromverteilungseinheiten („Serverschrank-PDUs“) in jedem Serverschrank mit 400-V-3-Phasen-Strom. Die Serverschrank-PDU mit interner Leitung-zu-Nullleiter-Verkabelung (3-Phasen-Sternschaltung) versorgt jeden Server mit 240-V-Einphasenstrom, der im Betriebsbereich der Netzteile aller IT-Geräte liegt. Durch die Beseitigung unnötiger Spannungsumwandlungen reduziert der 400-V-Strom die Energiekosten um ca. 2-3 % im Vergleich zur Verteilung mit 208 V und um ca. 4-5 % verglichen mit der Verteilung mit 120 V.

Raritan bietet als weltweiter Hersteller von Serverschrank-Stromverteilungseinheiten eine sehr große Auswahl an roduktkonfigurationen, die einen Eingang von 400 V akzeptieren.

In Nordamerika ist die 400-V-Stromverteilung relativ neu. In Ländern, in denen 400 V dem nominalen Standard entsprechen, wie Australien und vielen europäischen Ländern, wurden von Raritan bereits 400-V-Systeme implementiert. 

3. Ausführliche Serverstromtechnik

Der wohl wichtigste wirtschaftliche Messwert für das Rechenzentrumsteam von eBay sind die Gesamtkosten pro Suche. Und da die Server-CPU-Fähigkeiten mit jeder Produktgeneration so schnell anwachsen, ersetzt eBay seine Server im Zweijahresrhythmus, da die Leistung-pro-Watt-Zuwächse die Kapitalkosten für neue eräte übersteigen.
eBay kann mit jedem erworbenen Server seine Kosten pro uche nur minimieren, wenn nicht nur die Kapitalkosten,
sondern auch die Betriebskosten mit eingerechnet werden. Die Stromkosten machen bei jedem Gerät den größten Teil der Betriebskosten aus.

Zur Maximierung der Einsparungen setzt eBay Serverschrank-PDUs von Raritan ein, die für jedes Netzteil von jedem
einzelnen Server präzise Stromverbrauchsdaten liefern. Die Raritan Rack-PDUs aus der Dominion PX-Familie liefern exakte Messergebnisse in Kilowattstunden gemäß IEC/ANSI-Standards mit einer Toleranz von +/-1%. Unter Berücksichtigung von ITund Rechen-zentrumstandards kann Dominion PX diese Informationen in Echtzeit an das eBay-Gebäudemanagement und Geräte-überwachungssysteme weiterleiten, was laut Green Grid der PUE Category 3-Überwachung (PUE3) entspricht.

„Dominion PX liefert präzise Informationen, mit denen ich für jeden Server die tatsächlichen Betriebskosten errechnen kann“, so Nelson. „Ich verstehe die Effizienzprofile jedes Anbieters und gebe Anforderungen vor, die sich beim nächsten Serverkauf amortisieren.“

4. ~Detaillierte Temperaturtechnik

Durch die Implementierung bahnbrechender Mechanismen in die Kühlungsinfrastruktur verbessert Topaz weiter seine Kühleffizienz sowohl in Bezug auf Kosteneinsparungen als auch hinsichtlich der Zuverlässigkeit. Informationen zur Betriebsumgebung jedes Servers werden in Echtzeit generiert. In den meisten Rechenzentren werden nur festgelegte Auslassund Rücklauftemperaturen überwacht. Diese Informationen stellen die Serverumgebung im Serverschrank jedoch nur ungefähr dar. Annäherungswerte erfordern vom Betreiber die Berücksichtigung eines Sicherheitsspielraums und eines Kühlungspuffers, die verschwendeter Kapazität gleichkommen.

eBay hingegen kennt die genaue Ein- und Ausgangstemperatur von jedem einzelnen Serverschrank im Topaz-Rechenzentrum. Topaz erfüllt die ASHRAEEmpfehlungen für die Serverumgebungsüberwachung und misst neben der Hot Aisle auch die Cold Aisle im oberen, mittleren und unteren Bereich. Da diese Informationen konstant überwacht werden, kann eBay seine Kühlparameter zur Optimierung der Effizienz fein einstellen und erhält sofortige Warnmeldungen bei Störungen auf Serverebene. 

Dieses Maß an Umgebungsüberwachung für jeden Serverschrank ist normalerweise zu teuer. Die gesamte Dominion PX-Familie intelligenter Serverschrank-PDUs stellt jedoch diese detaillierte Messtechnik, mit Ausnahme der Plug-and-Play-Temperatursensoren, ohne zusätzliche Infrastrukturkosten bereit. Die durch die Serverschrank-PDUs von Raritan bereits vorhandene Netzwerkebene dient zur Messung und Überwachung von Luftfeuchtigkkeits- und Temperaturdaten. 

 

Raritan's Dominion PX family of rack PDUs provides accurate, real-time kilo- watt-hour information for each individual asset in the data center.

5. Über Kopf verlaufende Stromverkabelung

In den meisten Rechenzentren verläuft die Verkabelung von PDU-Schalttafeln zu jedem Serverschrank unterhalb des Bodens. Dieses Verfahren beeinträchtigt jedoch die Luftzirkulation und somit die Kühlungseffizienz. Da hiervon oft der Doppelboden betroffen ist, wird diese oftmals beträchtliche Ineffizienz leicht übersehen.

Für ein solches Standarddesign werden außerdem eine bedeutende Menge an unnötigen und nicht ausgelasteten Kupferleitungen benötigt und die Flexibilität bei der Integration neuer Serverschränke beeinträchtigt.

Zur Lösung dieses Problems verwendet Topaz einen über Kopf verlegten Kabelkanal, an dem jeder Serverschrank leicht an eine 400-A-Stromquelle angeschlossen werden kann. Zwei Kanäle verlaufen entlang jeder Serverschrankreihe und bieten die redundante Stromversorgung, wodurch im Boden verlegte Kabel überflüssig werden. Buchsen können innerhalb von Minuten an jeder Stelle der Serverschrankreihe hinzugefügt werden. Hierzu wird einfach eine mit einem Trennschalter gesicherte Verteilerdose angebracht anstatt tagelang auf einen Elektriker zu warten, der die notwendigen Installationen durchführt.

Zusammenfassung

eBay ist eine Firma, die Wert auf eine Steigerung der Zuverlässigkeit legt. Bei Kosten für Ausfallzeiten von 2000 USD/Sekunde oder 120 000 USD/Minute ist dies verständlich. Aufgrund der  komplexen Betriebsumgebung von eBay müssen auch die Geräte- und Stromkosten niedrig gehalten werden. eBay hat hierzu für seine Rechenzentren ein Modell entwickelt, mit dem der IT-Betrieb nicht nur höchst zuverlässig wird, sondern auch um 50 % niedrigere Betriebskosten als die Rechenzentren aufweist, die stillgelegt werden. 

Neben der Minimierung von Fehlern und der Reduzierung der Betriebskosten erhielt die eBay-Niederlassung in South Jordan, Utah, vom U.S. Green Building Council auch die Auszeichnung
„Leadership in Energy & Environmental Design (LEED) Gold“. Genau so wichtig wie die LEED Gold-Effizienz und die Tier-IVZuverlässigkeit ist die integrierte Flexibilität des eBay-Rechenzentrums.
Hierbei handelt es sich um ein Rechenzentrum, das sich an Anforderungs- und Geräteänderungen anpasst, was für eBay auf Grund des zu erwartenden Wachstums besonders wichtig ist.

Durch die Implementierung optimaler Verfahren der ITBranche, die am Beispiel von eBay veranschaulicht wurden, können sogar kleinere Rechenzentren ihre Betriebszeiten verbessern, Kosten reduzieren und ihre Effizienz erhöhen, indem sofort verfügbare Geräte und unkomplizierte Techniken und Verfahren eingesetzt werden.

Kunde

eBay wurde 1995 gegründet und ist das Verbindungsglied für unterschiedlichste begeisterte Käufer und Verkäufer sowie kleine Unternehmen. Weltweit nutzen über 90 Millionen active Benutzer eBay. Damit ist die Plattform der weltgrößte Onlinemarkt, auf dem praktisch jeder alles kaufen und verkaufen kann.

Herausforderungen

Aufgrund der wachsenden Rechenleistung – und der steigenden Betriebskosten – begann eBay mit der Umsetzung eines Vierjahresplans mit einem ehrgeizigen Ziel:

  • Halbierung der Stromkosten
  • Verdopplung der Rechenleistung
  • mehr Flexibilität und eine höhere Zuverlässigkeit
Lösung

Power Management
PX™ PX – intelligente
Serverschrank-PDUs

Ergebnisse

eBay hat hierzu für seine Rechenzentren ein Modell entwickelt, mit dem der IT-Betrieb nicht nur höchst zuverlässig wird, sondern auch um 50 % niedrigere Betriebskosten als die Rechenzentren aufweist, die stillgelegt werden.

Neben der Minimierung von Fehlern und der Reduzierung der Betriebskosten erhielt die eBay-Niederlassung in South Jordan, Utah, vom U.S. Green Building Council auch die Auszeichnung „Leadership in Energy & Environmental Design (LEED) Gold“.

Genau so wichtig wie die LEED Gold-Effizienz und die Tier-IV-Zuverlässigkeit ist auch die integrierte Flexibilität des eBay-Rechenzentrums.


« Previous Case Study
Cisco

Next Case Study »
British Airways