Differences

This shows you the differences between two versions of the page.

--- metacentrum_uzly [2019/10/11 15:49] – [Co zbývá dodělat...] Vojtěch Zeisek
+++ metacentrum_uzly [2020/06/01 19:57] (current) – [Co zbývá dodělat...] Vojtěch Zeisek
@@ Line 3: / Line 3: @@
 Souhrn informací pro instalaci clusteru [[https://www.metacentrum.cz/cs/|MetaCentra]] v [[https://www.ibot.cas.cz/cs|Botanickém ústavu AV]]. Přehled pro všechny zúčastněné. Upravujte dle potřeby.
-===== Co zbývá dodělat... =====
-FIXME
-  * <del>:!: Každý uzel musí mít [[#pozadavky_metacentra_na_sit|veřejnou IPv4 adresu (bez NATu, nesmí být za firewallem) a přidělené hostname]].</del>
-  * <del>:!: Stroje se budou [[#instalace_---_instrukce_z_metacentra|instalovat po síti, budou bootovat přes PXE]].</del>
-  * <del>:!: Připojení diskového pole.</del>
-  * <del>:!: Nastavení OPA.</del>
-  * <del>:!: Vytvoření [[#virtualni_stroje|virtuálních strojů]] a [[#kam_potrebuji_mit_spravci_metacentra_pristup|přístup k jejich správě]].</del>
-  * :!: Dořešit klimatizaci celé serverovny.
-  * :!: Vyčistit servery a serverovnu.
-  * Zkontrolovat PDU.
-  * <del>Doinstalovat ''carax1'', ''draba1''.</del>
-  * <del>Doinstalovat čelní uzel ''tilia''.</del>
-  * <del>Dodělat ''tilia-nfs'' (Perun, export přes NFS po IP a Omni-path, aliasy a připojení do zbytku MetaCentra).</del>
-  * <del>Předělání ''/home'' clusteru ze ''/storage/praha1'' na ''/storage/pruhonice1-ibot''.</del>
-FIXME
 ===== Hardware a jeho určení =====
@@ Line 36: / Line 18: @@
   * 1x AMD EPYC Naples 7261, 8x 64GB DDR4 RAM, 2X Samsung SSD 960GB NVMe 2,5"
-  * Mělo by jít o zcela standardní uzly MetaCentra
+  * Zcela standardní uzly MetaCentra
   * SSD by měly být v RAID 0 --- na 1. disku ''/'', na 2. ''swap'', na zbytku přes oba disky ''/scratch''
@@ Line 43: / Line 25: @@
   * MicroBlade 314E-220, osazen 7 žiletkami (MicroBlade modul 6128R-T2X), 7 pozic pro žiletky volných.
   * Každá žiletka má 2x Intel Xeon E5-2640v4, 4x 32GB DDR4 RAM, 2x Intel SSD 120GB SATA3.
-  * K dispozici máme cca polovinu kapacity (v podobě v zásadě libovolného počtu VM).
   * Budou se [[#instalace_---_instrukce_z_metacentra|instalovat stejně jako ostatní přes PXE]].
-Potřebujeme tři stroje "zvláštního určení" (čelní uzel, správa a databázový server, viz níže) a několik výpočetních serverů. Pro tyhle servery platí stejné požadavky jako pro fyzické stroje, tedy hostname, veřejná IPv4 adresa nastavený [[#pozadavky_metacentra_na_sit|boot přes PXE]]. Adresy jsou v [[#prehled_stroju|přehledové tabulce]].
+Potřebujeme tři stroje "zvláštního určení" (čelní uzel, správa a databázový server, viz níže). Pro tyhle servery platí stejné požadavky jako pro fyzické stroje, tedy hostname, veřejná IPv4 adresa nastavený [[#pozadavky_metacentra_na_sit|boot přes PXE]]. Adresy jsou v [[#prehled_stroju|přehledové tabulce]].
   * **Čelní uzel**
@@ Line 54: / Line 35: @@
     * 8 vCPU, 32 GB RAM, min 60 GB disk.
     * NoSQL databáze [[https://neo4j.com/|Neo4j]] a [[https://www.mongodb.com/|MongoDB]]; a [[https://mariadb.org/|MySQL/MariaDB]] a [[https://www.postgresql.org/|PostgreSQL]]
-    * Bude v naší správě (Vojtěch, Yann) a poběží na [[https://www.opensuse.org/#Leap|openSUSE Leap]].
+    * Bude v naší správě (Vojtěch, Yann) a běží na [[https://www.opensuse.org/#Leap|openSUSE Leap]].
+    * Běží na něm [[https://sorbus.ibot.cas.cz/|informační web]].
     * Databáze budou přístupné normálně přes IP adresu, jiné speciální nastavení není nutné.
     * Nemělo by to být ve stejném adresním rozsahu, podsíti jako ostatní servery.
@@ Line 62: / Line 44: @@
     * Bude mít přístup k IPMI, pro MetaCentrum bude sloužit ke správě serverů průhonického clusteru --- aby to šlo podle potřeby restartovat a tak.
     * Možná na něm poběží mail server, možná ještě něco dalšího používaného ke správě clusteru.
-  * **Výpočetní uzly**
-    * Pro jaký počet výpočetních strojů nám tady "zbývá" výkon? 4--5? :?:
-    * Min 4x 8--16 vCPU, min 4x 64 GB RAM, min 4x 120 GB disk.
-    * Půjde o standardní výpočetní uzly MetaCentra.
 ==== Podpora hyperthreadingu ====
@@ Line 77: / Line 55: @@
 ==== Souborový server (1x) ====
-  * V tuto chvíli máme jeden, rádi bychom výhledově dokoupili ještě (alespoň) jeden.
+  * V tuto chvíli máme jeden, rádi bychom výhledově dokoupili ještě jeden.
   * 1x AMD EPYC Naples 7401P, 8x 16GB DDR4 RAM, 2X Samsung SSD 960GB NVMe 2,5".
-  * V rámci MetaCentra pak bude jako ''storage-pruhonice1-ibot.metacentrum.cz''.
+  * V rámci MetaCentra je jako ''storage-pruhonice1-ibot.metacentrum.cz''.
 === Diskové pole ===
   * QSAN XCubeSAN, 21x 14TB 7200RPM SAS3
-  * Součástí pole je i SSD cache
+  * Součástí pole je i SSD cache (SW Qcache “COQ SSD-C” a 2x SSD “PAH WUSTR6440ASS200”)
+  * Kapacita je 179 TB
 === Použití diskového subsystému ===
@@ Line 234: / Line 213: @@
 ==== Správa IT v BÚ --- přístup do serverovny ====
-Zmáčkount reset, nastavovat něco v BIOSu, občas vytáhnout nějaký kabel.
+Zmáčknout reset, nastavovat něco v BIOSu, občas vytáhnout nějaký kabel.
   * [[mailto:Jana.Vojirova@ibot.cas.cz|Jana Vojířová]] (vedoucí IT), 271015210, 602300401
-  * [[mailto:Miroslav.Repcik@ibot.cas.cz|Miroslav Repčík]], 271015210
   * [[mailto:jan.panoch@ibot.cas.cz|Jan Panoch]] (zodpovědný za síť)
-  * [[mailto:jan.kral@ibot.cas.cz|Jan Král]]
+  * [[mailto:jan.kral@ibot.cas.cz|Jan Král]], 271015210
 ===== Apache Spark a Hadoop =====
@@ Line 260: / Line 238: @@
 ===== Fotky clusteru =====
-[[https://filesender.cesnet.cz/?s=download&token=d9647e6b-db44-94f2-1179-d2ebb1b06b85|Fotky ke stažení]].
 ==== Rack s clusterem ====
@@ Line 301: / Line 277: @@
 ==== Správa skupiny ibot ====
   * Registrační formulář není k dispozici, správa skupiny je možná přímo v [[https://perun.metacentrum.cz/|Perunovi]] (správcem je VZ). Registrační formulář by se vyplatil při cca 50 a více uživatelích. Bylo by potřeba vědět, co by na přihlášce noví uživatelé měli vyplňovat, třeba nějaké zdůvodnění atp. A jestli schvalovat ručně, správcem, nebo automaticky. Také je potřeba vědět, jestli členství v ''ibot'' bude expirovat nějak jinak, než v ''Meta''.
+  * K dispozici je [[https://mailman.metacentrum.cz/mailman/listinfo/cluster-ibot|E-mailová konference]], jejímiž členy jsou automaticky všichni členové skupiny ''ibot''.
 ==== Sdílené adresáře na úložišti ====
@@ Line 327: / Line 304: @@
   - <del>Jak budeme nastavovat, kdo bude mít jakou kvótu na našem diskovém poli? Pomocí nějaké VO spravované v Perunu? Bylo by ideální, abychom Vás s každou změnou nemuseli obtěžovat, protože těchto změn může být docela dost...</del>
   - <del>Jaká je adresa na formulář na žádost o připojení do skupiny ''ibot''?</del>
-  - Jak se přistupuje na datové úložiště? Jaké adresy a jaké protokoly?
+  - <del>Jak se přistupuje na datové úložiště? Jaké adresy a jaké protokoly?</del>
-  - Zapnout hyperthreading? ''lscpu'' ukazuje na ''draba3'' 160 jader, ale plánovač jen 80.
+  - <del>Zapnout hyperthreading? ''lscpu'' ukazuje na ''draba3'' 160 jader, ale plánovač jen 80.</del>
   - <del>Jaké zvolit nastavení limitů pro nečleny skupiny ''ibot''?</del>
   - <del>Jak budou spravována hesla managementovacích adres?</del>
   - Jak je to s PDU? Funguje správně?
+  - Bude druhý souborový server vyžadovat nějakou jinou/speciální síťovou konfiguraci? Jaké bude mít hostname?
 FIXME DELETEME
@@ Line 360: / Line 338: @@
   * Správa virtuálů (proxmox): https://192.168.4.20:8006/
   * Správa SuperMicro clusteru: https://192.168.160.20/
-  * Switch clusteru: viz [[#prehled_stroju|IPMI adresy]]
+  * Switch clusteru: viz [[#prehled_stroju|IPMI adresy]] --- webové rozhraní příslušného serveru je na příslušné IP adrese.
 ===== Požadavky MetaCentra na síť =====