User Tools

Site Tools


metacentrum_uzly

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
metacentrum_uzly [2019/11/07 12:57] – [Správa IT v BÚ --- přístup do serverovny] Vojtěch Zeisekmetacentrum_uzly [2020/06/01 19:57] (current) – [Co zbývá dodělat...] Vojtěch Zeisek
Line 3: Line 3:
 Souhrn informací pro instalaci clusteru [[https://www.metacentrum.cz/cs/|MetaCentra]] v [[https://www.ibot.cas.cz/cs|Botanickém ústavu AV]]. Přehled pro všechny zúčastněné. Upravujte dle potřeby. Souhrn informací pro instalaci clusteru [[https://www.metacentrum.cz/cs/|MetaCentra]] v [[https://www.ibot.cas.cz/cs|Botanickém ústavu AV]]. Přehled pro všechny zúčastněné. Upravujte dle potřeby.
  
-===== Co zbývá dodělat... ===== 
- 
-FIXME 
- 
-  * <del>:!: Každý uzel musí mít [[#pozadavky_metacentra_na_sit|veřejnou IPv4 adresu (bez NATu, nesmí být za firewallem) a přidělené hostname]].</del> 
-  * <del>:!: Stroje se budou [[#instalace_---_instrukce_z_metacentra|instalovat po síti, budou bootovat přes PXE]].</del> 
-  * <del>:!: Připojení diskového pole.</del> 
-  * <del>:!: Nastavení OPA.</del> 
-  * <del>:!: Vytvoření [[#virtualni_stroje|virtuálních strojů]] a [[#kam_potrebuji_mit_spravci_metacentra_pristup|přístup k jejich správě]].</del> 
-  * :!: Dořešit klimatizaci celé serverovny. 
-  * :!: Vyčistit servery a serverovnu. 
-  * Zkontrolovat PDU. 
-  * <del>Doinstalovat ''carax1'', ''draba1''.</del> 
-  * <del>Doinstalovat čelní uzel ''tilia''.</del> 
-  * <del>Dodělat ''tilia-nfs'' (Perun, export přes NFS po IP a Omni-path, aliasy a připojení do zbytku MetaCentra).</del> 
-  * <del>Předělání ''/home'' clusteru ze ''/storage/praha1'' na ''/storage/pruhonice1-ibot''.</del> 
- 
-FIXME 
  
 ===== Hardware a jeho určení ===== ===== Hardware a jeho určení =====
Line 36: Line 18:
  
   * 1x AMD EPYC Naples 7261, 8x 64GB DDR4 RAM, 2X Samsung SSD 960GB NVMe 2,5"   * 1x AMD EPYC Naples 7261, 8x 64GB DDR4 RAM, 2X Samsung SSD 960GB NVMe 2,5"
-  * Mělo by jít o zcela standardní uzly MetaCentra+  * Zcela standardní uzly MetaCentra
   * SSD by měly být v RAID 0 --- na 1. disku ''/'', na 2. ''swap'', na zbytku přes oba disky ''/scratch''   * SSD by měly být v RAID 0 --- na 1. disku ''/'', na 2. ''swap'', na zbytku přes oba disky ''/scratch''
  
Line 53: Line 35:
     * 8 vCPU, 32 GB RAM, min 60 GB disk.     * 8 vCPU, 32 GB RAM, min 60 GB disk.
     * NoSQL databáze [[https://neo4j.com/|Neo4j]] a [[https://www.mongodb.com/|MongoDB]]; a [[https://mariadb.org/|MySQL/MariaDB]] a [[https://www.postgresql.org/|PostgreSQL]]     * NoSQL databáze [[https://neo4j.com/|Neo4j]] a [[https://www.mongodb.com/|MongoDB]]; a [[https://mariadb.org/|MySQL/MariaDB]] a [[https://www.postgresql.org/|PostgreSQL]]
-    * Bude v naší správě (Vojtěch, Yann) a poběží na [[https://www.opensuse.org/#Leap|openSUSE Leap]].+    * Bude v naší správě (Vojtěch, Yann) a běží na [[https://www.opensuse.org/#Leap|openSUSE Leap]]. 
 +    * Běží na něm [[https://sorbus.ibot.cas.cz/|informační web]].
     * Databáze budou přístupné normálně přes IP adresu, jiné speciální nastavení není nutné.     * Databáze budou přístupné normálně přes IP adresu, jiné speciální nastavení není nutné.
     * Nemělo by to být ve stejném adresním rozsahu, podsíti jako ostatní servery.     * Nemělo by to být ve stejném adresním rozsahu, podsíti jako ostatní servery.
Line 72: Line 55:
 ==== Souborový server (1x) ==== ==== Souborový server (1x) ====
  
-  * V tuto chvíli máme jeden, rádi bychom výhledově dokoupili ještě (alespoň) jeden.+  * V tuto chvíli máme jeden, rádi bychom výhledově dokoupili ještě jeden.
   * 1x AMD EPYC Naples 7401P, 8x 16GB DDR4 RAM, 2X Samsung SSD 960GB NVMe 2,5".   * 1x AMD EPYC Naples 7401P, 8x 16GB DDR4 RAM, 2X Samsung SSD 960GB NVMe 2,5".
   * V rámci MetaCentra je jako ''storage-pruhonice1-ibot.metacentrum.cz''.   * V rámci MetaCentra je jako ''storage-pruhonice1-ibot.metacentrum.cz''.
Line 79: Line 62:
  
   * QSAN XCubeSAN, 21x 14TB 7200RPM SAS3   * QSAN XCubeSAN, 21x 14TB 7200RPM SAS3
-  * Součástí pole je i SSD cache+  * Součástí pole je i SSD cache (SW Qcache “COQ SSD-C” a 2x SSD “PAH WUSTR6440ASS200”) 
 +  * Kapacita je 179 TB
  
 === Použití diskového subsystému === === Použití diskového subsystému ===
Line 254: Line 238:
  
 ===== Fotky clusteru ===== ===== Fotky clusteru =====
- 
-[[https://filesender.cesnet.cz/?s=download&token=d9647e6b-db44-94f2-1179-d2ebb1b06b85|Fotky ke stažení]]. 
  
 ==== Rack s clusterem ==== ==== Rack s clusterem ====
Line 295: Line 277:
 ==== Správa skupiny ibot ==== ==== Správa skupiny ibot ====
  
-  * Registrační formulář není k dispozici, správa skupiny je možná přímo v [[https://perun.metacentrum.cz/|Perunovi]] (správcem je VZ). Registrační formulář by se vyplatil při cca 50 a více uživatelích. Bylo by potřeba vědět, co by na přihlášce noví uživatelé měli vyplňovat, třeba nějaké zdůvodnění atp. A jestli schvalovat ručně, správcem, nebo automaticky. Také je potřeba vědět, jestli členství v ''ibot'' bude expirovat nějak jinak, než v ''Meta''+  * Registrační formulář není k dispozici, správa skupiny je možná přímo v [[https://perun.metacentrum.cz/|Perunovi]] (správcem je VZ). Registrační formulář by se vyplatil při cca 50 a více uživatelích. Bylo by potřeba vědět, co by na přihlášce noví uživatelé měli vyplňovat, třeba nějaké zdůvodnění atp. A jestli schvalovat ručně, správcem, nebo automaticky. Také je potřeba vědět, jestli členství v ''ibot'' bude expirovat nějak jinak, než v ''Meta''
 +  * K dispozici je [[https://mailman.metacentrum.cz/mailman/listinfo/cluster-ibot|E-mailová konference]], jejímiž členy jsou automaticky všichni členové skupiny ''ibot''.
  
 ==== Sdílené adresáře na úložišti ==== ==== Sdílené adresáře na úložišti ====
Line 326: Line 309:
   - <del>Jak budou spravována hesla managementovacích adres?</del>   - <del>Jak budou spravována hesla managementovacích adres?</del>
   - Jak je to s PDU? Funguje správně?   - Jak je to s PDU? Funguje správně?
 +  - Bude druhý souborový server vyžadovat nějakou jinou/speciální síťovou konfiguraci? Jaké bude mít hostname?
  
 FIXME DELETEME FIXME DELETEME
Line 354: Line 338:
   * Správa virtuálů (proxmox): https://192.168.4.20:8006/   * Správa virtuálů (proxmox): https://192.168.4.20:8006/
   * Správa SuperMicro clusteru: https://192.168.160.20/   * Správa SuperMicro clusteru: https://192.168.160.20/
-  * Switch clusteru: viz [[#prehled_stroju|IPMI adresy]]+  * Switch clusteru: viz [[#prehled_stroju|IPMI adresy]] --- webové rozhraní příslušného serveru je na příslušné IP adrese.
  
 ===== Požadavky MetaCentra na síť ===== ===== Požadavky MetaCentra na síť =====
metacentrum_uzly.1573127873.txt.gz · Last modified: 2019/11/07 12:57 by Vojtěch Zeisek

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki