Ceph: Skillnad mellan sidversioner

Från Lysators datorhandbok, den ultimata referensen.
Hoppa till navigering Hoppa till sök
(Fyllt på med tweaks)
(Ceph är nu i drift)
Rad 1: Rad 1:
{| style="border: 0px"
{| style="border: 0px"
! Funktion
! Funktion
| Tjänsteservrar
| Tjänsteserver
|-
|-
! Specialfunktion
! Specialfunktion
| Experimentelt lagrings-kluster för <tt>/home</tt>, <tt>/lysator</tt>, <tt>/scratch</tt> och <tt>/vm</tt>.
| Lagrings-kluster för <tt>/home</tt>, <tt>/lysator</tt> och vms.
|-
|-
! Operativsystem
! Operativsystem
Rad 13: Rad 13:
|-
|-
! CPU
! CPU
| Blandat
| Intel Xeon av olika sorter
|-
|-
! Minne
! Minne
Rad 30: Rad 30:
| [http://vogon-0.lysator.liu.se:7000/health Manager]
| [http://vogon-0.lysator.liu.se:7000/health Manager]
|-
|-
! Ansvariga rötter
! Ansvarig root
| hx och octol
| hx och octol
|-
|-
! Driftstatus
! Driftstatus
| Snart i drift. Kanske
| I drift
|}
|}


Rad 43: Rad 43:


=== Hårdvara ===
=== Hårdvara ===
För att köra Lysators cephlösning används många maskiner, för att få redundans och HA. Mak kan med andra ord rycka sladden ur vilken maskin som helst utan att något hemskt händer. (Gör det inte)
För att köra Lysators cephlösning används många maskiner, för att få redundans och HA. Man kan med andra ord rycka sladden ur vilken maskin som helst utan att något hemskt händer. (Gör det inte)


==== Vogoner ====
==== Vogoner ====
Som mon/mds/mgr körs tre stycken HP DL160-maskiner, vogon-[0-2]. Dessa är bestyckade med 16G RAM och infiniband.
Som mon/mds/mgr körs tre stycken HP DL160-maskiner, vogon-[0-2]. Dessa är bestyckade med 16G RAM och infiniband. Dessutom kör maskinen babelfish en mds och NFS-export.


==== Trillians ====
==== Trillians ====
Som osd-servrar trillian-[0-3] körs Dell R510 med 12 2TB diskar. Eftersom RAID-korten inte tycker om JBOD så är alla diskar sin egen RAID0. En disk i varje chassi används som systemdisk, resten allokeras till OSD:er. Det finns ingen numrering, utan använd verktygen för RAID-korten för att markera diskar vid behov.
Som osd-servrar trillian-[0-6] körs Dell R510 med 12 2TB diskar. Eftersom RAID-korten inte tycker om JBOD så är alla diskar sin egen RAID0. En disk i varje chassi används som systemdisk, resten allokeras till OSD:er. Det finns ingen numrering, utan använd verktygen för RAID-korten för att markera diskar vid behov.


==== Systemdiskar ====
==== Systemdiskar ====
Det finns inga speglade systemdiskar i någon av maskinerna. Ifall en systemdisk dör, vänta 10 minuter så kommer ceph börja skyffla runt datan för att komma upp i rätt mängd redundans igen. Smäll upp en ny maskin och smäll in den i klustret igen enligt manualen.
Det finns inga speglade systemdiskar i någon av maskinerna. Ifall en systemdisk dör, vänta 10 minuter så kommer ceph börja skyffla runt datan för att komma upp i rätt mängd redundans igen. Smäll upp en ny maskin och smäll in den i klustret igen enligt manualen. Eller sätt maskenen till 'noout', installera om, kör `ceph-deploy` och starta om, då bör osd-demonerna starta igen.


=== Konfiguration ===
=== Konfiguration ===

⚫
==== Nätverk ====

Ceph serverar 10.44.0.0/16 över IPoIB. Varje OSD-server har två IPoIB interface, ett för internkommunikation mellan osd:er på 10.43.0.0/24, ett för kommunikation med resten av klustret (och proxmox) på 10.44.0.0/16. Ytterligare har alla maskiner nät på 130.236.254.0/24 för att komma åt resten av världen, även om detta inte är strikt nödvändigt så är det bekvämt. TODO: Brandvägga ner saker ordentligt.



==== Användarkontot ceph-vogon ====
==== Användarkontot ceph-vogon ====


På varje maskin finns användarkontot 'ceph-vogon' med sudorättigheter utan lösenord, för att ceph-deploy ska fungera rätt. Puppet hanterar detta, inklusive kopiering av nycklar. ceph-vogon@vogon-0 har en privat ssh-nyckel för kontot.
⚫
==== ceph.conf ====



==== Prestandatweaks ====
==== Prestandatweaks ====
* För att använda mer av RAM på mds-servrarna till metadata-cache så har mds_cache_memory_limit satts till 8GiB (standard är 1GiB).
* För att använda mer av RAM på mds-servrarna till metadata-cache så har mds_cache_memory_limit satts till 8GiB (standard är 1GiB), förutom på babelfish, där den är 64GiB.
* För att förhindra att osd-servrarna blir mycket långsam eller kraschar vid recovery så har bluestore_cache_size_hdd satts till 268435456 (byte).
* För att förhindra att osd-servrarna blir mycket långsam eller kraschar vid recovery så har bluestore_cache_size_hdd satts till 268435456 (byte).


Versionen från 11 juli 2018 kl. 18.49

Funktion Tjänsteservrar
Specialfunktion Lagrings-kluster för /home, /lysator och vms.
Operativsystem Debian 9.0
Arkitektur x86_64
CPU Blandat
Minne Varierande
Chassi Många
Moderkort Varierande
Placering FOO-hallen
Ceph-status Manager
Ansvariga rötter hx och octol
Driftstatus I drift

Lysators lagringslösning i Ceph

RTFM

http://docs.ceph.com/docs/master/

Hårdvara

För att köra Lysators cephlösning används många maskiner, för att få redundans och HA. Man kan med andra ord rycka sladden ur vilken maskin som helst utan att något hemskt händer. (Gör det inte)

Vogoner

Som mon/mds/mgr körs tre stycken HP DL160-maskiner, vogon-[0-2]. Dessa är bestyckade med 16G RAM och infiniband. Dessutom kör maskinen babelfish en mds och NFS-export.

Trillians

Som osd-servrar trillian-[0-6] körs Dell R510 med 12 2TB diskar. Eftersom RAID-korten inte tycker om JBOD så är alla diskar sin egen RAID0. En disk i varje chassi används som systemdisk, resten allokeras till OSD:er. Det finns ingen numrering, utan använd verktygen för RAID-korten för att markera diskar vid behov.

Systemdiskar

Det finns inga speglade systemdiskar i någon av maskinerna. Ifall en systemdisk dör, vänta 10 minuter så kommer ceph börja skyffla runt datan för att komma upp i rätt mängd redundans igen. Smäll upp en ny maskin och smäll in den i klustret igen enligt manualen. Eller sätt maskenen till 'noout', installera om, kör `ceph-deploy` och starta om, då bör osd-demonerna starta igen.

Konfiguration

Nätverk

Ceph serverar 10.44.0.0/16 över IPoIB. Varje OSD-server har två IPoIB interface, ett för internkommunikation mellan osd:er på 10.43.0.0/24, ett för kommunikation med resten av klustret (och proxmox) på 10.44.0.0/16. Ytterligare har alla maskiner nät på 130.236.254.0/24 för att komma åt resten av världen, även om detta inte är strikt nödvändigt så är det bekvämt. TODO: Brandvägga ner saker ordentligt.


Användarkontot ceph-vogon

På varje maskin finns användarkontot 'ceph-vogon' med sudorättigheter utan lösenord, för att ceph-deploy ska fungera rätt. Puppet hanterar detta, inklusive kopiering av nycklar. ceph-vogon@vogon-0 har en privat ssh-nyckel för kontot.


Prestandatweaks

  • För att använda mer av RAM på mds-servrarna till metadata-cache så har mds_cache_memory_limit satts till 8GiB (standard är 1GiB), förutom på babelfish, där den är 64GiB.
  • För att förhindra att osd-servrarna blir mycket långsam eller kraschar vid recovery så har bluestore_cache_size_hdd satts till 268435456 (byte).
Hämtad från ”https://datorhandbok.lysator.liu.se/index.php?title=Ceph&oldid=5612”