I denne Hadoop tutorial , vi skal diskutere konceptet med NameNode Automatic Failover i Hadoop . Først og fremmest vil vi se, hvad der er failover og typer af failover. Så dækker viHDFS automatisk failover i Hadoop.
Komponenter af Hadoop Automatic Failover i HDFS, såsom ZooKeeper quorum, ZKFailoverController Process (ZKFC). Til sidst vil vi også diskutere rollerne for disse to komponenter i Hadoop .
Hvad er Failover?
Processen, hvor systemet overfører sin kontrol til det sekundære system, når det opdager en fejl, er kendt somfailover .
Failover er af to typer:
- Graceful Failover – Administrator starter Graceful Failover manuelt, for eksempel i tilfælde af rutinemæssig vedligeholdelse. Systemet vil ikke aktivere en failover automatisk fra den aktive til standby-navnenod, selvom den aktive node har fejlet i Graceful Failover.
- Automatisk failover – Automatic Failover er den proces, hvor systemet automatisk overfører sin kontrol til standby NameNode, når NameNode fejler. I Hadoop sker der automatisk failover i tilfælde af NameNode-fejl. Men i tilfælde af NameNode-fejl, vil Failover starte automatisk. Denne failover er Automatisk failover.
NameNode Automatic Failover i Hadoop
Automatisk failover i Hadoop tilføjer nedenstående komponenter til en Hadoop HDFS-implementering:
- ZooKeeper kvorum.
- ZKFailoverController Process (ZKFC).
1. ZooKeeper-kvorum
Zookeeper i Hadoop er en centraliseret service. Det vedligeholder konfigurationsoplysninger, navngivning og giver distribueret synkronisering. Det tilbyder også gruppetjenester. Zookeeper administrerer og koordinerer også en stor klynge af maskiner.
Af nedenstående årsager er implementering af automatisk HDFS-failover afhængig af Zookeeper:
- Fejlregistrering- Zookeeper i Hadoop holder en session med navnenoderne. Under en fejl vil sessionen udløbe. Så dyrepasseren vil informere andre navnenoder om at starte failover-processen.
- Aktivt navneknudevalg- En simpel mekanisme leveret af Zookeeper til kun at vælge en node som aktiv. På tidspunktet for aktiv namenode-fejl kan andre namenode tage en eksklusiv lås i Zookeeper, der angiver, at den ønsker at blive den næste aktive namenode.
2. ZKFailoverController (ZKFC)
ZKFC er en klient hos Zookeeper i Hadoop, der overvåger og administrerer navnenodens status. Hver af de maskiner, der kører namenode service, kører også en ZKFS. Den kan håndtere:
- Sundhedsovervågning – Med en sundhedstjek-kommando pinger ZKFS sin lokale navnenod. ZKFS anser navnenoden for sund, så længe navnenoden reagerer ad gangen. Sundhedsmonitoren markerer en knude som usund, hvis knudepunktet er gået ned eller er gået ind i en usund tilstand.
- Sessionsstyring af dyrepasser – ZKFC holder en session åben i Zookeeper, når den lokale navnenod er sund. Den har også en speciel "lås"-znode, hvis den lokale navnenod er aktiv. Hvis sessionen udløber, slettes låsen automatisk.
- Dyrevogterbaseret valg – I HDFS, hvis den lokale navneknude er sund, og ZKFC ser, at ingen anden node i øjeblikket har låsen znode, vil den selv forsøge at få låsen. Og hvis det lykkes, så har det vundet valget”, og det håndterer at køre en failover for at gøre dets lokale navnenod aktiv.
Konklusion
Derfor starter Automatic Failover i Hadoop automatisk i tilfælde af NameNode-fejl. Automatisk failover tilføjer ZooKeeper quorum og ZKFailoverController Process (ZKFC) komponenter til en HDFS-implementering.
Zookeeper i Hadoop er en tjeneste, der giver den automatiske failover-funktion i HDFS .