Hvad er HBase-znoder?

Apache ZooKeeper er et klient/server-system til distribueret koordinering, der afslører en grænseflade, der ligner et filsystem, hvor hver node (kaldet en znode ) kan indeholde data og et sæt børn. Hver znode har et navn og kan identificeres ved hjælp af en filsystemlignende sti (f.eks. /root-znode/sub-znode/my-znode).

I Apache HBase koordinerer, kommunikerer og deler ZooKeeper tilstand mellem Masters og RegionServers. HBase har en designpolitik om kun at bruge ZooKeeper til forbigående data (det vil sige til koordinering og tilstandskommunikation). Så hvis HBases ZooKeeper-data fjernes, er det kun de forbigående operationer, der påvirkes – data kan fortsætte med at blive skrevet og læst til/fra HBase.

I dette blogindlæg får du en kort rundtur i brugen af ​​HBase znodes. Den version af HBase, der bruges til reference her, er 0,94 (leveret i CDH 4.2 og CDH 4.3), men de fleste af znoderne er til stede i tidligere versioner og vil sandsynligvis også være det i fremtidige versioner.

HBase root znode-stien kan konfigureres ved hjælp af hbase-site.xml, og som standard er placeringen "/hbase". Alle znoderne, der henvises til nedenfor, vil få præfiks ved at bruge standard /hbase-placeringen, og konfigurationsegenskaben, der lader dig omdøbe den bestemte znode, vil blive vist ved siden af ​​standard znodenavnet og fremhævet med fed skrift.

ZooKeeper giver en interaktiv skal, der giver dig mulighed for at udforske ZooKeeper-tilstanden - kør den ved at bruge hbase zkcli og gå gennem znoden via ls , som i et typisk filsystem. Du kan også få nogle oplysninger om znode-indholdet ved at bruge get kommando.

$ hbase zkcli
[zk: localhost:2181(CONNECTED) 0] ls /
[hbase, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /hbase
[splitlog, online-snapshot, unassigned, root-region-server, rs, backup-masters, draining, table, master, shutdown, hbaseid]
[zk: localhost:2181(CONNECTED) 2] get /hbase/root-region-server
3008@u1310localhost,60020,1382107614265
dataLength = 44
numChildren = 0
...

Betjening

De znoder, som du oftest vil se, er dem, der koordinerer operationer som Region Assignment, Log Splitting og Master Failover, eller holder styr på klyngetilstanden, såsom ROOT-tabellens placering, liste over online-regionsservere og liste over ikke-tildelte regioner .

Sikkerhed

Adgangskontrollisten (ACL) og Token Provider-coprocessorerne tilføjer yderligere to znoder:en til at synkronisere adgang til tabel-ACL'er og den anden til at synkronisere token-krypteringsnøglerne på tværs af klyngen noder.

Replikering

Som hovedregel er alle znoder flygtige, hvilket betyder, at de beskriver en "midlertidig" tilstand - så selvom du fjerner alt fra ZooKeeper, burde HBase være i stand til at genskabe dem. Selvom replikeringsznoderne ikke beskriver en midlertidig tilstand, er det meningen, at de skal være kilden til sandheden for replikationstilstanden, der beskriver replikationstilstanden for hver maskine. (Læs dette for at lære mere om replikering).

Online Snapshot-procedurer

Online snapshots koordineres af Master ved hjælp af ZooKeeper til at kommunikere med RegionServerne ved hjælp af en to-fase-commit-lignende transaktion. (Læs dette for flere detaljer om snapshots.)

Konklusion

Som du kan se, er ZooKeeper en grundlæggende del af HBase. Alle operationer, der kræver koordinering, såsom Regionstildeling, Master-Failover, replikering og snapshots, er bygget på ZooKeeper. (Du kan lære mere om hvorfor/hvordan du ville bruge ZooKeeper i dine applikationer her.)

Selvom de fleste znoder kun er nyttige for HBase, kan nogle - såsom listen over RegionServers (/hbase/rs) eller listen over ikke-tildelte regioner (/hbase/unassigned) - bruges til fejlfinding eller overvågningsformål. Eller, som i tilfældet med /hbase/draining, kan du interagere med dem for at fortælle HBase, hvad du laver med klyngen.

Matteo Bertozzi er softwareingeniør hos Cloudera og committer på HBase-projektet.