Apache HBase blev et top-niveau projekt med Apache for 10 år siden, og Cloudera begyndte at bidrage til det på samme tid (2010). I løbet af denne tid er det blevet et af de største og mest populære open source-værktøjer inden for big data og en af de mest populære NoSQL-databaser.
Apache Software Foundation annoncerer 10-års jubilæet for Apache HBase
HBase understøtter både nøgleværdi- og NoSQL-database med bred kolonne og bruges af virksomheder vidt og bredt. Cloudera har over 500 kunder i produktion, der bruger det til brugssager lige fra missionskritiske transaktionsapplikationer, data warehousing, machine learning og data engineering. Vores kunder vælger HBase på grund af dets modstandsdygtighed (hvor nogle kunder kan realisere 100 % applikationsoppetid over mange år), stabilitet, ydeevne og lave driftsomkostninger. Cloudera-kunder implementerer det stand-alone sammen med Phoenix, som er en SQL-baseret database bygget på HBase og nogle gange med Apache Impala og/eller Apache Hive, som giver dem mulighed for at køre SQL-baserede OLAP-forespørgsler på HBase.
Jeg har været produktchef for Clouderas Operational Database-tilbud siden 2018 og haft mulighed for at mødes med mange af vores kunder. Jeg er konstant imponeret over den brede vifte af måder, kunder bruger HBase på. Bredden af use cases er så stor og varieret, at den trodser segmentering. Efter megen analyse endte jeg med en enkel tilgang til at klassificere use cases - kunder, der bruger den til at understøtte missionskritiske applikationer og dem, der ikke gør. De missionskritiske applikationer har en tendens til at være transaktionelle og hjælper vores kunder med at drive deres omsætning på toplinjen og/eller drive driftseffektivitet. For dem, hvis HBase går ned, påvirkes toplinjen og/eller bundlinjen, og i værste fald kan folk dø.
Eksempler på missionskritiske brugssager:
- En leverandør af sundhedssoftware bruger HBase til at drive hundredvis af applikationer. Hvis disse applikationer mislykkes, kan folk af en eller anden grund dø, og sundhedsudgifterne stige. Denne kunde har implementeret HBase på mere end 7.000 noder med over 70 PB data.
- En mobiltelefonproducent bruger HBase til at aktivere en stemmeassistent og mange andre brugssager på mere end 6.000 noder
- Et finansielt mediehus bruger HBase til at drive dele af platformen og gør det muligt for handlende og andre at forstå den relevante kontekst omkring aktiekursbevægelser, trends osv. på mere end 1.200 noder
- En markedsledende e-mailmarketingplatform kører HBase på ~1.000 noder
- En forsikringsudbyder bruger HBase på ~1.000 noder til at gemme alle skadeoplysninger og bruger dem til at håndtere disse skader gennem hele deres livscyklus
- En udbyder af bibliotekstjenester bruger HBase på mere end 400 noder til at understøtte interbibliotekslån rundt om i verden
- En global strømdistributionsvirksomhed bruger HBase på 400+ noder til at indlæse aflæsninger fra 7+ millioner smartmålere og til at udføre automatiseret implementering af reparationsteams til det elektriske distributionsnetværk, strømfaktureringsapplikationer og drive løbende træning af maskinlæringsmodeller
- Den største indonesiske teleselskab, Telkomsel, med over 170 millioner kunder, migrerede hele deres CRM-applikation fra den gamle MPP-database til HBase og Impala og var i stand til at opnå sub-sekund responstid på alle CRM-forespørgsler for individuelle brugere opkaldsposter, profiler, genopladninger, dataforbrug osv. Fordelen ved at have Impala til at forespørge HBase var at sikre ANSI SQL-kompatibel grænseflade tilgængelig via JDBC for at minimere CRM-ændringer.
Eksempler på ikke-missionskritiske brugssager:
- En producent af produkter til personlig pleje bruger HBase til at administrere alt deres produktmærke og marketingmateriale
- En halvlederproducent bruger HBase til at gemme logfiler fra deres produkter og udtrække dem til andre systemer til analyse
- En telekommunikationsudbyder bruger HBase til at gemme deres dimensionstabeller for Hive
Det, der adskiller HBase fra andre NoSQL-tilbud, er dets integration på tværs af Open Source, Big Data Ecosystem, som gør det muligt for kunderne at få en ende-til-ende-oplevelse. De kan bruge det til applikationer, der har brug for data fra kanten eller applikationer, der skal levere AI/ML-modeller i skala eller en hvilken som helst kombination deraf.
En af de mest interessante supportbilletter, jeg har set stødt på hos Cloudera, er, da en HBase-kunde indgav en billet med høj prioritet, hvilket indikerer, at deres missionskritiske implementering var nede. De havde ikke interageret med os i over et år, og jeg vidste ikke engang, at de var en vigtig kunde. Det var først i dette tilfælde, at jeg lærte, at de havde installeret 1.000 noder til at drive en omnichannel marketingplatform på HBase. Roden til problemet var, at de havde foretaget nogle problematiske ændringer i deres konfigurationsindstillinger 9 måneder før hændelsen. Da de endelig genstartede, trådte de problematiske konfigurationsindstillinger i kraft, hvilket fik dem til at bede Cloudera om hjælp!
Cloudera bekymrer sig dybt om HBase og har 15 committers &PMC-medlemmer på projektet. Vi investerer også i at gøre det tilgængeligt på offentlig sky med både PaaS-lignende og dbPaaS-formfaktorer.
HBase-oplevelser gennem årene
I betragtning af vores mangeårige engagement og historie med dette projekt, ønskede vi at dele et par erfaringer og historier forbundet med dette projekt fra hele Cloudera-teamet.
"For år siden deltog jeg i en Apache Hadoop-fokuseret teknisk konference. En sen aften gik jeg tilbage til mit værelse, og jeg så tilfældigvis en gruppe personer, som jeg genkendte som mangeårige kunder, samlet omkring et bord. Nu er det en meget kompetent gruppe af personer, som jeg havde arbejdet med allerede i mange år. Jeg slyngede mig hen og havde til hensigt kort at sige hej og være på vej efter en lang dag. Det viste sig, at de havde en produktionsafbrydelse på et af deres systemer og var midt i at forsøge at få det løst. Jeg satte mig ned, trak min bærbare computer frem og hang ud med dem i de næste par timer, mens vi analyserede problemet og behandlede de problemer, vi fandt. At understøtte missionskritiske applikationer kræver nogle gange heltemod, men nogle gange finder man også nogle fjerfugle undervejs.”
— Senioringeniør
“I mange virksomheders natur er det helt afgørende at være i stand til at skalere og stadig opfylde kravene til lave latens i deres missionskritiske system. Hvis man ser tilbage gennem arkiverne, har vores kunder haft svære tider for at leve op til så svære standarder. HBase har de elementer, der fik det til at se let ud at opfylde disse forventninger, især ved at minimere tiden til at udløse den næstbedste handling."
— Principal Solutions Architect
"For tre år siden var jeg ny snedkeringeniør hos Cloudera. Jeg plejede at vide om virksomhedens open source-aktivitet, og jeg har været GNU Linux-bruger siden gymnasiet, men at bruge open source og være en del af det er helt anderledes.
Som den nye fyr i virksomheden var jeg nødt til at forstå, hvad holdet gør, så jeg fik tildelt et par supportbilletter til mig selv og begyndte at arbejde på dem. Jeg vidste kun to ting, jeg var Java-udvikler i mange år, så jeg skal kunne det, og Hortonworks er vores mest udfordrende konkurrent, hvilket betyder, at det kunne være interessant at arbejde med dem.
Og så skete det, med min første Apache HBase-billet nogensinde løb jeg ind i Josh Elser – leder af Hortonworks' HBase-team – som viste mig, at implementering af en newby-opgave kan være sværere end forventet (med de kvalitetsbjælker, som HBase-teamet har), og at din konkurrent kan være din bedste partner i open source-fællesskabet. Til sidst forpligtede han mine ændringer.
I løbet af de sidste tre år har mange ting ændret sig. Cloudera og Hortonworks fusionerede, vi arbejder nu i samme virksomhed, men Apache og HBase er de samme. Jeg har begrænset tid til at arbejde på koden, men ser dens kraft, se, hvordan den bruges til tjenester, jeg ikke vidste eksisterede, og jeg ser, hvordan den får folk over hele verden til at arbejde sammen. Det forbinder mennesker over virksomheder, kontinenter, kulturer.”
— Ingeniørchef
“HBase og Phoenix har været nemme at lære. Data Hub gør det nemt at starte og ser nu frem til Cloudera Operational Database tager HBase til det næste årti."
— Teknisk Customer Success Manager
"I løbet af de sidste 9 år har jeg været fra frontlinjen til udviklingen af HBase og set udviklingen af, hvordan vores kunder bruger HBase fra en POC til storskala, missionskritiske platforme. Det mest bemærkelsesværdige øjeblik i denne tid var før Cloudera og Hortonworks-fusionen, hvor teams fra begge virksomheder arbejdede sammen for at forbedre funktionaliteten af en kritisk produktfunktion. Til sidst blev værket præsenteret på HBaseCon og fik stor anerkendelse af to af HBases største brugere. Denne funktion driver en kritisk funktionalitet, der bruges af mere end 2B mobile enheder rundt om i verden.”
– Senioringeniør
"Et andet fantastisk øjeblik fra de sidste 10 år med HBase var på HBaseCon 2015, da Carter Page fra Google gav offentlig anerkendelse af, hvordan HBase udviklede sig til et meget solidt projekt"
– Senioringeniør
"Jeg har haft fornøjelsen af at deltage i næsten alle HBaseCons (og tale ved nogle af dem). Dette er tre af mine foretrukne HBaseCon-minder:(1) HBases mangfoldighed:HBase 2.0-meddelelsen fremhævede ikke kun antallet af afsendte JIRA'er, men også antallet af HBase-committers og PMC-medlemmer fra lande uden for USA, plus havde en kvinde, der leder HBase PMC , (2) HBases momentum:Facebooks meddelelse om, at de forlod deres tilpassede gaffel for at gå 100 % opstrøms Apache HBase, og (3) HBases trædesten:ved en HBaseCon holdt en Bloomberg-udvikler en læst replika-foredrag og derefter to HBaseCons senere , gav en Apple-udvikler en HBaseCon-keynote om brug af læste replikaer i produktionen.”
– Senior systemingeniør
Hos Cloudera ser vi fortsat en lys fremtid for dette projekt og forventer, at det udvikler sig til at drive næste generations applikationer, der bygges i skyen i PaaS-lignende og dbPaaS-formfaktorer samt i datacenter med privat sky.
Tjek for at se, hvad der venter CDP Public Clouds operationelle DB-skabelon .