Navnene på IRI-softwareprodukter, og hvordan de kører, har til tider været en kilde til mystik, eller endda forvirring, for de uindviede. Denne artikel præciserer brikkerne og tydeliggør deres samspil, hvilket giver en hurtig primer for potentielle brugere, partnere og ny brancheanalyse st.
Hvor det hele begyndte
Det begyndte med IRI CoSort i 1978, det store datasorterings-, transformations- og rapporteringsværktøj til Unix og Windows, der stadig er udbredt i dag. Før CoSort blev dette første IRI-produkt kaldt CO-SORT, COSORT og CoSORT i nævnte rækkefølge.
I 1992 tilføjede IRI datadefinitionssyntaks- og manipulationsprogrammet Sort Control Language (SortCL) til de andre hjælpeprogrammer og API'er i CoSort-pakken. I dag er SortCL den mest udbredte og funktionsfyldte brugergrænseflade i CoSort-pakken.
SortCL-scripts definerer, og sortcl-programmet kører, de job, der udfører og kombinerer mange almindelige dataflytnings- og kortlægningsopgaver, som CoSort-brugere skal køre. SortCL er ikke kun en simpel 4GL til at lære, læse og ændre, men den understøttes også gennem en API (kaldet sortcl_routine) og grafisk i den gratis IRI Workbench IDE, bygget på Eclipse.
Efterhånden som SortCL-funktionaliteten blev udvidet, voksede den ud af det traditionelle CoSort-marked for sorteringsmigreringer og BI/DW-acceleration. I dag er den eksekverbare SortCL ikke kun den motor, der kører de fleste CoSort-job, men den er det bankende hjerte i adskillige spin-off-produkter, illustreret her:
CoSort / SortCL Spin-Off-produkter
Specifikt den samme SortCL-motor og kompatible jobscripts - normalt designet og ofte styret fra IRI Workbench, behandler strukturerede datakilder i:
- IRI FieldShield og IRI DarkShield til datamaskering
- IRI RowGen til testdatasyntese og databaseunderindstilling
- IRI NextForm til data- og databasekonvertering og -replikering og
- IRI Voracity data management platform job, som inkluderer dem i CoSort og produkterne, der er linket ovenfor, plus yderligere frontende-funktioner gennem den fælles Workbench GUI, såsom:
- Dataopdagelse (profilering, klassificering og søgning)
- Datavarehus ETL, CDC og SDC
- Data Vault 2.0-migrering og prototyping
- Datakvalitet (validering, rensning, homogenisering)
- Analyse eller datastrid for Splunk og KNIME og andre BI-værktøjer via overdragelse
En anden måde at se på produkthierarkiet er på denne måde:
hvor Workbench IDE er, hvor alle IRI-produktjob er designet - inklusive de ekstra funktioner, der understøttes i Voracity.
Et ofte stillede spørgsmål
Siden SortCL startede med CoSort og er fælles for alle disse produkter, betyder det så, at jeg kan bruge CoSort eller et andet produkt ovenfor til at gøre, hvad de andre produkter også gør?
Svaret er ja og nej. Ja, du har SortCL og kan i teorien få udført noget af det samme arbejde, som et andet SortCL-kompatibelt IRI-produkt skal udføre. Men det ville være vanskeligere og udgør en produktionsrisiko. IRI leverer kun dokumentation og support til de opgaver, der bedst er forbundet med dit/de licenserede IRI-produkter.
Derfor er crossover-kapaciteten begrænset i praksis. Ikke desto mindre er kombinationsfunktionalitet almindelig i mange tilfælde (såsom et sorteret DB-undersæt), og i Voracity er multi-task, multi-trin use cases (såsom inkrementel kortlægning, maskering, rensning og omformatering) yderst effektive og fuldt understøttede.
SortCL er standardmotoren i alle IRI Voracity CDC, ETL, CDC, rensning, afstemning, underindstilling ,
PII-maskering, testdatasyntese, konvertering, omformatering, skænderier, analyse- og rapporteringsjob.
Runtime Architecture
Nu hvor du kender navnene på produkterne, så lad os se på, hvordan de hænger sammen og implementeres.
IRI-software fungerer normalt i en klient/server-model, hvor SortCL-kompatible jobs er defineret i et frontend redigeringsmiljø som IRI Workbench eller anden teksteditor, eller via IRI API. Disse job kører normalt i SortCL-backend-programmet på Linux, Unix eller Windows (fysiske eller virtuelle) maskiner, on-premise eller i skyen:
Nogle job, der er scriptet i SortCL-syntaks, kan også køre uden ændringer direkte i Map Reduce 2, Spark, Spark Stream, Story eller Tez for licenstagere af Voracity Grid (VGrid)-udgaven til Hadoop.
Bemærk dog, at i modsætning til mange andre ETL- og datamaskeringsprogrammer er der ingen CoSort-server, hvor SortCL skal køre eller administreres centralt. Den lette SortCL eksekverbare kan køre overalt fra en Raspberry Pi til en z/Linux mainframe.
Det er derfor almindeligt, ifølge diagrammet ovenfor, at websteder har test- og QA SortCL-instanser installeret på udviklerbærbare computere, der kører IRI Workbench, såvel som på centraliserede fil- eller databaseservere for at optimere ydeevnen. Dette ofte stillede spørgsmål dækker spørgsmålet om, hvor man licenserer SortCL i forbindelse med f.eks. IRI-datamaskeringsprodukter, og hvordan man kan faktorisere omkostningerne i overensstemmelse hermed.
Hvis du har spørgsmål om, hvilket IRI-produkt du har brug for, eller hvordan du bedst implementerer det på den hardware, du har (eller planlægger at klargøre), bedes du kontakte din IRI-repræsentant.