sql >> Database teknologi >  >> RDS >> Mysql

Kafka Connect-opsætning til at sende post fra Aurora ved hjælp af AWS MSK

Nej. Du kan aktivere skemaer i json-poster. JDBC-kilde kan oprette dem for dig baseret på tabeloplysningerne

value.converter=org.apache.kafka...JsonConverter 
value.converter.schemas.enable=true

Hvis du vil bruge Schema Registry, skal du bruge kafkastore.bootstrap.servers .med Kafka-adressen, ikke Zookeeper. Så fjern kafkastore.connection.url

læs dokumenterne for forklaringer af alle egenskaber

Det betyder ikke noget. Skemaemnet bliver oprettet, når registreringsdatabasen først starter

Ja (ignorerer tilgængelig JVM-heap-plads). Igen er dette beskrevet i Kafka Connect-dokumentationen.

Ved at bruge selvstændig tilstand videregiver du først Connect Worker-konfigurationen, derefter op til N connectoregenskaber i én kommando

Ved at bruge distribueret tilstand bruger du Kafka Connect REST API

https://docs.confluent.io/current/connect/managing/configuring .html

Først og fremmest er det til Sqlite, ikke Mysql/Postgres. Du behøver ikke bruge hurtigstartfilerne, de er der kun til reference

Igen er alle egenskaber veldokumenterede

https://docs.confluent.io /current/connect/kafka-connect-jdbc/index.html#connect-jdbc

Her er mere information om, hvordan du kan fejlfinde det

https://www.confluent.io/ blog/kafka-connect-deep-dive-jdbc-source-connector/

Som nævnt før, vil jeg personligt foreslå at bruge Debezium/CDC, hvor det er muligt

Debezium-stik til RDS Aurora



  1. Venstre Join returnerer ikke alle rækker

  2. Syntetisk datagenerering

  3. Sådan får du adgang til den indbyggede CRM-skabelon i Microsoft Access

  4. Sideinddeling i Laravel 4 fungerer for én side. men fungerer ikke for en anden