Kafka est un outil très complet et puissant, mais il vient avec sa complexité et sa multitude d’outils.
La journée du jour est la suivante.
Comment connaitre et compter le nombre de brokers dans le cluster Kafka ?
kafka-broker-api-versions --bootstrap-server 35.181.210.26:9093
Command shell
Les paramètres à modifier :
- Répertoire des binaires confluent :
/var/lib/confluent/bin - Fichier de la config :
/etc/kafka/client.properties - Les IPs des Brokers du cluster :
35.181.210.26:9093,32.89.20.46:9093
/var/lib/confluent/bin/kafka-broker-api-versions/kafka-broker-api-versions --bootstrap-server 35.181.210.26:9093,32.89.20.46:9093 --command-config /etc/kafka/client.properties
Ansible
Vous pouvez également utiliser cette commande pour déterminer le bon nombre de brokers qui sont rattachés au cluster.
- hosts: kafka_broker
vars:
binary_base_path: "/var/lib/confluent"
kafka_broker_list: "35.181.210.26:9093,32.89.20.46:9093"
kafka_broker:
client_config_file: "/etc/kafka/client.properties"
tasks:
- name: Wait for Kafka Status
shell:
cmd: |
{{ binary_base_path }}/bin/kafka-broker-api-versions \
--bootstrap-server {{ kafka_broker_list }} \
--command-config {{ kafka_broker.client_config_file }}
args:
executable: /bin/bash
register: status
until: status.stdout_lines|regex_findall('([0-9]+\\.[0-9]+\\.[0-9]+\\.[0-9]+:[0-9]+)')|length|int == groups['kafka_broker']|length|int
retries: 25
delay: 5
changed_when: false
check_mode: false
ignore_errors: trueBibliographie
- Le code de CLI
kafka-broker-api-versions: https://github.com/apache/kafka/blob/trunk/bin/kafka-broker-api-versions.sh - Inter-opérabilité de l’API Confluent Kafka : https://docs.confluent.io/platform/current/installation/versions-interoperability.html
- Ansible Playbook par Confluent : https://github.com/confluentinc/cp-ansible
- Documentation Confluent Kafka : https://docs.confluent.io/kafka/get-started.html
- Documentation Confleunt avec Ansible : https://docs.confluent.io/ansible/current/ansible-install.html
