Mis en exergue

Comment transférer des journaux à Grafana Loki à l'aide de Promtail

Comment transférer des journaux à Grafana Loki à l'aide de Promtail

Grafana Loki est un outil qui vous donne un panneau pour indexer les logs de vos systèmes et les visualiser sur un tableau de bord. Grafana Loki n'indexe pas le contenu des logs mais n'indexe que les étiquettes des logs. Cela réduit les efforts impliqués dans le traitement et le stockage des journaux.

Promtail, tout comme Prometheus, est un collecteur de journaux pour Loki qui envoie les étiquettes de journaux à Grafana Loki pour l'indexation.

Dans cet article, nous aborderons les points suivants :

Commençons rapidement les étapes d'installation :

Étape 1 - Installer l'outil de surveillance Grafana

Dans cette section, nous couvrirons l'installation de Grafana sur Ubuntu. Utilisez les liens ci-dessous qui vous guideront sur la façon d'installer Grafana sur différents systèmes :

Comment installer Grafana 7 sur CentOS 7

Comment installer Grafana sur CentOS 8 / RHEL 8

Installer Grafana sur Kubernetes pour la surveillance de cluster

Mettez à jour votre système Ubuntu et redémarrez :

sudo apt-get update sudo apt-get upgrade sudo reboot

Ajoutez la clé Grafana GPG puis installez le référentiel Grafana APT :

## Ajouter la clé gpg sudo apt-get install -y gnupg2 curl curl https://packages.grafana.com/gpg.clé | sudo apt-key add - ## Ajouter le référentiel Grafana APT sudo add-apt-repository "deb https://packages.grafana.com/oss/deb stable main"

Installer Grafana

sudo apt-get update sudo apt-get -y install grafana

Démarrer le service Grafana

sudo systemctl démarrer grafana-server sudo systemctl activer grafana-server

Grafana est maintenant installé et peut être accessible via l'IP du serveur et le port 3000. (http://server_IP:3000)

Vous devez autoriser le port 3000 à travers le pare-feu.

Pour Ubuntu :

sudo ufw autorise proto tcp de n'importe quel port 3000

Vous pouvez ensuite accéder au tableau de bord Web Grafana,

Étape 2 - Installez le système d'agrégation de journaux Grafana Loki

Nous procédons maintenant à l'installation de Loki avec les étapes ci-dessous :

  1. Accédez à la page de publication de Loki et choisissez la dernière version de Loki
  2. Aller vers Les atouts et téléchargez le fichier zip binaire Loki sur votre serveur. Lors de la sortie de cet article, la v2.0.0 est le dernier.
curl -s https://api.github.com/repos/grafana/loki/releases/latest | grep browser_download_url | cut -d '"' -f 4 | grep loki-linux-amd64.zip | wget -i -

Installer décompresser

# Ubuntu / Debian $ sudo apt install unzip # CentOS / Fedora / RHEL $ sudo yum -y install unzip

3. Décompressez le fichier binaire pour /usr/local/bin

décompressez loki-linux-amd64.zip sudo mv loki-linux-amd64 /usr/local/bin/loki

Confirmez la version installée :

$ loki --version loki, version 2.0.0 (branche : HEAD, révision : 6978ee5d) utilisateur de la version : [email protected] date de construction : 2020-10-26T15:54:56Z go version : go1.14.2 plate-forme : linux/amd64

4. Créez un fichier YAML pour Loki sous /usr/local/bin

Créez les répertoires de données requis :

sudo mkdir -p /data/loki

Créer un nouveau fichier de configuration.

sudo vim /etc/loki-local-config.yaml

Ajoutez la configuration suivante au fichier :

auth_enabled : false serveur : http_listen_port : 3100 ingester : lifecycler : adresse : 127.0.0.1 ring : kvstore : store : inmemory replication_factor : 1 final_sleep : 0s chunk_idle_period : 5m chunk_retain_period : 30s max_transfer_retries : 0 schema_config : configs : - de : 2018-04-15 store : boltdb object_store : schéma du système de fichiers : v11 index : préfixe : index_ period : 168h storage_config : boltdb : répertoire : /data/loki/index système de fichiers : répertoire : /data/loki/chunkslimits_config : force_metric_name : false unlock_old_samples : true unlock_old_samples_max_age : 168h chunk_store_config : max_look_back_period : false_periode_de_rétention : 0s gestionnaire_de_table : rétention_de : 168h

5. Créer un service Loki :

Créez le fichier suivant sous /etc/systemd/system pour démoniser le service Loki :

sudo tee /etc/systemd/system/loki.un service<

6. Rechargez le démon système puis démarrez le service Loki :

sudo systemctl démon-recharger sudo systemctl démarrer loki.un service

Vous pouvez vérifier et voir si le service a démarré avec succès :

$ sudo systemctl status loki ● loki.service - service Loki chargé : chargé (/etc/systemd/system/loki.un service; désactivée; préréglage du fournisseur : activé) Actif : actif (en cours d'exécution) depuis le lun. 2020-12-21 11:49:49 UTC ; Il y a 2min 37s PID principal : 15223 (loki) Tâches : 7 (limite : 1137) Mémoire : 13.Groupe C 6M : /système.tranche/loki.service └─15223 /usr/local/bin/loki -config.fichier /etc/loki-local-config.yaml 21 décembre 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.330959628Z appelant=table_manager.go:476 msg="créer une table" table=index_2658 21 décembre 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.331092225Z appelant=table_manager.go:476 msg="créer une table" table=index_2549 21 décembre 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.331220486Z appelant=table_manager.go:476 msg="créer une table" table=index_2562 21 décembre 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.331347316Z appelant=table_manager.go:476 msg="créer une table" table=index_2615 21 décembre 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.331471475Z appelant=table_manager.go:476 msg="créer une table" table=index_2643 21 décembre 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.327278535Z appelant=service_module.go:58 msg=initializing module=ring 21 décembre 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.331950866Z appelant=module_service.go:58 msg=initializing module=distributor 21 décembre 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.332140208Z appelant=service_module.go:58 msg=initializing module=ingester-querier 21 décembre 11:49:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:49:49.332342162Z appelant=loki.go:227 msg="Loki a commencé" 21 décembre 11:51:49 ubuntu loki[15223]: level=info ts=2020-12-21T11:51:49.311922692Z appelant=table_manager.go:324 msg="tables de synchronisation" expect_tables=141

Vous pouvez désormais accéder aux métriques de Loki via http://server-IP:3100/metrics

Étape 3 - Installer l'agent Promtail

Promtail est un agent qui expédie le contenu des journaux locaux vers une instance privée Loki ou Grafana Cloud.

  1. Téléchargez le zip binaire Promtail à partir de la page de publication
curl -s https://api.github.com/repos/grafana/loki/releases/latest | grep browser_download_url | cut -d '"' -f 4 | grep promtail-linux-amd64.zip | wget -i -

Une fois le fichier téléchargé, extrayez-le dans /usr/local/bin

décompressez promtail-linux-amd64.zip sudo mv promtail-linux-amd64 /usr/local/bin/promtail

Vérifier la version :

$ promtail --version promtail, version 2.0.0 (branche : HEAD, révision : 6978ee5d) utilisateur de la version : [email protected] date de construction : 2020-10-26T15:54:56Z go version : go1.14.2 plate-forme : linux/amd64

2. Créez un fichier de configuration YAML pour Promtail dans le /usr/local/bin annuaire:

sudo vim /etc/promtail-local-config.yaml

3. Ajoutez le contenu suivant au fichier :

serveur : http_listen_port : 9080 grpc_listen_port : 0 positions : nom de fichier : /data/loki/positions.clients yaml : - url : http://localhost:3100/loki/api/v1/push scrape_configs : - job_name : system static_configs : - cibles : - localhost labels : job : varlogs __path__ : /var/log/*log

4. Créez un service pour Promtail :

sudo tee /etc/systemd/system/promtail.un service<

5. Recharger et démarrer le service Promtail

sudo systemctl démon-recharger sudo systemctl démarrer promtail.un service

Confirmez si le service est en cours d'exécution :

$ systemctl status promtail.service ● promtail.service - Promtail service Loaded : chargé (/etc/systemd/system/promtail.un service; désactivée; préréglage du fournisseur : activé) Actif : actif (en cours d'exécution) depuis le lun. 2020-12-21 11:57:41 UTC ; Il y a 3s PID principal : 15381 (promtail) Tâches : 6 (limite : 1137) Mémoire : 8.Groupe C 8M : /système.tranche/promtail.service └─15381 /usr/local/bin/promtail -config.fichier /etc/promtail-local-config.yaml 21 décembre 11:57:41 ubuntu systemd[1]: Démarrage du service Promtail. 21 décembre 11:57:41 ubuntu promtail[15381]: niveau=info ts=2020-12-21T11:57:41.911186079Z appelant=serveur.go:225 http=[::]:9080 grpc=[::]:35499 msg="serveur à l'écoute sur> 21 décembre 11:57:41 ubuntu promtail[15381]: level=info ts=2020-12-21T11: 57:41.911859429Z appelant=principal.go:108 msg="Démarrage de Promtail" version="(version=2.0.0, branche=H>

À ce stade, nous avons installé Grafana, Loki et Promtail.

L'étape suivante consiste à configurer Grafana Dashboard et à visualiser les journaux à l'aide de Loki.

Étape 4 - Configurer la source de données Loki

  1. Connectez-vous à l'interface Web de Grafana et sélectionnez 'Explorer'. Vous serez invité à créer une source de données.

2. Cliquer sur Ajouter une source de données puis sélectionnez Loki parmi les options disponibles :

4. Saisissez les valeurs suivantes pour Loki :

Nom : Loki URL : http://127.0.0.1:3100

Voir capture d'écran ci-dessous.

5. Cliquez sur Enregistrer et tester. Vous devriez voir une notification indiquant que la source de données a été ajoutée avec succès.

Étape 5 - Visualisez les journaux sur Grafana avec Loki

Nous pouvons maintenant visualiser les logs à l'aide de Loki.

Cliquer sur Explorer puis sélectionnez Loki à la source de données

Vous pouvez maintenant visualiser facilement les journaux en sélectionnant le Étiquettes de journal options.

Conclusion

Nous avons installé avec succès Grafana Loki avec Promtail et avons pu visualiser les journaux sur un tableau de bord Grafana.

Grafana Loki peut utiliser de nombreux autres outils de transfert de journaux autres que Promtail, e.g FluentBit. Vous pouvez également utiliser Grafana Loki pour surveiller votre cluster Kubernetes. Prendre plaisir!

6 stratégies utilisées pour tester les applications cloud
Certaines des meilleures façons dont les experts testent les applications cloud sont bien connues, et d'autres ne le sont pas, et j'espère qu'après ce...
Install PowerDNS on CentOS 8 with MariaDB & PowerDNS-Admin
What is PowerDNS?. PowerDNS is an open-source authoritative name server which has been used as an alternative to BIND DNS. PowerDNS offers higher perf...
Mettre à niveau Kali Linux 2019.x à Kali Linux 2020.X
Comment puis-je mettre à niveau Kali Linux 2019.4 à Kali Linux 2020.1?. Il est facile de faire une mise à niveau de votre Kali Linux 2019.x version ve...

Site Web dédié aux gadgets, aux systèmes d'exploitation et à la technologie moderne. Beaucoup d'articles intéressants et de conseils utiles