4,8 TB de logs par jour, mesuré pendant 24 heures
Notre objectif était 5 TB par jour sur une infrastructure haute disponibilité chez Scaleway à Amsterdam. Cette page montre ce que nous avons mesuré, comment, ce qui n'a pas bien fonctionné et les données brutes pour le vérifier vous-même.
En bref
LogPulse a traité 10,64 milliards d'événements en 24 heures, environ 4,8 TB de logs par jour, sur une infrastructure haute disponibilité de 8 nœuds chez Scaleway à Amsterdam, pendant que 25 analystes faisaient des recherches et que 200 règles de détection tournaient. Il n'y a eu aucune erreur serveur et aucun événement perdu. Les nouvelles données étaient consultables en 3,8 secondes (p95). Nous l'avons mesuré nous-mêmes en novembre 2026. Les données brutes sont sur cette page.
Ce que nous avons mesuré
24 heures, 1 440 minutes, à partir du 14 novembre 2026 21:36 UTC.
Volume
4,8 TB/jour
10,64 milliards d'événements en 24 heures, 55,4 MB/s en moyenne. Pic à 73 MB/s et 163 000 événements par seconde.
Erreurs
0
Aucun HTTP 5xx, aucun redémarrage de pod et aucun événement perdu en 24 heures.
Consultable après (p95)
≤ 3,8 s
Temps entre l'envoi d'un événement et sa présence dans la recherche, pendant la minute la plus lente. Habituellement 2,4 s.
Compression
9,4×
8,2 TB de logs bruts ont occupé 911 GB dans ClickHouse (12,45 milliards de lignes), sur notre mix de données générées.
De l'attaque au notable (médiane)
6 min
58 scénarios d'attaque mesurés, règles exécutées toutes les 5 minutes. 90 % en moins de 11 minutes, le plus lent après 16.
Charge en plus de l'ingestion
25 + 200
25 analystes ont fait des recherches, 2 tableaux de bord se sont rafraîchis chaque minute et 200 règles de détection ont tourné toutes les 5 minutes.
Comment nous avons testé
Une infrastructure de production haute disponibilité, le vrai chemin réseau et une charge comparable à celle d'un SOC.
Infrastructure
- ClickHouse
- 2 × 32 vCPU / 128 GB (POP2-32C-128G), 1 shard avec 2 répliques
- Application
- 3 × 16 vCPU / 32 GB (POP2-HC-16C-32G), autoscaling de 3 à 8 nœuds. API de 11 à 16 pods, 12 workers
- Kafka
- 3 × 8 vCPU / 32 GB (POP2-8C-32G), rétention de 12 heures
- Disques
- ClickHouse 2 × 1 TB en stockage bloc à 15K IOPS, Kafka 3 × 400 GB
- Autres
- Postgres managé en HA, Kubernetes (Scaleway Kapsule), load balancer LB-GP-L
- Générateurs de charge
- 2 × 16 vCPU / 32 GB dans un pool de nœuds séparé, hors de l'infrastructure mesurée
Scaleway, Amsterdam (nl-ams-3), novembre 2026. Le même chart Helm et les mêmes conteneurs que LogPulse en production et on-premises.
Charge
Mix de données
Sept types de logs par volume : firewall 35 %, DNS 15 %, Windows 15 %, réseau 10 %, Linux 10 %, web 10 % et e-mail 5 %. Des événements générés avec des champs réalistes, aucune donnée client.
Vrai chemin réseau
Les générateurs envoient au nom d'hôte public de l'API en TLS, via le load balancer et l'ingress, comme un client. 30 % des requêtes sont compressées en gzip.
Courbe journalière
L'objectif suit une courbe journalière d'environ 40 MB/s la nuit à 75 MB/s en journée.
25 analystes et 2 tableaux de bord
Des analystes simulés font des recherches aux heures de bureau, des 15 dernières minutes aux 24 dernières heures. Deux tableaux de bord de 8 panneaux se rafraîchissent chaque minute.
200 règles de détection
10 règles pour les scénarios d'attaque plus des règles gérées du hub LogPulse sur les mêmes index, 200 au total, chacune toutes les 5 minutes.
Scénarios d'attaque
Toutes les 10 minutes, une attaque connue entre dans les données : force brute sur Windows et SSH, scan de ports, tunnel DNS, PowerShell encodé, IP malveillante connue, injection SQL, pièce jointe ISO, shell sudo et exfiltration. Un watcher mesure le temps jusqu'au notable.
Fenêtre de mesure : 24 heures sans intervention, du 14 novembre 2026 21:36 UTC au 15 novembre 2026 21:36 UTC. Avant la fenêtre, nous avons mis à jour la plateforme sous charge et redémarré une réplique ClickHouse et un broker Kafka. Aucun événement n'a été perdu. Ces tests ne font pas partie des chiffres sur 24 heures.
Comment chaque chiffre est mesuré
Un reporter dans la stack a écrit chaque minute une ligne avec toutes les mesures. Voici les définitions.
- Événements et MB envoyés
- Comptés par les générateurs de charge, taille non compressée avant gzip.
- Erreurs
- Codes HTTP par seconde côté générateurs et côté ingress-nginx, redémarrages de pods depuis Kubernetes. Le compteur de retries des générateurs est resté identique pendant toute la fenêtre.
- Latence d'ingestion
- Temps entre l'envoi d'un lot et la réponse, p95 par minute, mesuré côté client. 0,9 s en moyenne, 2,3 s pendant la minute la plus lente. L'API elle-même répond en 30 à 50 ms, le reste est la réception du corps par l'ingress.
- Consultable après
- Une sonde écrit un événement marqué et cherche jusqu'à le trouver. p95 par minute.
- Règles en retard
- Nombre de règles actives dont la prochaine exécution est en retard, par minute.
- De l'attaque au notable
- Temps entre l'injection d'un scénario et le notable en base de données, mesuré par un watcher pour chaque scénario.
- Stockage
- Lignes et octets compressés et non compressés de la table de logs, depuis les tables système de ClickHouse, à la fin du test.
Ce qui n'a pas bien fonctionné
Voici les points faibles de ce test et ce que nous avons fait pour y remédier.
4,8 TB par jour en moyenne, pas 5
En journée, l'ingestion est restée autour de 68 des 75 MB/s. L'ingress écrivait d'abord chaque requête d'environ 450 KB sur disque. C'est corrigé (le corps reste en mémoire et l'ingress tourne sur plusieurs nœuds), mais pas encore remesuré.
Détection brièvement en retard pendant 34 minutes
Les règles d'une organisation s'exécutaient l'une après l'autre. Avec 200 règles toutes les 5 minutes, c'est juste à la limite : pendant 34 des 1 440 minutes, une partie des règles (108 au maximum) était en retard, revenant chaque fois à 0 en quelques minutes. Les règles tournent désormais en parallèle. Cela aussi doit encore être remesuré.
Données générées
Les événements viennent de modèles. Les vrais logs varient davantage et se compressent généralement moins que 9,4×. Calculez le stockage sur vos propres logs.
2 jours de rétention
Les disques de test contenaient environ 2 jours. À cette charge, ClickHouse grossit d'environ 510 GB par jour et par réplique : une rétention plus longue demande plus de disque ou du tiering vers l'object storage.
Restauration non testée
Nous avons testé le failover sous charge, pas la restauration d'une sauvegarde. Ce sera fait lors du prochain test.
La moitié des injections d'attaques a échoué dans l'outil de test
Une injection sur deux a été interrompue par une erreur de connexion dans notre propre outil de simulation. Les temps de détection ne comptent que les scénarios dont l'injection a réussi.
Notre propre test
Nous avons mené et mesuré ce test nous-mêmes, sur une organisation et une stack. Ce n'est pas un audit indépendant. C'est pourquoi les données minute par minute sont téléchargeables et que nous répétons la mesure lors d'un pilote.
Ce que coûte cette infrastructure
Prix catalogue Scaleway au 14 novembre 2026, hors TVA, sur 730 heures par mois. Infrastructure seule, sans la licence LogPulse.
Comme testé, 2 jours de rétention
~4 000 €/mois
De 3 950 à 4 150 €. Postgres, control plane et load balancer sont estimés.
30 jours sur disque rapide
~7 800 €/mois
Environ 15 TB par réplique en stockage bloc à 15K IOPS.
30 jours avec tiering
~4 900 €/mois
7 jours sur disque rapide, le reste sur Object Storage. La recherche dans les données anciennes est plus lente.
Sources : Scaleway Instances, Scaleway Storage.
Vérifiez par vous-même
Les données minute par minute sont publiques. Chaque chiffre de cette page peut en être recalculé.
Données par minute (CSV, 320 KB)
1 745 minutes de 30 mesures chacune, y compris la montée en charge avant la fenêtre. La colonne in_window marque les 24 heures.
Résumé (JSON)
Les chiffres de la fenêtre, calculés à partir du CSV.
Les générateurs de charge, la simulation de SOC et le reporter font partie du chart Helm de LogPulse sous forme de mode test d'endurance. Chaque chiffre du reporter vient d'une requête Prometheus ou ClickHouse dans ce code. Les clients Enterprise et les participants à un pilote reçoivent les mêmes outils.
Vous voulez savoir ce que fait LogPulse sur votre matériel et avec vos logs ? Lors d'un pilote, nous menons ensemble le même test, avec votre mix de logs et votre rétention.
Questions
Sur le test et ce qu'il signifie pour vous.
Combien de logs par jour LogPulse peut-il traiter ?
Dans notre test de 24 heures, une infrastructure haute disponibilité de 8 nœuds (2 ClickHouse, 3 applicatifs, 3 Kafka) a traité 10,64 milliards d'événements, environ 4,8 TB par jour, sans erreur serveur ni événement perdu. Plus de nœuds donnent plus de capacité. Nous dimensionnons chaque stack Enterprise selon son propre volume.
Ce test est-il représentatif d'un usage réel ?
Il s'en approche : le trafic passait par le chemin réseau public, des analystes cherchaient, des tableaux de bord se rafraîchissaient et 200 règles tournaient. Les données étaient toutefois générées et il s'agissait d'une seule organisation. Les vrais logs se compressent différemment, c'est pourquoi nous remesurons sur vos propres logs lors d'un pilote.
Comment cela se compare-t-il à Splunk ?
Nous n'avons pas fait tourner Splunk dans le même test, nous ne publions donc pas de comparaison de performances. Splunk Cloud est facturé au volume ingéré ; un document tarifaire d'un revendeur dans le catalogue britannique G-Cloud 15 (janvier 2026) indique 764,75 $ par GB par jour et par an entre 5 000 et 9 999 GB par jour. LogPulse Enterprise est tarifé sur accord. Demandez-nous un devis pour votre volume.
De quoi ai-je besoin pour 5 TB par jour ?
Partez de l'infrastructure testée : 2 nœuds de base de données de 32 vCPU et 128 GB, 3 à 8 nœuds applicatifs de 16 vCPU et 32 GB et 3 nœuds Kafka de 8 vCPU et 32 GB, plus le disque pour votre rétention (environ 510 GB par jour et par réplique avec ce mix). La page on-premises présente les profils.
Le test a-t-il été vérifié de manière indépendante ?
Non. Nous l'avons mené nous-mêmes et publions les données brutes pour que chacun puisse recalculer les chiffres. Lors d'un pilote, vous mesurez avec nous.
Mesurez-le sur vos propres logs
Nous menons le même test lors d'un pilote, sur votre propre matériel ou sous forme de stack dédiée dans notre cloud européen.
Mesuré par LayerCares B.V. les 14 et 15 novembre 2026 dans les conditions décrites sur cette page. Les résultats dépendent du matériel, du mix de logs, de la rétention et de la configuration et ne constituent pas une garantie de performance. Splunk est une marque de son propriétaire ; LogPulse n'est pas affilié à Splunk. LogPulse est un nom commercial de LayerCares B.V.