Ви.Tech - команда инженеров которая строит ИТ для http://vi.ru
Реализация стандарта логирования на базе OpenTelemetry Logs Data Model. Мы адаптировали для себя OpenTelemetry Logs Data Model, что возволило нам стандартизировать работу с логами. Это существенно облегчило эксплуатацию системы сбора логов DevOps/SRE команде, высвободило большое количество инженерного времени. Вместо 5 часов на подключение одного источника логов, теперь мы тратим 5-10 минут - проверить что логи поступают.
Реализовано при помощи: vector.dev, Ansible playbook, ClickHouse, Redash (или HyperDX из ClickStack).
В данном репозитории предложены:
- Шаблоны кода компонентов пайплана vector.dev
- Makefile для управления задачами
- Ansible playbook генерации конфигурации vector.dev из шаблонов
- Схема данных CickHouse
- Демо работы системы на основе Deocker-compose для локального изучения
По мере обнаружения багов или добавленя функционала мы будем выкладывать сюда обновления.
ВАЖНО! Сайты vector.dev могут частично попадать в блокировку РКН, потому чтобы установщик мог скачать образы, нужно включить VPN.
Если нужно, то можем собрать готовый образ и положить сюда - заведите Issue если это действительно вам нужно.
Читайте в статьях:
- Как ELK довел нас… до Vector.dev и Clickhouse (Habr, 2024)
- Vector.dev: как упростить подсчет метрик по логам (Habr, 2024)
- Практики SRE: стандартизация логов (Habr, 2024)
Доклады:
- Как ELK довел нас… до Vector.dev и Clickhouse (2024, DevOpsConf). Видео YouTube
- Укрощение хаоса логов с помощью модели OpenTelemetry, Vector и ClickHouse. Итоги за два года (2025, DevOpsConf). Видео VK Video