Всем привет! Я прохожу курс “от 0 до Linux админа” вот здесь: https://yodo.im/courses/linux/?v=1d20b5ff1ee9, и у меня возник вопрос о том, как справляться с хранением и агрегированием логов на больших масштабах.
У нас выросло количество серверов до примерно 200 штук на разных средах, и наш подход к логированию стал казаться немного хаотичным. Некоторые системы по-прежнему используют локальные конфигурации logrotate, другие пересылают логи на центральный syslog сервер, а некоторые напрямую отправляют в облачное SIEM. Всё это работает, но в целом напоминает больше исторически сложившуюся практику, нежели обдуманную стратегию. Я рассматриваю такие варианты, как использование ELK, Loki/Grafana, OpenSearch или же оставить rsyslog с долгосрочным архивированием в объектное хранилище.
Несколько вопросов, которые меня интересуют:
- Как вы решаете вопросы хранения логов и соответствия нормативам?
- Архивируете ли вы и сжимаете логи локально перед их отправкой?
- Как вы справляетесь с увеличением объема логов, не увеличивая при этом сильно затраты на хранение?
- Есть ли платформы для логирования, которые вы использовали и затем пожалели об этом?
Меня интересует не столько маркетинг от вендоров, сколько реалистичный опыт эксплуатации. Если бы вы создавали стратегию ведения логов сегодня для нескольких сотен Linux серверов, что бы вы выбрали и почему? Какие уроки или ошибки постарались бы избежать?
Буду благодарен за любой ваш опыт или мнение!