빅 데이터 시대의 과제 탐색: 통신 계량 데이터의 효과적인 처리 및 활용

오늘날의 소프트웨어 중심 세계에서 생성되는 데이터의 양은 기하급수적으로 증가하고 있으며 계속해서 증가할 것입니다. Mezmo CEO Tucker Callaway가 원격 측정 데이터 처리의 과제와 DevOps 팀이 이를 효과적으로 극복할 수 있는 방법에 대해 논의합니다.
향후 몇 년 동안 수억 개의 새로운 애플리케이션이 배포되면서 데이터는 연평균 22%라는 놀라운 성장률로 증가할 것으로 예상됩니다. 이러한 데이터의 폭발적인 증가는 조직에 귀중한 통찰력을 얻고 경쟁 우위를 유지할 수 있는 기회를 제공하지만, 이 데이터를 관리하고 보호하는 데 어려움을 겪기도 합니다. IT 예산은 감소하는 반면 규정 준수 및 보안 비용은 증가하고 있습니다. 또한 숙련된 인재 부족으로 인해 DevOps 직원 채용이 극도로 어려워졌습니다.
이러한 장애물로 인해 애플리케이션이 원활하게 실행되도록 원격 측정 데이터(추적, 지표 및 로그)를 관리하고 분석해야 하는 이미 과부하된 DevOps 팀에 문제가 발생했습니다. 전통적으로 조직에서는 데이터 레이크에서 원격 측정 데이터를 관리하고 나중에 이를 이해하려고 노력해 왔습니다. 그러나 데이터의 양과 복잡성이 급증함에 따라 이러한 접근 방식은 효과가 없어졌고, 이는 조직이 명확한 사용 전략 없이 대량의 데이터를 축적하는 데이터 비축(data hoarding)으로 이어졌습니다.
이 문제를 해결하기 위해 DevOps 팀은 원격 측정 데이터를 처리하는 보다 효율적인 방법, 특히 데이터가 실시간으로 처리되고 저장되기 전에 조치를 취할 수 있는 데이터 흐름에서 처리하는 방법이 필요합니다. 이러한 변환을 활성화하려면 원격 측정 데이터가 대상에 도달하기 전에 표준화, 필터링 및 처리 축소를 포함하는 다각적인 노력이 필요합니다. 이는 관찰 가능성, 보안, 규정 준수 및 분석 사용 사례에 매우 중요합니다. 그러나 원격 측정 데이터를 거의 실시간으로 처리할 수 있는 규모와 능력은 DevOps 팀이 효율성과 효과를 달성하기 위해 극복해야 할 많은 장애물을 만듭니다.
또한 원격 측정 데이터에 관해 논의할 내용이 훨씬 더 많습니다. 가시성을 희생하지 않고 전체 로그 수를 줄이려면 조직의 고유한 요구 사항에 맞는 전략의 조합이 필요합니다. 한 가지 전략은 특정 기준에 따라 로그를 라우팅하는 것입니다. 유사한 애플리케이션을 함께 그룹화하면 S3 버킷에서 가치가 낮은 데이터를 분석하고 저장할 로그 수를 줄일 수 있습니다. 동시에 추가 분석을 위해 높은 가치의 로그가 보관되며 if-then-else 조건을 사용할 수 있습니다.
또 다른 효과적인 전략은 샘플링과 집계입니다. 로그를 줄이면 시스템을 과밀화하지 않고도 대표 부분을 추출하여 가시성을 확보할 수 있습니다. 집계에는 중복을 제거하고 데이터를 보다 정확하게 표현하기 위해 지표를 결합하는 작업이 포함됩니다. 보다 복잡한 전략에는 중복 제거 및 감소가 포함되며 로그를 필터링할 수 있도록 특정 조건을 식별해야 합니다. 로그 중복 제거를 주장하는 자동화된 솔루션은 각 회사마다 사용자 정의가 필요한 고유한 데이터 요구 사항이 있기 때문에 제대로 작동하지 않는 경우가 많습니다. 대신, 로그에서 패턴이나 키워드를 식별하면 조직이 특정 기준을 충족하는 로그를 일치시키고 필터링하는 데 도움이 됩니다.
DevOps 팀이 불필요한 로그 제거를 대부분 완료한 후 다음 단계는 데이터를 보다 관리하기 쉬운 형식으로 변환하는 것입니다.성공적인 변환을 위해서는 JSON 로깅이나 OpenTelemetry와 같은 표준을 확립하는 것이 중요합니다. 모든 애플리케이션이 즉시 이러한 표준에 맞는 것은 아니지만 이를 승격하면 최종적으로 채택될 수 있습니다. 이러한 표준은 완전히 시행되지 않더라도 개발 팀을 위한 지침 역할을 할 수도 있습니다. 이는 팀 전체에서 데이터를 체계적으로 정리하는 데 도움이 됩니다.
표준이 설정되면 사용자 정의 필드를 로그에서 제거하고 더 쉽게 참조하고 관리할 수 있는 별도의 로그 개체(예: 메타 개체)에 배치할 수 있습니다. 또한 측정항목의 세분성에 대한 제한을 설정하면 특정 요구 사항이 충족될 때 측정항목이 다운스트림 대상에 도달할 때 측정항목의 정확성을 보장하는 데 도움이 될 수 있습니다. 예를 들어, 중복된 호스트 이름이나 쓸모 없는 ID를 제거하면 로그의 효율성과 정확성을 높일 수 있습니다.
자동화는 많은 이점을 제공하지만 불필요한 복잡성과 오버헤드를 초래할 수도 있습니다. 자동화를 최적화하고 그 가치를 보장하려면 코드가 사용되는 위치, 구성 관리 방법, 에이전트 유지 관리 방법을 평가하는 것이 중요합니다. 코드 사용을 결정할 때는 비즈니스 로직으로 제한하세요. 자동화의 진정한 가치는 조직의 고유한 비즈니스 프로세스를 포착하고 이를 반복 가능하고 확장 가능한 자동화 프로세스로 코드화하는 데 있습니다.
DevOps 팀의 일반적인 실수는 크론 작업에 의존하여 비즈니스 프로세스를 자동화하는 것입니다. 크론 작업은 특정 상황에서 유용할 수 있지만 문제가 발생할 때 디버그하기 어려운 경우가 많습니다. DevOps 팀은 크론 작업 사용을 최소화함으로써 자동화 실패 위험을 줄이고 문제 발생 시 문제 해결을 단순화할 수 있습니다.
또 다른 주요 고려 사항은 구성을 관리하는 방법입니다. 모든 구성을 코딩할 수 있지만 코드로 시작하는 것이 항상 최선의 접근 방식은 아닐 수도 있습니다. 필요한 유연성에 따라 코드로 전환하는 데 다른 방법이 필요할 수도 있고 그 반대로 필요할 수도 있습니다. 가장 적합한 솔루션을 결정하려면 두 가지 옵션을 모두 제공하고 필수 구성 요소(예: 필터링 패턴 및 논리)를 평가하는 도구를 사용하는 것이 좋습니다.
유지 관리 에이전트도 고려해야 할 측면입니다. 많은 조직에서는 최신 패치와 기능을 얻기 위해 에이전트를 업데이트하는 데 어려움을 겪고 있으며 그 결과 원격 측정 데이터가 손실됩니다. 데이터 수집 프로세스의 일부로 에이전트 업데이트 프로세스를 표준화하는 것은 이 문제를 해결하는 데 중요한 단계입니다.
더 많은 조직이 디지털 기술을 채택함에 따라 대량의 원격 측정 데이터를 처리하는 과제가 계속해서 커지고 있습니다. 필연적으로 문제가 발생하겠지만, 데이터를 직접 저장하는 대신 데이터 스트림에서 데이터를 처리하는 방향으로 전환하는 것은 올바른 방향으로 나아가는 단계입니다. 이 접근 방식을 통해 조직은 놓칠 수 있는 중요한 통찰력과 기회를 발견함으로써 앞서 나갈 수 있습니다.
그렇다면 원격 측정 데이터를 처리하는 문제를 어떻게 처리합니까? Facebook, Twitter, LinkedIn을 통해 여러분의 생각을 공유해주세요. 우리는 귀하의 의견을 듣고 싶습니다!