데이터 유형에 대한 FAQ

대부분의 기업은 정형 데이터에 대해 확실히 이해하고 있으며, 이러한 데이터는 보통 행/열 형식과 월/일/년과 같은 매우 명시적인 메타데이터 요소를 갖추고 있습니다. 대용량의 정형 데이터는 거래 시스템, 데이터베이스 및 지원 부서 애플리케이션(예: ERP 시스템)에서 발생합니다. 기업에는 정형 데이터의 양이 압도적으로 많지만 데이터가 잘 정의되어 있기 때문에, 이를 관리, 분석 및 적용하는 방법을 일반적으로 잘 알고 있습니다.

대부분의 조직이 당면한 더 큰 문제는 비정형 데이터에서 가치를 이해하고 추출하는 것입니다. 비정형 데이터는 이미지, 오디오 파일, Office 또는 생산성 파일 및 스캔한 필기 메모처럼 복잡성의 정도가 다른 다양한 형식으로 제공됩니다. 이러한 데이터는 사내, 사외, 타사, 에지 장치 및 기타 소스의 어디에서든 발생할 수 있으며, 실제로 발생합니다.

비정형 데이터는 엄격한 규칙 또는 공유 형식으로 제어되지 않으므로 일관성 있는 데이터 통제 전략의 적용 및 관리가 어려울 수 있습니다. 그러나, 비정형 데이터에는 오늘날의 경쟁이 치열한 비즈니스 세계에서 조직에 필요한 중요한 인사이트가 포함되어 있을 수 있습니다.

예를 들어, 중요한 고객이 음성 메일에 불만을 남겼다고 가정합시다. 오디오 파일에서 가치를 찾으려면 오디오 파일을 재생할 수 있는 소프트웨어 애플리케이션, 물리적으로 들을 수 있는 사용자, 그리고 어떤 정보가 가치가 있고 없는지를 판단할 다른 사람이 필요합니다. 데이터 처리 전략의 일부로 오디오를 텍스트로 변환하면 녹음에 대한 액세스 권한이 있는 모든 사용자가 필요에 따라 해석할 수 있는 녹음의 일관된 보기가 생성됩니다. 또한 음성 메일의 원본을 해치지 않으면서도 다른 형태의 애널리틱스와 혼합할 수 있습니다.

핵심 인사이트를 포함하는 기타 비정형 데이터에는 필수 생산 장비를 관리하는 유지관리 기술자의 필기 메모가 포함될 수 있습니다. 타사 데이터와 관련해서는, 장기 일기 예보 또는 인플루언서가 게시한 부정적인 소셜 미디어 포스팅이 일부 제품의 수요에 상당한 영향을 미칠 수 있습니다. 이러한 유형의 데이터가 지닌 엄청난 잠재적 가치를 확인하는 것은 쉽습니다.

마지막으로, 반정형 데이터는 이 두 데이터 유형의 혼합입니다. 이 그룹에는 중요한 재무 정보가 들어 있는 Excel 스프레드시트가 포함될 수 있지만 데이터 자체는 추출하기 어렵습니다. 이러한 데이터 개체는 데이터 안에 구조를 포함하고 있지만, 표준 데이터 관리 프로세스에 필요한 외부 구조가 부족합니다. 비정형 데이터와 마찬가지로 이러한 개체는 중요한 인사이트를 포함하고 있습니다. 하지만, 지능형 데이터 거버넌스 전략 없이는 추출과 적용이 어렵습니다.

반정형 데이터는 XML 또는 JSON과 같이 자체 설명 스키마를 사용하는 모든 정보입니다. 이러한 데이터 유형에는 애플리케이션 데이터 유연성을 지원하는 개방형 스키마가 있습니다. 때때로 이러한 유형의 데이터가 정형 데이터와 결합하여 정형 데이터 저장소 내의 특정한 유형의 기록에 추가 속성을 기록하기도 합니다.

개방형 스키마는 내장된 구조를 정의하기 위한 목적으로 반정형 데이터가 데이터를 생성한 애플리케이션에 의존하지 않는다는 것을 의미합니다. 예를 들어, Oracle 데이터베이스는 정형 데이터 유형으로 간주됩니다. 데이터베이스를 관리하는 규칙은 파일을 생성하는 애플리케이션 즉, 데이터베이스에 의해 연결되고 적용됩니다.

반정형 데이터 세트를 사용하면 파일을 생성한 애플리케이션과는 상관없이 정의 및 제한조건이 파일 내에 임베드됩니다. 예를 들어, XML 파일과 웹 페이지의 계단식 스타일 시트는 모두 반정형 데이터입니다. 반정형 데이터는 메모장, 웹 사이트 구축 앱 또는 Word와 같은 Office 앱처럼 거의 모든 종류의 애플리케이션이 생성할 수 있으므로 애플리케이션이 이러한 데이터 유형에 구조나 규칙을 적용할 수 있는 방법이 없습니다.

반정형 데이터는 정형 데이터와 동일한 수준의 구조와 예측 가능성을 가질 필요가 없기 때문에 조직에서 관리하기가 어렵습니다. 반정형 데이터는 고정 필드 또는 고정 기록에 상주하고 있지 않습니다. 그와 동시에 데이터를 다양한 계층 구조로 구분할 수 있는 요소를 포함하고 있기 때문에(쉼표로 구분된 파일 또는 탭으로 구분된 파일) 비정형 데이터보다 경직성이 높습니다.

데이터를 플랫 테이블로 나타내는 정형 데이터와는 달리 반정형 데이터는 중첩된 정보의 n-수준 계층 구조를 포함할 수 있습니다. 이는 표준 데이터 관리 프로세스를 반정형 데이터에 적용하는 것이 쉽다는 것을 의미하며, 이를 통해 인사이트를 쉽게 추출할 수 있습니다. 기업이 데이터를 데이터 거버넌스로 관리할 수 있는 정형 또는 비정형 데이터 모델로 로드하는 데 필요한 툴과 기술을 보유하고 있는지 확인하는 것이 실질적인 문제입니다.

현재, 오늘날의 기업이 직면한 가장 큰 과제는 비정형 데이터의 폭발적인 증가입니다. 실제로, 오늘날 작성된 모든 새 데이터의 80%는 비정형 데이터입니다. 이는 대부분의 조직이 따라가기에 벅찬 수치이며, 회사가 인지하고 있지도 않은 정보를 수집할 가능성이 있음을 나타냅니다. 따라서, 비정형 데이터를 적절하게 사용하고 보호하는 것은 매우 어렵고 조직이 점차 증가하는 데이터 보호 규정을 부족한 인식으로 인해 의도치 않게 위반하게 되는 경우가 있기 때문에 리스크가 발생합니다.

두 번째 과제는 데이터로 무엇을 할 지 아는 것입니다. 이렇게 거대하고 증가하는 데이터 볼륨을 저장, 유지하기 위해서는 인프라가 필요합니다. 데이터 유지 관리에는 상당한 업무 시간과 비용이 들기 때문에 대부분의 조직은 이를 갖추고 있지 않습니다. 더 중요한 것은 방대한 데이터 볼륨때문에, 분명히 존재하는 중요한 전략적 인사이트를 끄집어 내기가 어렵다는 것입니다.

데이터는 계속해서 증가할 것이고 복잡성은 항상 변할 것이며, 생산자와 소비자 수는 끝도 없이 늘어날 것입니다. 이에 대한 해결책이 바로 지능형 데이터 거버넌스입니다. 이를 통해 정형 및 반정형 데이터뿐만 아니라 비정형 데이터에 대한 접근성을 확실히 하고 데이터를 정리, 레이블링, 보호, 관리하기 위한 정책 및 모범 사례를 수립할 수 있습니다. 잘 정의된 데이터 거버넌스 전략을 수립하면 데이터 증가, 데이터 품질, 데이터 관련성 및 데이터 가용성에 보다 잘 대처하도록 준비할 수 있습니다.

간단히 말해 지능형 데이터 거버넌스는 데이터를 제어하고 보호하며, 데이터에 액세스할 수 있도록 하여 최상위 비즈니스 전략을 수행하는 것을 의미합니다. 또한, 데이터 거버넌스는 데이터의 출처, 현재 위치, 데이터에 액세스할 수 있는 사람, 데이터에 포함된 내용 및 데이터 보존 기간도 의미합니다. 지능형 데이터 거버넌스는 또한, 사소한 데이터가 전략적으로 중요한 정보와 구별된다는 것도 의미합니다.

데이터가 중앙 집중화되고 신중하게 관리되면 데이터의 진정한 전략적 잠재력을 발휘할 수 있습니다. 기업은 고객의 요구를 쉽게 파악하고, 새로운 문제를 예측하며, 새로운 비즈니스 기회를 모색하고, 감독 당국의 문의에 대응할 수 있습니다. 또한, 이러한 정보 자산의 저장 및 관리 비용을 최적화하는 동시에 비즈니스 핵심 이해 관계자는 데이터를 활용하여 의사 결정을 개선할 수 있습니다.

데이터 거버넌스에 있어서는 적절한 균형을 맞추는 것이 중요합니다. 모든 유형의 데이터는 반드시 면밀히 관리해야 하지만, 조직은 여전히 데이터에 액세스할 수 있어야 하며 빠르게 변화하는 오늘날의 세계에서 필수적인 높은 수준의 유연성과 속도를 지원할 수 있어야 합니다.

좋은 소식은 데이터 거버넌스 프로세스를 간소화하고 가속화할 수 있는 혁신적이고 자동화된 솔루션으로 조직의 귀중한 시간과 비용을 절감할 수 있다는 것입니다.

Hitachi Vantara는 말 그대로 데이터 거버넌스의 선구자가 되었습니다. 데이터 스토리지 및 관리 분야에서 확고한 리더십을 갖추고 있는 Hitachi의 전문가들은 데이터 거버넌스의 복잡한 작업을 자동화 솔루션을 통해 쉽고 간편하게 수행하도록 도와드립니다. 이를 통해 귀사는 다음과 같은 작업을 쉽게 수행하실 수 있습니다.

• 데이터 품질 보장.
• 데이터를 식별 가능하게 만들기.
• 데이터를 중앙 집중화하고 액세스 가능하게 만들기.

Hitachi는 정형, 비정형 및 반정형 데이터를 정리, 식별 및 중앙 집중화하는 자동화된 솔루션을 구현하여 막대한 전략적 가치를 지닌 "진실의 단일 원천"을 만들 수 있도록 지원합니다. 일상적인 운영, 고객 및 거래 파트너, 재무 및 새로운 동향에 대한 새로운 통찰력을 얻어서 회사 및 재무 결과에 영향을 미칠 수 있습니다.

지능형 데이터 거버넌스는 일반적인 회사에 다음과 같은 다양한 전략적 이점을 제공합니다.

• 의사 결정 개선. 잘 통제된 데이터는 접근과 적용이 더 쉽습니다. 즉, 비즈니스 전반의 이해관계자는 직관이나 추측이 아닌 사실에 근거하여 의사결정을 내릴 수 있습니다.
• 운영 효율성. 성능 메트릭을 비롯한 중요한 데이터를 사용하여 매일 회사가 일하는 방식의 병목 지점과 비효율성을 식별하고 해결할 수 있습니다. 이를 위해서는 정확한 현재 데이터에 대한 액세스가 필수적입니다.
• 데이터 이해도 및 계통 개선. 데이터에 대한 "데이터 추적"과 모든 책임을 이해하면 감사에 대한 시기적절한 대응, 보다 효과적인 조기 사례 평가 활동 및 데이터 손상과 침해를 보다 사전에 예방할 수 있는 접근 방식을 가능하게 합니다.
• 규정 준수. 점점 더 많은 기업이 관리 및 저장하는 데이터와 관련한 복잡한 개인정보 보호 및 보안 규정을 준수해야 합니다. 데이터 거버넌스는 적용 가능한 모든 규정 사항에 명시된 규칙과 조직의 합치성을 보장하고 입증하는 중요한 요소입니다.
• 매출 증가. 정확하고 정밀한 실시간 데이터로 자신있게 무장한 기업은 매출 및 영업 이익에 긍정적인 영향을 미치는 보다 나은 의사 결정을 더욱 빨리 내릴 수 있습니다.

데이터 볼륨이 기하급수적으로 증가하고 있으므로 Hitachi Vantara는 분기마다 데이터 거버넌스 정책 및 관행을 검토할 것을 권장합니다. 기업은 매 3개월마다 데이터에 대한 "큰 그림"을 살펴 봄으로써 새로운 동향을 파악하고 문제를 해결하며 데이터가 전략적 리소스로 꾸준히 기능하도록 보장할 수 있습니다.

Hitachi는 데이터 거버넌스를 위한 전략 구축에 더해서 모든 조직에게 최고 데이터 책임자(CDO) 직책을 만들 것을 권유합니다. 조직 내에서 CDO는 "데이터의 목소리" 역할을 하며, 데이터를 보호하고 데이터의 전략적 기여를 지속적으로 극대화합니다.

새롭게 부상하고 있는 개념인 DataOps,즉 데이터 운영은 인공지능 시대를 위한 엔터프라이즈급 데이터 관리입니다. 매우 중요한 DataOps 전략을 도입하면 데이터 소비자와 생산자를 원활하게 연결하여 데이터의 모든 가치를 신속하게 찾아 활용할 수 있습니다.

데이터 운영은 제품이나 서비스 또는 솔루션이 아니라 방법론입니다. 보다 나은 데이터 품질, 더욱 짧은 주기 및 우수한 데이터 관리를 통해 조직의 데이터 활용을 개선하기 위한 기술적이자 문화적인 변화입니다.

DataOps는 정보를 수집하고 적용하는 전체 사이클에 걸쳐 있기 때문에 조직이 모든 유형의 데이터를 효율적으로 관리하는 것이 절대적으로 필요합니다. 데이터를 정리하고 관리하며 즉시 액세스할 수 있게 함으로써 DataOps 이니셔티브는 추측이 아닌 팩트에 기반하여 전략적 결정을 내리는 데 필요한 올바른 정보를 지원합니다.

Hitachi Vantara는 DataOps와 데이터 거버넌스 모두에서 입증된 전문 지식을 보유하고 있기 때문에 모든 유형의 데이터에서 Hitachi는 타고난 파트너입니다. Hitachi는 데이터 기반 문화와 사고방식을 도입하여 매일 데이터를 비즈니스에 집중할 수 있도록 지원합니다.