Knowledge Graph와 Data Fabric

데이터 패브릭이란?

데이터 패브릭은 통합되고 풍부한 데이터를 적시에, 올바른 방법으로, 올바른 데이터 소비자에게 제공하도록 설계된 단일 통합 아키텍처입니다. 기업 전체에서 대규모로 데이터가 필요한 사람에게 데이터 액세스를 가능하게 하고, 여러 데이터 도메인에 대한 통합 액세스를 제공하는데 사용할 수 있습니다. 데이터 패브릭은 다양한 소스의 통합 데이터를 결합하여 다양한 데이터 소비자에게 전달합니다.

 

분석 회사 Gartner는 "2022년 최고의 전략적 기술 트렌드"로 "데이터 패브릭"을 나열하고 2024년까지 데이터 관리 공급업체의 25%가 데이터 패브릭을 위한 완전한 프레임워크를 제공할 것으로 예측합니다.

 

데이터 패브릭은 데이터 카탈로그, 데이터 거버넌스, 데이터 통합, 데이터 파이프라이닝 및 데이터 오케스트레이션과 같은 주요 데이터 관리 기술을 결합합니다.

Gartner: An ideal, complete data fabric design with its many components.

 

현재 기업 데이터가 관리되는 방식

기업에서 고유한 비즈니스 요구 사항에는 고유한 데이터 소스가 있는 경우가 많아 상호 작용이 거의 없는 독립적으로 관리되는 데이터 "사일로"가 생깁니다.

데이터가 수십, 때로는 수백 개의 레거시 및 클라우드 시스템에 흩어져 있어 단일 정보 소스를 달성하기 어려움도 있습니다.

데이터가 기하급수적으로 증가하여 기업이 관리해야 하는 복잡성이 훨씬 더 커졌습니다. 종종 데이터 엔지니어링이 필요한 경우 액세스하기 어려운 데이터도 발생합니다.

뿐만 아니라 비즈니스 분석가, 운영 데이터 소비자, 데이터 엔지니어 및 데이터 과학자 간의 의사 소통 부족으로 데이터 교환에 어려움도 있습니다.

데이터 사일로, 액세스, 보안 위험 및 의사 결정에 대한 일반적인 병목 현상과 같은 심각한 문제가 발생함에 따라 데이터 환경의 통합 및 거버넌스가 우선 순위가 높아졌습니다.

데이터 패브릭

데이터 패브릭은 기업이 재사용 가능한 자산으로써 자체 비즈니스 용도로 데이터를 관리하고, 기업의 다른 부분에서 이를 사용할 수 있도록 해주는 동적 분산 엔터프라이즈 데이터 아키텍처입니다. 비즈니스 데이터를 통합된 방식으로 제공함으로써, 데이터 패브릭을 통해 기업은 일상 생활에서 기대하는 연결된 데이터에 쉽게 액세스할 수 있습니다.

데이터를 통합된 방식으로 제공하려면 말 그대로 데이터를 통합해야 하는데 데이터 통합이 필요할 때마다 새로운 통합 애플리케이션을 구축할 수는 없습니다. 데이터에 접근하는 방식에 변화를 줘야 합니다.

데이터 패브릭 아키텍처는 플랫폼의 데이터와 이를 필요로 하는 애플리케이션이 느슨하게 결합한다는 아이디어를 기반으로 작동합니다. 지금과는 완전히 다른 사고 방식으로 특정 애플리케이션과 무관한 데이터 자산 그 자체로 간주해야 합니다. 즉, 데이터 자산을 특정 애플리케이션과 분리하여 그 자체로 가치 있는 것으로 생각해야 합니다. 이렇게 하면 데이터 자산이 과거, 현재, 미래의 여러 애플리케이션에 서비스를 제공할 수 있습니다. 이것이 데이터 아키텍처를 진정으로 확장 가능하게 만드는 방법입니다.

데이터 자산 그 자체로 데이터에 접근하기 위해서는 데이터와 메타데이터의 의미에 대한 부분과 엔터프라이즈 데이터 관리에 대한 부분이 함께 구성되어야 합니다. 이러한 데이터 패브릭을 달성하는 가장 좋은 방법은 지식 그래프 기술을 배포하여 엔터프라이즈 데이터를 의미 있는 방식으로 통합하는 것입니다.

데이터 패브릭과 지식 그래프

지식 그래프는 기존 데이터 인프라를 데이터 패브릭으로 변환하는데 중요한 역할을 담당할 수 있습니다.

지식 그래프의 명시적인 지식의 표현을 통해 기업의 비지니스 개념을 기술할 수 있습니다. 다양한 도메인에서 사용하고 있는 개념들을 통합적으로 그래프 모델에 표현하고 설명이 가능하게 됩니다. 또한 새로운 개념과 개념간의 관계 또는 속성들을 확장하기가 용이한 구조를 가지고 있습니다. 따라서 기업이 보유하고 사용하는 데이터의 변화에 따라 유연하게 대응이 가능합니다.

지식 그래프에서 사용하는 온톨로지의 특징인 상호 운용성으로 인해 데이터 패브릭 아키텍처를 통해 표현된 데이터는 상호 운용성을 보장하면서 데이터를 교환하거나 공유가 가능합니다. 또한 지식 그래프의 다른 특징으로 사용자가 데이터를 찾고 액세스를 하고자 하는 요구 사항을 만족시켜 줍니다. 이는 데이터를 찾아서 넓고 깊은 데이터 저장소를 찾아 헤매는 것이 아니라 데이터 그 자체를 자산으로서 제공하며 활용이 가능하게 해줍니다.

 

 

 

참고:

https://www.ibm.com/topics/data-fabric

https://neo4j.com/knowledge-graphs-data-in-context-for-responsive-businesses/

https://www.k2view.com/what-is-data-fabric

https://www.alation.com/blog/what-is-a-data-fabric/

https://data.world/blog/data-catalog-powered-by-knowledge-graph/