옳은 길로..

이번 글에서는 저장소에 저장되어 있는 동일한 데이터에 대해 도메인마다 혹은 데이터를 보는 관점마다 다르게 접근할 수 있는 방안에 대해 다루어 보려고 합니다. 예시로 사용하고자 하는 데이터는 이전 글에서 사용한 arxiv 데이터를 그대로 사용합니다. arxiv 데이터에는 저자, 논문, 분류에 대한 데이터를 그래프 형태로 저장하고 있습니다. 만약 이 데이터를 2개의 부서 혹은 조직 혹은 사용자 그룹에서 사용하고자 한다고 가정할 때, 저자(사람)에 대한 정의가 조금씩 다를 수 있습니다. A조직은 ‘저자'라고 부르지만 B조직은 ‘연구자'라고 부를 수 있습니다. (예시를 위해 비약적으로 레이블을 통해 구분하였습니다. 실제 경우는 도메인마다 다른 유형들이 있을 것입니다.) 예시에서는 간단하지만 데이터가 많아지고 위..

지난 두개의 글은 arXiv의 데이터를 대상으로 용어 목록을 생성하고 개념화를 통한 지식 그래프를 구성하는 것에 대해 간략히 살펴보았습니다. 이는 의도적으로 두개를 분리를 하였습니다. 대부분이 아닐 수도 있지만 상당히 많은 곳에서 부서 혹은 조직 혹은 사용그룹마다 동일한 데이터를 중복으로 생성하고 관리를 하고 있을 것 같습니다. 여기에서는 분류체계를 예로 삼아 설명하고자 합니다. 만약 arxiv 카테고리 택소노미가 업데이트가 되었다고 하면, 우리는 (2개의 글을 각각의 서비스 혹은 시스템이라고 가정하여) 어떤 액션을 취해야 합니까? 변경된 내용을 우리의 것에 반영해야 합니다. 지금은 2개지만 서비스 혹은 시스템이 많아지면 그만큼 동일 작업을 해야 합니다. 대안은 분류체계를 관리를 누군가가 하고 이를 다른..

이번 글에서는 개념화를 통해 다양한 종류의 사물과 그 사물들 간의 관계를 표현하여 지식을 명시적으로 표현해 보도록 하겠습니다. 실세계의 다양한 사물들은 서로 다양하게 다른 사물과 관련되어 있습니다. 즉 서로 다양한 연결 관계를 가지고 있습니다. 우리는 그러한 관계를 개념적으로 알고 있습니다. 예를 들어 학술분야에서는 논문이 존재합니다. 논문은 그 논문을 쓴 저자가 있습니다. 논문은 하나 이상의 주제분야를 포함하고 있습니다. 또한 논문을 쓴 저자는 사람이라는 개념의 하위 개념입니다. 이러한 개념적인 관계를 표현할 수 있습니다. 사물의 유형과 사물들간의 관계를 잘 표현하는 지식 표현체계로 온톨로지를 사용하게 됩니다. 여기에서는 RDF라는 자원 기술 프레임워크를 사용하여 온톨로지를 구성합니다. 이 글에서는 아..

지식그래프 생성 지식그래프 연재에서는 지식그래프를 구성하고 이를 활용하는 것까지 간단히 살펴보고자 합니다. 모든 활용을 다룰 수는 없지만 대략적으로 많이 사용하는 방법들에 대해서 다루려고 합니다. 첫번째 연재로는 지식을 구성하는 방법으로 데이터가 주어졌을 때 일반적인 데이터베이스 구성이 아니라 명시적인 방법과 그래프 표현으로 데이터를 구성하고 저장합니다. 지식이란 정보를 체계화하고 개념화한 것입니다. 우리가 사용하는 시스템 혹은 데이터들은 분류체계, 사전, 목록 등으로 구성되는 경우가 많습니다. 이러한 종류의 데이터는 단일 데이터베이스에 구축하고 특정 응용프로그램에서만 사용하기 보다는, 용어 목록을 정의하고 공유하여 사용함으로 중복의 문제, 관리 용이성, 동일한 정책적 표준 등의 이점을 얻을 수 있습니다..

데이터 패브릭이란? 데이터 패브릭은 통합되고 풍부한 데이터를 적시에, 올바른 방법으로, 올바른 데이터 소비자에게 제공하도록 설계된 단일 통합 아키텍처입니다. 기업 전체에서 대규모로 데이터가 필요한 사람에게 데이터 액세스를 가능하게 하고, 여러 데이터 도메인에 대한 통합 액세스를 제공하는데 사용할 수 있습니다. 데이터 패브릭은 다양한 소스의 통합 데이터를 결합하여 다양한 데이터 소비자에게 전달합니다. 분석 회사 Gartner는 "2022년 최고의 전략적 기술 트렌드"로 "데이터 패브릭"을 나열하고 2024년까지 데이터 관리 공급업체의 25%가 데이터 패브릭을 위한 완전한 프레임워크를 제공할 것으로 예측합니다. 데이터 패브릭은 데이터 카탈로그, 데이터 거버넌스, 데이터 통합, 데이터 파이프라이닝 및 데이터 ..