옳은 길로..

데이터 패브릭이란? 데이터 패브릭은 통합되고 풍부한 데이터를 적시에, 올바른 방법으로, 올바른 데이터 소비자에게 제공하도록 설계된 단일 통합 아키텍처입니다. 기업 전체에서 대규모로 데이터가 필요한 사람에게 데이터 액세스를 가능하게 하고, 여러 데이터 도메인에 대한 통합 액세스를 제공하는데 사용할 수 있습니다. 데이터 패브릭은 다양한 소스의 통합 데이터를 결합하여 다양한 데이터 소비자에게 전달합니다. 분석 회사 Gartner는 "2022년 최고의 전략적 기술 트렌드"로 "데이터 패브릭"을 나열하고 2024년까지 데이터 관리 공급업체의 25%가 데이터 패브릭을 위한 완전한 프레임워크를 제공할 것으로 예측합니다. 데이터 패브릭은 데이터 카탈로그, 데이터 거버넌스, 데이터 통합, 데이터 파이프라이닝 및 데이터 ..

지식 그래프 지식 그래프는 1980년대에 네덜란드의 Groningen 대학과 University of Twente의 연구원들은 자연어를 표현하기 위해 다양한 출처의 지식을 통합하는 지식 기반 시스템을 공식적으로 설명하기 위해 지식 그래프라는 용어를 처음 도입했습니다. 2012년 Google은 문자열과 일치하지 않지만 "사물", 즉 실제 객체를 검색할 수 있는 Google 검색 기능의 의미론적 향상을 위해 지식 그래프를 도입했습니다. 그래프 기반 지식 표현은 수십 년 동안 연구되어 왔으며 지식 그래프라는 용어는 새로운 기술을 구성하지 않습니다. 오히려 Google에서 재창조하고 다른 회사와 학계에서 다양한 지식 표현 응용 프로그램을 설명하기 위해 채택한 유행어입니다. 정의 지식 그래프는 간단한 정의로 그래..

지식그래프를 활용하는 사례들 중에 많은 언급이 되고 있는 사례는 사기 탐지로 보여진다. 사기 탐지와 같은 유형은 단일 데이터를 통해서는 사기와 같은 유형을 찾기가 어렵고, 많은 데이터들이 연결이 되어야 사기 유형의 관계를 보다 용이하게 찾아 낼 수 있다. 또한 시각화를 통해 어느 부분에서 어떤 데이터들이 사기 유형이 일어나는지 쉽게 파악이 가능하다. 이번 글에서는 다음의 사이트에서 제공하는 데이터를 활용하여 직접 사기탐지를 수행하는 맛보기를 해보고자 한다. https://live.yworks.com/demos/complete/frauddetection/index.html 이 데이터의 주요 유형은 계정소유자, 신용카드, 은행지점, 지불, 연락처, 주소, 대출 등의 데이터를 제공하고 있으며, 특정 시점의 데..

개인적으로 매일 아침 9시에 어떤 사이트에 새글이 올라왔는지를 보여주는 원페이지 목록 메일을 받게 된다. 이 메일은 수십개의 하이퍼링크들이 그 안에 존재하고 있고, 사용자가 목록의 타이틀을 보다 호기심이 생기는 타이틀이 있으면 그 타이틀을 클릭하여 원문이 있는 사이트로 이동을 하게 된다. 이 글에서는 이러한 하이퍼링크를 얘기하는게 아니라 그 이면의 구조화된 데이터를 통해 정보를 획득하고 가공하는 과정을 살펴보려고 한다. 지난 글에서 RDF 데이터를 HTML에 임베딩하기 위해 RDFa를 사용한다고 했었다. 사실 각각의 하이퍼링크를 따라 웹페이지를 열어보면 그 안에 RDFa로 구조화시킨 정보들이 존재한다. 우선 데보션의 메일 2일치분을 수집하여 그 안에 있는 하이퍼링크 목록을 추출한다. 목록이 준비되면 RD..