지식그래프 생성 지식그래프 연재에서는 지식그래프를 구성하고 이를 활용하는 것까지 간단히 살펴보고자 합니다. 모든 활용을 다룰 수는 없지만 대략적으로 많이 사용하는 방법들에 대해서 다루려고 합니다. 첫번째 연재로는 지식을 구성하는 방법으로 데이터가 주어졌을 때 일반적인 데이터베이스 구성이 아니라 명시적인 방법과 그래프 표현으로 데이터를 구성하고 저장합니다. 지식이란 정보를 체계화하고 개념화한 것입니다. 우리가 사용하는 시스템 혹은 데이터들은 분류체계, 사전, 목록 등으로 구성되는 경우가 많습니다. 이러한 종류의 데이터는 단일 데이터베이스에 구축하고 특정 응용프로그램에서만 사용하기 보다는, 용어 목록을 정의하고 공유하여 사용함으로 중복의 문제, 관리 용이성, 동일한 정책적 표준 등의 이점을 얻을 수 있습니다..
데이터 패브릭이란? 데이터 패브릭은 통합되고 풍부한 데이터를 적시에, 올바른 방법으로, 올바른 데이터 소비자에게 제공하도록 설계된 단일 통합 아키텍처입니다. 기업 전체에서 대규모로 데이터가 필요한 사람에게 데이터 액세스를 가능하게 하고, 여러 데이터 도메인에 대한 통합 액세스를 제공하는데 사용할 수 있습니다. 데이터 패브릭은 다양한 소스의 통합 데이터를 결합하여 다양한 데이터 소비자에게 전달합니다. 분석 회사 Gartner는 "2022년 최고의 전략적 기술 트렌드"로 "데이터 패브릭"을 나열하고 2024년까지 데이터 관리 공급업체의 25%가 데이터 패브릭을 위한 완전한 프레임워크를 제공할 것으로 예측합니다. 데이터 패브릭은 데이터 카탈로그, 데이터 거버넌스, 데이터 통합, 데이터 파이프라이닝 및 데이터 ..
지식 그래프 지식 그래프는 1980년대에 네덜란드의 Groningen 대학과 University of Twente의 연구원들은 자연어를 표현하기 위해 다양한 출처의 지식을 통합하는 지식 기반 시스템을 공식적으로 설명하기 위해 지식 그래프라는 용어를 처음 도입했습니다. 2012년 Google은 문자열과 일치하지 않지만 "사물", 즉 실제 객체를 검색할 수 있는 Google 검색 기능의 의미론적 향상을 위해 지식 그래프를 도입했습니다. 그래프 기반 지식 표현은 수십 년 동안 연구되어 왔으며 지식 그래프라는 용어는 새로운 기술을 구성하지 않습니다. 오히려 Google에서 재창조하고 다른 회사와 학계에서 다양한 지식 표현 응용 프로그램을 설명하기 위해 채택한 유행어입니다. 정의 지식 그래프는 간단한 정의로 그래..
지식그래프를 활용하는 사례들 중에 많은 언급이 되고 있는 사례는 사기 탐지로 보여진다. 사기 탐지와 같은 유형은 단일 데이터를 통해서는 사기와 같은 유형을 찾기가 어렵고, 많은 데이터들이 연결이 되어야 사기 유형의 관계를 보다 용이하게 찾아 낼 수 있다. 또한 시각화를 통해 어느 부분에서 어떤 데이터들이 사기 유형이 일어나는지 쉽게 파악이 가능하다. 이번 글에서는 다음의 사이트에서 제공하는 데이터를 활용하여 직접 사기탐지를 수행하는 맛보기를 해보고자 한다. https://live.yworks.com/demos/complete/frauddetection/index.html 이 데이터의 주요 유형은 계정소유자, 신용카드, 은행지점, 지불, 연락처, 주소, 대출 등의 데이터를 제공하고 있으며, 특정 시점의 데..
개인적으로 매일 아침 9시에 어떤 사이트에 새글이 올라왔는지를 보여주는 원페이지 목록 메일을 받게 된다. 이 메일은 수십개의 하이퍼링크들이 그 안에 존재하고 있고, 사용자가 목록의 타이틀을 보다 호기심이 생기는 타이틀이 있으면 그 타이틀을 클릭하여 원문이 있는 사이트로 이동을 하게 된다. 이 글에서는 이러한 하이퍼링크를 얘기하는게 아니라 그 이면의 구조화된 데이터를 통해 정보를 획득하고 가공하는 과정을 살펴보려고 한다. 지난 글에서 RDF 데이터를 HTML에 임베딩하기 위해 RDFa를 사용한다고 했었다. 사실 각각의 하이퍼링크를 따라 웹페이지를 열어보면 그 안에 RDFa로 구조화시킨 정보들이 존재한다. 우선 데보션의 메일 2일치분을 수집하여 그 안에 있는 하이퍼링크 목록을 추출한다. 목록이 준비되면 RD..
- Total
- Today
- Yesterday
- Linked Data
- 지식 그래프
- stardog
- TBC
- Ontology
- pyvis
- TDB
- 온톨로지
- RDF
- RDF 변환
- 지식그래프
- 트리플 변환
- 타임리프
- Thymeleaf
- neosemantics
- LOD
- 그래프 데이터베이스
- 트리플
- cypher
- 장고
- Neo4j
- 스프링부트
- django
- TopBraid Composer
- Knowledge Graph
- networkx
- property graph
- MeCab
- sparql
- 사이퍼
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |