온톨로지 블로그에 그동안 기술한 내용을 토대로 오픈된 데이터를 수집하고, 이를 RDF 형태로 표현, 표현된 데이터를 스토어에 저장, SPARQL Endpoint를 연결한 결과를 사용하는 것에 대해 한번 살펴보겠습니다. 데이터는 국립국어원에서 제공하는 우리말샘 오픈 API의 데이터를 수집했습니다. 키발급 권한을 받아 데이터를 수집할 수 있는데 하루에 5만건 제한이 있어서 며칠동안 수집을 하였습니다. 라이선스는 CC-BY-SA 로 저작자표시-동일조건변경허락 으로 상업적 사용이 가능합니다. 수집 작업에 대한 간단한 코드는 https://github.com/joyhong85/OpenDictAPI.git 국립국어원 우리말샘 오픈 API를 활용한 데이터 수집 에 공개하였습니다. 위 github에서 수집된 데이터를 ..
개인적으로 매일 아침 9시에 어떤 사이트에 새글이 올라왔는지를 보여주는 원페이지 목록 메일을 받게 된다. 이 메일은 수십개의 하이퍼링크들이 그 안에 존재하고 있고, 사용자가 목록의 타이틀을 보다 호기심이 생기는 타이틀이 있으면 그 타이틀을 클릭하여 원문이 있는 사이트로 이동을 하게 된다. 이 글에서는 이러한 하이퍼링크를 얘기하는게 아니라 그 이면의 구조화된 데이터를 통해 정보를 획득하고 가공하는 과정을 살펴보려고 한다. 지난 글에서 RDF 데이터를 HTML에 임베딩하기 위해 RDFa를 사용한다고 했었다. 사실 각각의 하이퍼링크를 따라 웹페이지를 열어보면 그 안에 RDFa로 구조화시킨 정보들이 존재한다. 우선 데보션의 메일 2일치분을 수집하여 그 안에 있는 하이퍼링크 목록을 추출한다. 목록이 준비되면 RD..
온톨로지 언어 온톨로지 언어는 구문별 분류와 구조별 분류로 구분할 수 있다. 그중 구문에 따라 전통적인 구문 온톨로지 언어와 마크업 온톨로지 언어로 분류가 된다. 이번 글에서 이야기 하고자하는 내용은 마크업 온톨로지 언어이다. 이는 1990년 후반부터 마크업 언어를 사용하여 지식을 표현하는데 이 중 가장 대표적인 것으로는 RDF, RDFS, OWL 이 있다. 이들은 컴퓨터가 처리할 수 있는 마크업 언어로 지식을 표현하는 지식 표현 방법들이다. XML을 기반으로 RDF, RDF를 기반으로 RDFS, RDFS를 기반으로 OIL, DAML, OWL이 파생되어 나온 것을 위 그림을 통해 알 수 있다. 1. RDF 자원 기술 프레임워크(Resource Description Framework, RDF)는 웹상의 자..
RDF 형태의 데이터를 시각화하는 라이브러리는 여러 가지가 있습니다. 이 앞전에는 graph-notebook 이라는 라이브러리를 사용하여 간단하게 그려볼 수 있었는데 보다 상세하고 다이나믹한 그래프를 그리기 위해서 vis.js를 기반으로 사용하고 있는 pyvis 라는 라이브러리를 사용하고자 합니다. 큰 흐름은 시각화를 위한 데이터 추출, 노드와 에지 생성, pyvis로 시각화 하는 단계를 거칩니다. 사용하는 라이브러리 pyvis 0.1.9 (https://pyvis.readthedocs.io/en/latest/ (https://pyvis.readthedocs.io/en/latest/)) 필수적으로 설치가 되어 있어야 하는 라이브러리 RDFLib, SPARQLWrapper 전체 소스는 아래 링크에 있습니다..
Jena Framework 에서 제공하는 컴포넌트 중에 Fuseki 라는 것이 있는데 이는 간단하게 SPARQL Server를 구성하게 해준다. 내부적으로는 영속성을 위해 TDB를 사용하는데 TDB를 파일시스템으로 사용하면서 HTTP를 통해 SPARQL endpoint를 구성하고 있다. 간혹 파일형태로 RDF 데이터를 보유하고 있는데 트리플스토어를 구성하고 endpoint까지 활용해야 할 경우에 사용하면 편리할 것이다. https://github.com/joyhong85/rdf_python/blob/main/03.Fuseki-SPARQL_Endpoint_just_20_minutes.pdf GitHub - joyhong85/rdf_python: rdf with python rdf with python. C..
- Total
- Today
- Yesterday
- TopBraid Composer
- RDF
- TDB
- Knowledge Graph
- property graph
- 그래프 데이터베이스
- LOD
- 장고
- RDF 변환
- django
- 온톨로지
- 지식 그래프
- Linked Data
- Neo4j
- 사이퍼
- sparql
- Thymeleaf
- networkx
- MeCab
- TBC
- 타임리프
- 트리플 변환
- Ontology
- neosemantics
- 스프링부트
- 지식그래프
- pyvis
- cypher
- 트리플
- stardog
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |