옳은 길로..

주어진 글들에 존재하는 단어들의 동시 출현 관계를 통해 해당 글이 어떤 의미를 말하고 있는지를 파악해보면 재미있을 것 같았다. 그래서 단어, 정확히는 명사의 출현을 통해 간단히 파악할 수 있도록 구성하였다. 문장에 나타나는 명사들의 출현 거리가 가까우면 그만큼 의미있는 단어들일 것이고, 거리가 멀면 큰 관계가 없다는 전제하에 진행된다. 텍스트는 "세이노의 가르침" 이 PDF 로 무료 배포 되고 있어 이를 활용하였다. https://blog.naver.com/PostView.naver?blogId=dayonepress&logNo=223064751876&categoryNo=11&parentCategoryNo=-1&viewDate=&currentPage=&postListTopCurrentPage=&isAfte..

그래프저장소 중인 하나인 Stardog을 활용하여 데이터를 저장해 두었다면 SPARQL Endpoint를 통해 다양한 검색,질의등을 수행할 수 있다. 이번 글은 Stardog에서 지원하는 엔드포인트를 통해 검색을 하고 그 결과를 테이블 형태로 가져오는 예시를 게시하려고 한다. 쥬피터 노트북을 통해 간단한 코드를 만드는데 여기서 활용하는 라이브러리는 pystardog, panel 이기 때문에 설치를 먼저 진행해야 한다. pip install panel pip install pystardog In [1]: import stardog import pandas as pd import io import panel as pn pn.extension('tabulator') Endpoint 연결을 위한 설정(예시:St..

"영화진흥위원회의 통합전산망 오픈 API" 를 통해 수집한 데이터를 가지고 배우들간에 "출연" 이라는 관계가 어떻게 구성되어 있는지 궁금하여 공동 출연 네트워크를 만들어 보았다. 전체 데이터셋 중에서 동일한 영화를 출연한 배우들 각각을 공동출연으로 정의하고, 이렇게 공동으로 출연한 영화가 6편 이상인 배우들을 추출하였다. 추출한 데이터는 Networkx를 통해 시각화를 하였는데 이 때 에지에 대한 매개중심성과 부하중심성을 추가하여 네트워크 상에서 존재하는 다른 클러스터 간의 연결자로서의 역할을 어떤 배우들이 하고 있는지 찾아보고자 하였다. 전체 네트워크 구조는 위의 그림과 같이 나타났다. 링크의 굵기는 에지 매개 중심성을 계산하여 나온 결과로, 공동으로 출연을 자주하는 그룹간의 연결자로서의 역할을 하는 ..

오픈 API를 통해 수집한 영화데이터를 지식그래프로 생성하여 Stardog 이라는 저장소에 저장하였다. Stardog은 Studio라는 지식그래프 IDE를 제공하는데 이를 이용하여 질의를 하거나 차트를 그려 데이터를 살펴보거나 분석해 볼 수 있다. 영화데이터에는 인물,영화,영화사 데이터가 존재하는데 인물은 약 165000건, 영화는 약 59000건, 영화사는 약 4800건 정도의 데이터를 살펴보았다. 먼저 연도별 관객수와 개봉 스크린수를 살펴보았는데 제작연도를 기준으로 2000년부터 2022년까지의 추이를 구성하였다. 2004년 이전까지는 관객수도 적은 편이고 개봉 스크린도 적은 편이였으나 2004년 이후는 평균 관객수가 크게 늘어남을 알 수 있다. 그리고 2018년까지는 관객수와 개봉 스크린수도 증가를..

Stardog에서 제공하는 Stardog Designer와 Explorer을 활용하면 간단한 지식그래프를 손쉽게 만들어 시각화까지 해 볼 수 있다. 지난 글에서도 잠깐 언급하였지만 Stardog에서 제공하는 Cloud 서비스는 간단한 회원가입만으로도 Explorer, Designer, Studio 3가지 앱을 사용할 수 있다. 이번 글에서는 영화데이터(배우, 감독, 영화)를 가지고 Stardog Designer를 통해 지식그래프 형태로 데이터를 생성하고, Explorer로 간단한 검색을 하는 과정을 영상으로 기록하였다. 먼저 데이터는 CSV형태로 준비하였는데 영화데이터는 "영화진흥위원회의 통합전산망 오픈 API" 를 통해 수집하였다. https://www.kobis.or.kr/kobisopenapi/ho..