옳은 길로..

우리가 사용하는 대부분의 데이터는 테이블 형태의 저장소에 저장되어 관리되고, 이를 활용하여 무엇인가를 하고 있다. 이러한 체계는 잘 동작하고 있고, 앞으로도 잘 동작하리라 예상된다. 그럼과 동시에 지속으로 고민하는 한가지 포인트는 "어떻게 하면 데이터를 보다 더 잘 활용할 수 있을까?" 라는 물음이 아닐까 한다. 이 물음에는 '데이터를 잘 찾을 수 있어야 하고, 찾더라도 나에게 맞는 데이터를 찾는 것'과 이 데이터를 '실제 비즈니스와 접목'을 하여 활용을 하고자 할 때 더욱 큰 고민거리로 다가온다. 데이터를 잘 활용할 수 있다는 것은 결국 "데이터를 구조화하여 관리하는 것"과 "데이터간의 통합"을 잘 하는 것에 달려 있다고 생각된다. 데이터를 구조화하여 관리 데이터를 구조화하여 관리하는 방식 중 하나는 ..

지식그래프와 관련한 세미나를 위해 작성한 자료입니다. 간단한 소개, 지식그래프 활용사례 위주의 내용이 담겨 있습니다.

"영화진흥위원회의 통합전산망 오픈 API" 를 통해 수집한 데이터를 가지고 배우들간에 "출연" 이라는 관계가 어떻게 구성되어 있는지 궁금하여 공동 출연 네트워크를 만들어 보았다. 전체 데이터셋 중에서 동일한 영화를 출연한 배우들 각각을 공동출연으로 정의하고, 이렇게 공동으로 출연한 영화가 6편 이상인 배우들을 추출하였다. 추출한 데이터는 Networkx를 통해 시각화를 하였는데 이 때 에지에 대한 매개중심성과 부하중심성을 추가하여 네트워크 상에서 존재하는 다른 클러스터 간의 연결자로서의 역할을 어떤 배우들이 하고 있는지 찾아보고자 하였다. 전체 네트워크 구조는 위의 그림과 같이 나타났다. 링크의 굵기는 에지 매개 중심성을 계산하여 나온 결과로, 공동으로 출연을 자주하는 그룹간의 연결자로서의 역할을 하는 ..

오픈 API를 통해 수집한 영화데이터를 지식그래프로 생성하여 Stardog 이라는 저장소에 저장하였다. Stardog은 Studio라는 지식그래프 IDE를 제공하는데 이를 이용하여 질의를 하거나 차트를 그려 데이터를 살펴보거나 분석해 볼 수 있다. 영화데이터에는 인물,영화,영화사 데이터가 존재하는데 인물은 약 165000건, 영화는 약 59000건, 영화사는 약 4800건 정도의 데이터를 살펴보았다. 먼저 연도별 관객수와 개봉 스크린수를 살펴보았는데 제작연도를 기준으로 2000년부터 2022년까지의 추이를 구성하였다. 2004년 이전까지는 관객수도 적은 편이고 개봉 스크린도 적은 편이였으나 2004년 이후는 평균 관객수가 크게 늘어남을 알 수 있다. 그리고 2018년까지는 관객수와 개봉 스크린수도 증가를..

Stardog에서 제공하는 Stardog Designer와 Explorer을 활용하면 간단한 지식그래프를 손쉽게 만들어 시각화까지 해 볼 수 있다. 지난 글에서도 잠깐 언급하였지만 Stardog에서 제공하는 Cloud 서비스는 간단한 회원가입만으로도 Explorer, Designer, Studio 3가지 앱을 사용할 수 있다. 이번 글에서는 영화데이터(배우, 감독, 영화)를 가지고 Stardog Designer를 통해 지식그래프 형태로 데이터를 생성하고, Explorer로 간단한 검색을 하는 과정을 영상으로 기록하였다. 먼저 데이터는 CSV형태로 준비하였는데 영화데이터는 "영화진흥위원회의 통합전산망 오픈 API" 를 통해 수집하였다. https://www.kobis.or.kr/kobisopenapi/ho..