옳은 길로..

우리가 사용하는 대부분의 데이터는 테이블 형태의 저장소에 저장되어 관리되고, 이를 활용하여 무엇인가를 하고 있다. 이러한 체계는 잘 동작하고 있고, 앞으로도 잘 동작하리라 예상된다. 그럼과 동시에 지속으로 고민하는 한가지 포인트는 "어떻게 하면 데이터를 보다 더 잘 활용할 수 있을까?" 라는 물음이 아닐까 한다. 이 물음에는 '데이터를 잘 찾을 수 있어야 하고, 찾더라도 나에게 맞는 데이터를 찾는 것'과 이 데이터를 '실제 비즈니스와 접목'을 하여 활용을 하고자 할 때 더욱 큰 고민거리로 다가온다. 데이터를 잘 활용할 수 있다는 것은 결국 "데이터를 구조화하여 관리하는 것"과 "데이터간의 통합"을 잘 하는 것에 달려 있다고 생각된다. 데이터를 구조화하여 관리 데이터를 구조화하여 관리하는 방식 중 하나는 ..

지식그래프와 관련한 세미나를 위해 작성한 자료입니다. 간단한 소개, 지식그래프 활용사례 위주의 내용이 담겨 있습니다.

"영화진흥위원회의 통합전산망 오픈 API" 를 통해 수집한 데이터를 가지고 배우들간에 "출연" 이라는 관계가 어떻게 구성되어 있는지 궁금하여 공동 출연 네트워크를 만들어 보았다. 전체 데이터셋 중에서 동일한 영화를 출연한 배우들 각각을 공동출연으로 정의하고, 이렇게 공동으로 출연한 영화가 6편 이상인 배우들을 추출하였다. 추출한 데이터는 Networkx를 통해 시각화를 하였는데 이 때 에지에 대한 매개중심성과 부하중심성을 추가하여 네트워크 상에서 존재하는 다른 클러스터 간의 연결자로서의 역할을 어떤 배우들이 하고 있는지 찾아보고자 하였다. 전체 네트워크 구조는 위의 그림과 같이 나타났다. 링크의 굵기는 에지 매개 중심성을 계산하여 나온 결과로, 공동으로 출연을 자주하는 그룹간의 연결자로서의 역할을 하는 ..

Stardog에서 제공하는 Stardog Designer와 Explorer을 활용하면 간단한 지식그래프를 손쉽게 만들어 시각화까지 해 볼 수 있다. 지난 글에서도 잠깐 언급하였지만 Stardog에서 제공하는 Cloud 서비스는 간단한 회원가입만으로도 Explorer, Designer, Studio 3가지 앱을 사용할 수 있다. 이번 글에서는 영화데이터(배우, 감독, 영화)를 가지고 Stardog Designer를 통해 지식그래프 형태로 데이터를 생성하고, Explorer로 간단한 검색을 하는 과정을 영상으로 기록하였다. 먼저 데이터는 CSV형태로 준비하였는데 영화데이터는 "영화진흥위원회의 통합전산망 오픈 API" 를 통해 수집하였다. https://www.kobis.or.kr/kobisopenapi/ho..

지난 글에 이어 이번에는 커뮤니티 탐지에 대해서 다루어보고자 한다. 사실 #5. 지식그래프와 네트워크 분석 과 이번 글은 네트워크 분석에 가까운 내용이긴 하다. 지난 글에서는 네트워크 내의 중심성 계산을 통해 어떠한 노드가 중요한 역할을 하는지 찾았다. 이런 분석은 작은 규모의 네트워크에서 시행하기에 적합하다. 이보다 규모다 좀 더 큰 네트워크에서는 커뮤니티 감지를 통해 노드 그룹간의 관계를 찾고 분석을 수행할 수 있다. 자료를 찾아 살펴보다 보면 "클러스터", "커뮤니티", "클러스터링"을 혼용하는 경우도 찾아 볼 수 있다. 따라서 용어에 대한 정의부터 먼저 시작하면, 컴퓨터 과학과 네트워크 과학 분야에서 사용하는 용어의 의미가 약간 다르다. 컴퓨터 과학에서는 "커뮤니티"를 "클러스터"라고 하고 커뮤니..