옳은 길로..

지난 글에 이어 이번에는 커뮤니티 탐지에 대해서 다루어보고자 한다. 사실 #5. 지식그래프와 네트워크 분석 과 이번 글은 네트워크 분석에 가까운 내용이긴 하다. 지난 글에서는 네트워크 내의 중심성 계산을 통해 어떠한 노드가 중요한 역할을 하는지 찾았다. 이런 분석은 작은 규모의 네트워크에서 시행하기에 적합하다. 이보다 규모다 좀 더 큰 네트워크에서는 커뮤니티 감지를 통해 노드 그룹간의 관계를 찾고 분석을 수행할 수 있다.자료를 찾아 살펴보다 보면 "클러스터", "커뮤니티", "클러스터링"을 혼용하는 경우도 찾아 볼 수 있다. 따라서 용어에 대한 정의부터 먼저 시작하면, 컴퓨터 과학과 네트워크 과학 분야에서 사용하는 용어의 의미가 약간 다르다. 컴퓨터 과학에서는 "커뮤니티"를 "클러스터"라고 하고 커뮤니티..

지난 글에서 개념화를 통해 논문, 저자, 분류 관계를 표현하여 명시적으로 표현하였습니다. 생성된 지식그래프는 그래프 형태이기 때문에 네트워크 분석에서 활용이 가능합니다. 이번 글에서는 그래프 형태로 구성되어 있는 데이터로부터 필요한 정보를 구성하고 이를 네트워크 분석에 활용하는 과정을 다루어 보겠습니다.구축되어 있는 데이터를 그대로 활용하면 좋겠지만 때로는 기존의 데이터에 일부 추가적인 작업이 필요할 때가 있습니다. 이번 예에서는 논문과 분류 데이터를 활용할 것입니다. 물론 논문과 분류는 개념적인 내용이고 실제로 논문이라는 데이터에는 실제 논문들이 존재합니다. 분류도 마찬가지 입니다.이번 글에서 분석하고자 하는 내용은 분류라는 데이터가 얼마나 중심성을 가지고 있는지를 분석해보고자 합니다. 이는 논문과 분..

이번 글에서는 저장소에 저장되어 있는 동일한 데이터에 대해 도메인마다 혹은 데이터를 보는 관점마다 다르게 접근할 수 있는 방안에 대해 다루어 보려고 합니다. 예시로 사용하고자 하는 데이터는 이전 글에서 사용한 arxiv 데이터를 그대로 사용합니다. arxiv 데이터에는 저자, 논문, 분류에 대한 데이터를 그래프 형태로 저장하고 있습니다. 만약 이 데이터를 2개의 부서 혹은 조직 혹은 사용자 그룹에서 사용하고자 한다고 가정할 때, 저자(사람)에 대한 정의가 조금씩 다를 수 있습니다. A조직은 ‘저자'라고 부르지만 B조직은 ‘연구자'라고 부를 수 있습니다. (예시를 위해 비약적으로 레이블을 통해 구분하였습니다. 실제 경우는 도메인마다 다른 유형들이 있을 것입니다.) 예시에서는 간단하지만 데이터가 많아지고 위..

지난 두개의 글은 arXiv의 데이터를 대상으로 용어 목록을 생성하고 개념화를 통한 지식 그래프를 구성하는 것에 대해 간략히 살펴보았습니다. 이는 의도적으로 두개를 분리를 하였습니다. 대부분이 아닐 수도 있지만 상당히 많은 곳에서 부서 혹은 조직 혹은 사용그룹마다 동일한 데이터를 중복으로 생성하고 관리를 하고 있을 것 같습니다. 여기에서는 분류체계를 예로 삼아 설명하고자 합니다. 만약 arxiv 카테고리 택소노미가 업데이트가 되었다고 하면, 우리는 (2개의 글을 각각의 서비스 혹은 시스템이라고 가정하여) 어떤 액션을 취해야 합니까? 변경된 내용을 우리의 것에 반영해야 합니다. 지금은 2개지만 서비스 혹은 시스템이 많아지면 그만큼 동일 작업을 해야 합니다. 대안은 분류체계를 관리를 누군가가 하고 이를 다른..

이번 글에서는 개념화를 통해 다양한 종류의 사물과 그 사물들 간의 관계를 표현하여 지식을 명시적으로 표현해 보도록 하겠습니다. 실세계의 다양한 사물들은 서로 다양하게 다른 사물과 관련되어 있습니다. 즉 서로 다양한 연결 관계를 가지고 있습니다. 우리는 그러한 관계를 개념적으로 알고 있습니다. 예를 들어 학술분야에서는 논문이 존재합니다. 논문은 그 논문을 쓴 저자가 있습니다. 논문은 하나 이상의 주제분야를 포함하고 있습니다. 또한 논문을 쓴 저자는 사람이라는 개념의 하위 개념입니다. 이러한 개념적인 관계를 표현할 수 있습니다. 사물의 유형과 사물들간의 관계를 잘 표현하는 지식 표현체계로 온톨로지를 사용하게 됩니다. 여기에서는 RDF라는 자원 기술 프레임워크를 사용하여 온톨로지를 구성합니다. 이 글에서는 아..