옳은 길로..

ChatGPT는 이제 누구나 어느 정도 잘 알게 되는 상황으로 보여진다.주어진 단어 이후에 다음 단어를 예측하는 뛰어난 성능으로 인해 다양한 작업에서 유용하게 사용될 수 있다.하지만 어디까지나 예측이기 때문에 종종 오류가 발생하기도 한다.한국의 영화와 배우에 대하여 몇가지 질문을 해보면 무언가 답을 내놓기는 한데 자세히 쳐다보면 오류가 있음을 볼 수 있다.마지막의 경우 전지현이 아이언맨2에 출연을 했었나? 내가 못본걸까? 하는 생각도 잠시 들게 한다.거대한 데이터셋을 통해 학습을 한 기반으로 대답을 예측하기 때문에 오류가 위와 같이 오류가 발생한다.이에 대한 보완책으로 지식그래프를 활용하면 오류를 내놓는 대답을 어느 정도 개선 시킬 수가 있다.지식그래프는 잘 정리되고 구조화된 데이터를 가지고 관계를 기반..

우리가 사용하는 대부분의 데이터는 테이블 형태의 저장소에 저장되어 관리되고, 이를 활용하여 무엇인가를 하고 있다. 이러한 체계는 잘 동작하고 있고, 앞으로도 잘 동작하리라 예상된다. 그럼과 동시에 지속으로 고민하는 한가지 포인트는 "어떻게 하면 데이터를 보다 더 잘 활용할 수 있을까?" 라는 물음이 아닐까 한다. 이 물음에는 '데이터를 잘 찾을 수 있어야 하고, 찾더라도 나에게 맞는 데이터를 찾는 것'과 이 데이터를 '실제 비즈니스와 접목'을 하여 활용을 하고자 할 때 더욱 큰 고민거리로 다가온다. 데이터를 잘 활용할 수 있다는 것은 결국 "데이터를 구조화하여 관리하는 것"과 "데이터간의 통합"을 잘 하는 것에 달려 있다고 생각된다. 데이터를 구조화하여 관리 데이터를 구조화하여 관리하는 방식 중 하나는 ..

지식그래프와 관련한 세미나를 위해 작성한 자료입니다. 간단한 소개, 지식그래프 활용사례 위주의 내용이 담겨 있습니다.

"영화진흥위원회의 통합전산망 오픈 API" 를 통해 수집한 데이터를 가지고 배우들간에 "출연" 이라는 관계가 어떻게 구성되어 있는지 궁금하여 공동 출연 네트워크를 만들어 보았다.전체 데이터셋 중에서 동일한 영화를 출연한 배우들 각각을 공동출연으로 정의하고, 이렇게 공동으로 출연한 영화가 6편 이상인 배우들을 추출하였다.추출한 데이터는 Networkx를 통해 시각화를 하였는데 이 때 에지에 대한 매개중심성과 부하중심성을 추가하여 네트워크 상에서 존재하는 다른 클러스터 간의 연결자로서의 역할을 어떤 배우들이 하고 있는지 찾아보고자 하였다.전체 네트워크 구조는 위의 그림과 같이 나타났다. 링크의 굵기는 에지 매개 중심성을 계산하여 나온 결과로, 공동으로 출연을 자주하는 그룹간의 연결자로서의 역할을 하는 것을 ..

오픈 API를 통해 수집한 영화데이터를 지식그래프로 생성하여Stardog 이라는 저장소에 저장하였다.Stardog은 Studio라는 지식그래프 IDE를 제공하는데 이를 이용하여 질의를 하거나 차트를 그려 데이터를 살펴보거나 분석해 볼 수 있다. 영화데이터에는 인물,영화,영화사 데이터가 존재하는데인물은  약 165000건,  영화는 약 59000건, 영화사는 약 4800건 정도의 데이터를 살펴보았다. 먼저 연도별 관객수와 개봉 스크린수를 살펴보았는데 제작연도를 기준으로 2000년부터 2022년까지의 추이를 구성하였다.2004년 이전까지는 관객수도 적은 편이고 개봉 스크린도 적은 편이였으나 2004년 이후는 평균 관객수가 크게 늘어남을 알 수 있다.그리고 2018년까지는 관객수와 개봉 스크린수도 증가를 보이..