옳은 길로..

그래프저장소 중인 하나인 Stardog을 활용하여 데이터를 저장해 두었다면 SPARQL Endpoint를 통해 다양한 검색,질의등을 수행할 수 있다. 이번 글은 Stardog에서 지원하는 엔드포인트를 통해 검색을 하고 그 결과를 테이블 형태로 가져오는 예시를 게시하려고 한다. 쥬피터 노트북을 통해 간단한 코드를 만드는데 여기서 활용하는 라이브러리는 pystardog, panel 이기 때문에 설치를 먼저 진행해야 한다. pip install panel pip install pystardog In [1]: import stardog import pandas as pd import io import panel as pn pn.extension('tabulator') Endpoint 연결을 위한 설정(예시:St..

기업에 대한 정보는 금융감독원의 전자공시시스템을 통해 필요한 정보를 획득할 수 있다. 전자공시시스템(DART : Data Analysis, Retrieval and Transfer System)은 상장법인 등이 공시서류를 인터넷으로 제출하고, 투자자 등 이용자는 제출 즉시 인터넷을 통해 조회할 수 있도록 하는 종합적 기업공시 시스템이다. (참고, https://dart.fss.or.kr/introduction/content1.do) 이번 포스트에서는 전자공시시스템에서 제공하는 기업의 정보들을 가져와 지식그래프 형태로 구성하고 몇가지 내용을 파악하고 분석해보고자 한다. 전자공시시스템 DART에 공시되고있는 공시보고서 원문 등은 오픈API를 통해 활용할 수 있다. 활용을 원하는 누구든지(개인, 기업, 기관 ..

ChatGPT는 이제 누구나 어느 정도 잘 알게 되는 상황으로 보여진다. 주어진 단어 이후에 다음 단어를 예측하는 뛰어난 성능으로 인해 다양한 작업에서 유용하게 사용될 수 있다. 하지만 어디까지나 예측이기 때문에 종종 오류가 발생하기도 한다. 한국의 영화와 배우에 대하여 몇가지 질문을 해보면 무언가 답을 내놓기는 한데 자세히 쳐다보면 오류가 있음을 볼 수 있다. 마지막의 경우 전지현이 아이언맨2에 출연을 했었나? 내가 못본걸까? 하는 생각도 잠시 들게 한다. 거대한 데이터셋을 통해 학습을 한 기반으로 대답을 예측하기 때문에 오류가 위와 같이 오류가 발생한다. 이에 대한 보완책으로 지식그래프를 활용하면 오류를 내놓는 대답을 어느 정도 개선 시킬 수가 있다. 지식그래프는 잘 정리되고 구조화된 데이터를 가지고..

우리가 사용하는 대부분의 데이터는 테이블 형태의 저장소에 저장되어 관리되고, 이를 활용하여 무엇인가를 하고 있다. 이러한 체계는 잘 동작하고 있고, 앞으로도 잘 동작하리라 예상된다. 그럼과 동시에 지속으로 고민하는 한가지 포인트는 "어떻게 하면 데이터를 보다 더 잘 활용할 수 있을까?" 라는 물음이 아닐까 한다. 이 물음에는 '데이터를 잘 찾을 수 있어야 하고, 찾더라도 나에게 맞는 데이터를 찾는 것'과 이 데이터를 '실제 비즈니스와 접목'을 하여 활용을 하고자 할 때 더욱 큰 고민거리로 다가온다. 데이터를 잘 활용할 수 있다는 것은 결국 "데이터를 구조화하여 관리하는 것"과 "데이터간의 통합"을 잘 하는 것에 달려 있다고 생각된다. 데이터를 구조화하여 관리 데이터를 구조화하여 관리하는 방식 중 하나는 ..

지식그래프와 관련한 세미나를 위해 작성한 자료입니다. 간단한 소개, 지식그래프 활용사례 위주의 내용이 담겨 있습니다.