팔란티어 - 왜 온톨로지를 사용하는가?

2025.02.05 - [N:::만지작 거리기] - 팔란티어 Platform overview

 

이번 글은 팔란티어에 대한 두번째 글로서

팔란티어는 왜 온톨로지를 사용하는지에 대한 질문의 답을 생각해보려고 한다.

 

팔란티어는 자신의 존재 이유를 다음과 같이 이야기한다.

We believe in augmenting human intelligence, not replacing it.

 

좋은 데이터와 적절한 기술을 통해 사람과 기관의 어려운 문제를 풀수 있다고 생각하는 팔란티어는

미션 중심의 엔지니어링 기반으로 회사를 구축하고, 실제 세계 데이터에 대한 인간 중심의 분석을 위한 제품을 만들고 있다.

이러한 팔란티어 제품을 사용하는 고객은 데이터와 그들이 직면한 문제에 대한 깊은 이해를 가지고 있다.

이 둘의 만남으로, 팔란티어는 입증된 제품과 엔지니어링 마인드셋을 품고

고객이 있는 곳의 문제를 그들의 데이터와 그 문제에 대한 깊은 이해를 활용하여

인간 중심의 분석을 통해 문제를 풀어 나가는 것이다.

이를 위해서는 내부적으로 무엇이 있어야 하는 것일까?

고객의 데이터는 팔란티어에서 어떻게 동작하는 것인지, 그리고 그 안에서 인간 중심의 분석을 하는 것은 어떻게 동작을 하는 것일까?

이 질문에 대한 답을 찾아가기 전에 다음의 내용을 생각해볼 필요가 있을 것 같다.

데이터를 잘 쌓고 모으면 인사이트가 자동으로 도출되고 문제 해결이 가능한가?

비즈니스와 연관된 당면한 문제를 해결하고자 할 때 모아둔 데이터만을 사용해서 비즈니스를 이해하고 풀어낼 수 있을 것인가?

데이터는 잘 모아두고 통합하는 것이 중요하지만 이런 데이터를 가치있게 활용될 수 있도록 하는 것 또한 매우 중요하다. 그래서 가치있게 활용될 수 있도록 하기 위한 적절한 기술이 필요하다.

 

그럼 다시 원래의 질문으로 돌아와서 답을 찾아보자.

오늘날의 업무 환경에서 "일을 잘한다"는 기준 중 하나는 기계와 AI 같은 도구를 얼마나 효과적으로 활용하는가에 달려 있다. 단순히 사람이 수동적으로 프로세스를 운영하는 것이 아니라, 기계가 자동으로 처리할 수 있도록 프로세스를 구축하고, 이를 통해 업무를 최적화하는 것이 중요해지고 있다.

이러한 변화 속에서 기계(AI)와 인간이 협업하는 방식이 여러가지가 있을테지만 여기서는 다음의 방식에 대해 이야기 하고자 한다. 이는 데이터와 규칙을 기반으로 단순 반복 작업은 기계가 처리하고, 인간은 기계가 제공한 데이터를 바탕으로 분석과 의사결정을 수행하는 방식이다.

기계는 컴퓨팅 파워를 활용하여 엄청난 양의 데이터를 효과적으로 처리할 수 있고, 인간의 지능은 정보의 패턴을 식별하는데 탁월하기 때문이다.

이러한 협업을 원활하게 이루기 위해서는 사람과 기계가 공통으로 이해할 수 있는 언어가 필요하며, 바로 이 역할을 하는 것이 온톨로지(Ontology)이다.

 

온톨로지는 데이터를 단순히 저장하는 것이 아니라, 기계가 데이터를 이해할 수 있도록 구조화하고, 사람과 기계가 동일한 맥락에서 데이터를 접근하고 찾을 수 있도록 돕는 역할을 한다.

기계가 데이터를 활용하여 분석하고 정해진 프로세스를 자동으로 수행한다고 해서, 비즈니스 문제가 반드시 정확하고 효율적으로 해결되는 것은 아니다. 비즈니스에 적용해야 할 규칙, 제약사항이 존재하고 때로는 자동화된 프로세스에 변화를 주어야할 때도 존재한다.

따라서 팔란티어는 데이터 자체뿐만 아니라 분석된 데이터, 업무 결과까지 사람이 쉽게 확인하고, 보고서 형태로 분석할 수 있도록 지원한다. 이를 통해, 기존 프로세스에 결과를 반영하며 인간 중심의 분석을 기반으로 비즈니스 문제를 해결할 수 있도록 돕는다.

고객의 관점에서는 모든 데이터를 하위 레벨에서 다루기보다 온톨로지로 표현된 개념적인 차원에서 데이터를 쉽게 조회하고, 템플릿화된 보고서 형태로 빠르게 분석을 할 수 있도록 제공되기 때문에 편리한 장점이 있다.

여기서 중요한 점은, 분석한 내용이나 발견한 인사이트를 바탕으로 고객이 결정한 조치가 데이터로 다시 축적되어 시스템에 반영되고 활용된다는 점이다.  이렇게 결정한 내용은 온톨로지로 표현되어 사람과 기계 모두 다시 활용을 하게 함으로 보다 정교한 의사결정이 이루어지도록 한다.

결국, 팔란티어는 비즈니스 문제를 해결하는 과정에서 인간 중심의 분석을 바탕으로 자동화된 프로세스를 지속적으로 보완하며, 이를 통해 문제를 더 빠르고 효율적으로 해결할 수 있도록 인간과 기계의 협업을 지원한다. 그리고 이 협업을 가능하게 하는 핵심 요소로 온톨로지를 활용하는 것이다.

 

팔란티어에서 온톨로지를 구축하고 사용하여 데이터를 구축하고 활용함으로 얻는 장점들

온톨로지를 통한 조직 내 데이터와 의사결정의 연결 (Connectivity at scale)

온톨로지는 조직에서 의사결정 및 의사결정 기록을 위한 공유된 진실의 원천으로서 역할을 한다.

의사결정 기록(Decision Capture)란 조직 내에서 이루어진 의사결정을 체계적으로 기록하고 보존하는 과정을 뜻하는 것으로, 의사결정의 근거, 과정, 참여자, 그리고 최종 결정을 명확히 기록하여 이후의 참고 자료로 사용하거나, 의사결정에 대한 투명성을 유지하고, 의사결정들에 대한 일관성을 보장하기 위한 목적으로 활용한다.

 

특정 프로젝트에서 문제를 해결하기 위해 온톨로지를 사용하여 조직 전채의 데이터 중에서 필요한 데이터를 쉽게 발견하고 이해하도록 돕는다. 또한 연결이 되지 않은 개별적인 데이터를 통한 의사결정 보다는 조직 전체적으로 개념적인 연결이 된 데이터를 통해 넓은 맥락에서 조망할 수 있게 하여 의사결정을 지원한다.

대시보드, 데이터셋, 애플리케이션을 통해 각각의 정보를 분석하고 활용하기 시작하면 그 수가 늘어남에 따라 관리의 복잡성이 발생하고, 시간이 지나면서 기존 데이터 자산이 존재하고 있는 사실에 대해 알기 어려우며, 그 데이터를 찾았더라도 사용해도 되는 것인지를 이해하는데 많은 노력이 필요하다. 그러다보니 기존의 것보다는 새로운 데이터자산을 만들어 사용하개 되는 것이 일반적인 모습이다.

 

그리고 의사결정을 통해 내린 결정에 대해 왜 특정 전략이 선택되었는지, 어떤 데이터가 근거로 활용되었는지를 기록하게 된다. 이 정보 역시 온톨로지를 통해 표현되어 공유되며, 데이터로서 재사용될 수 있도록 활용된다. 즉 온톨로지는 조직을 위한 공통 언어로 모든 정보가 모델링되어 활용되는 시스템을 제공한다.

<예시>
에너지 회사는 Ontology(온톨로지)를 사용하여 석유 엔지니어, 유정 무결성 엔지니어, 유정 관리 직원 간에 유정(well)의 상태와 성능에 대한 공통된 관점을 생성한다. 여러 개의 분리된 성능 뷰를 만드는 대신, 동일한 Ontology의 유정 객체 유형(well object type)에 입력 데이터를 공유한다. 이를 통해 단기적으로는 유정 관리에 대한 의사 결정을, 장기적으로는 자산 투자 전략에 대한 의사 결정을 동일한 정보와 인사이트를 기반으로 생성할 수 있게 된다.

 

표준 용어를 통한 데이터 공통 활용 (Interpretability)

온톨로지는 디지털 개념을 추상화하여 사용자가 매일 사용하는 표준 용어로 데이터를 다룰 수 있게 한다.

다양한 사용자와 기능 간에 공유된 언어를 제공함으로 모든 사람이 동일한 정보를 통해 협업을 진행하게 된다.

이러한 것이 필요한 이유는 의사결정에 참여하는 모든 사람이 데이터셋이나 SQL, IT 개념에 익숙한 사람들이 아니기 때문에 모두가 이해할 수 있는 용어가 필요하다.

<예시>
한 제조업 회사에서 항공기 센서에서 나오는 데이터는 규모, 복잡성, 그리고 난해한 형식 때문에 운영 사용자와 데이터 과학자 모두가 접근할 수 없었다. 그러나 이제 모니터링 데이터를 기반으로 구축된 온톨로지 덕분에 디자이너들은 부품을 검색하고, 예상치 못한 문제나 이상 행동을 나타낼 수 있는 관련 센서 데이터를 확인하며, 테이블이나 조인(join)을 신경 쓰거나 복잡한 데이터 준비 과정을 거치지 않고도 미래의 설계를 개선할 수 있게 되었다. 이 데이터는 조직에서 가장 가치 있고 유용한 데이터 중 하나이지만, 이전 시스템에서는 데이터를 준비하는 데 며칠에서 몇 주가 걸려 데이터 활용이 특별한 프로젝트에서만 사용할 수 있었다. 이제 이 데이터는 데이터 과학자는 물론 엔지니어, 품질 관리 전문가, 디자이너들에게 즉시 접근 가능해졌다.

 

규모의 경제 실현 (Economies of scale)

조직내에서 새로운 사용 사례나 프로젝트마다 별도로 데이터 통합 및 데이터 계층을 구축하는 것이 아니라, 온톨로지를 사용하여 모든 분석 작업과 애플리케이션 개발을 지원하는 재사용이 가능한 단일 데이터 자산을 구성하게됨으로써 운영 플랫폼 개발에서 규모의 경제를 실현할 수 있도록 한다.

규모의 경제(Economies of Scale)란 생산량이 늘어날 수록 제품이나 서비스를 만드는 데 드는 평균 비용이 줄어드는 현상을 말한다. 쉽게 말해 많이 만들수록 한개당 생산하는 비용이 적어지는 것을 뜻한다.

 

기존 온톨로지를 기반으로 전체 애플리케이션과 사용 사례를 개발하게 되고, 플랫폼에 새로운 데이터가 들어올 때만 통합 작업을 통해 기존의 온톨로지에 추가를 하면 된다.

이를 통해, 공유된 데이터 자산을 활용함으로써 애플리케이션 개발자는 데이터 정리(Data Wrangling)가 아니라, 실제 조직의 문제 해결과 사용자 워크플로우에 집중할 수 있게 된다.

 

의사결정 기록 (Decision capture)

온톨로지를 통해 데이터를 표현하는 것 뿐만 아니라 조직 내에서 이루어지는 의사결정(결과)를 기록(표현)함으로 데이터 피드백과 지속적인 개선을 지원하고 조직의 데이터 자산으로 재활용할 수 있도록 한다. 온톨로지에 의사결정 결과를 기록함으로써 조직은 자신의 의사결정 과정을 학습하고 개선할 수 있다. 또한 데이터쓰기(writeback)를 통해 한 사용자가 얻은 인사이트가 다른 사용자의 의사결정에 기역할 수 있어, 데이터 자산의 가치가 시간이 지남에 따라 누적될 수 있게 된다.

온톨로지는 사용자들이 데이터를 편집하고 추가할 수 있도록 데이터쓰기와 액션유형(action types)을 구성할 수 있도록 한다.

 

AI/ML 운영 지원

데이터 과학 및 AI/ML 팀의 경우, 온톨로지는 공유 플랫폼에서 운영 팀 및 다른 팀과 협업할 수 있도록 한다. 모델(및 해당 기능)은 조직을 구동하는 기본 구성 요소 및 프로세스에 직접 바인딩할 수 있다. 이를 통해 플랫폼 내부(배치, 스트리밍 또는 쿼리 기반) 또는 외부에서 제공되기 전에 추가 어댑터나 글루 코드 없이 모델을 핵심 애플리케이션 및 시스템에 직접 관리, 릴리스 및 구현할 수 있다. 의사 결정이 내려지고 조치가 취해지면 운영 및 프로세스 데이터가 온톨로지에 다시 기록되어 모델 모니터링, 평가, 재교육 및 MLOps를 가능하게 하는 피드백 루프가 생성된다.

 

 

참고:

https://www.palantir.com/docs/foundry/ontology/why-ontology