BECUAI

데이터는 역사상 가장 많아졌습니다. 그런데 AI는 여전히 배고픕니다.

지난 글에서 데이터를 많이 가진 것과 책임질 수 있는 것은 서로 다른 역량이라는 이야기를 했습니다. 그리고 그렇게 책임질 수 있는 데이터, 즉 출처와 권리를 설명할 수 있고 AI가 실제로 활용할 수 있도록 준비된 데이터를 업계에서는 AI-Ready Data라고 부르기 시작했다는 이야기도 전해 드렸어요.

그렇다면 자연스럽게 이런 질문이 남습니다.

그 AI-Ready Data는, 구체적으로 어떤 데이터를 말하는 것인가요?

많은 기업 담당자가 AI 프로젝트를 앞두고 "저희 데이터 가진 것은 많습니다"라고 합니다. 그런데 프로젝트가 시작되면 난감한 상황에 빠지는 경우가 많아요.

"AI를 학습시킬 데이터가 없습니다."

보유한 데이터는 많지만, 정작 AI가 쓸 수 있는 데이터가 없다는 것을 알게 된 것이죠.

"보유"와 "이해"는 다른 문제입니다

우리는 오랫동안 데이터를 모으는 데만 집중해 왔습니다. 더 많이 저장하고, 더 오래 보관하고, 더 큰 저장소를 구축하는 것이 경쟁력이라고 여겨왔죠.

하지만 AI에겐 데이터가 저장되어 있다는 사실만으로 충분하지 않습니다. AI는 파일을 읽는 것이 아니라 의미를 이해해야 하기 때문입니다.

AI가 이해하려면 필요한 것

이 문서가 언제 누구에 의해 만들어졌는지, 어떤 주제와 어떤 개체를 다루고 있는지, 다른 데이터와는 어떻게 연결되는지, 지금도 유효한 최신 정보인지, 그리고 어디까지 활용해도 되는 데이터인지 알아야 합니다.

이런 정보가 함께 있어야 AI는 데이터를 비로소 '이해'할 수 있습니다. 이렇게 데이터를 설명하는 정보를 메타데이터(Metadata)라고 부르고, 데이터 간의 의미 관계를 정의하는 정보를 온톨로지(Ontology)라고 합니다. AI는 단순히 데이터를 읽는 것이 아니라, 데이터를 설명하는 맥락까지 함께 이해하는 것이죠.

같은 데이터, 다른 정보

예를 들어보겠습니다. 같은 뉴스 기사라도 본문 텍스트만 저장된 상태라면 AI는 이 글이 언제 나온 것인지, 어떤 기업을 다루는지, 지금도 유효한 정보인지 등을 알 수 없습니다.

반면 발행일과 출처, 다루는 기업명과 산업 카테고리, 그리고 AI 학습이나 서비스에 활용 가능한 라이선스인지까지 함께 붙어 있다면, AI는 같은 기사를 훨씬 더 정확하게 이해하고 답변에 반영할 수 있습니다. 원본은 같아도, 붙어 있는 메타데이터에 따라 AI에게는 완전히 다른 데이터가 되는 셈입니다.

또한 같은 기업 이름도 산업에 따라 전혀 다른 의미를 가질 수 있습니다. 사람은 이런 차이를 문맥으로 자연스럽게 구분하지만, AI는 그렇지 않습니다. 맥락을 설명하는 정보가 없다면 AI에게는 그저 같은 문자열이 반복되는 것과 다르지 않습니다.

준비된 데이터가 곧 AI 자산입니다

데이터를 AI가 바로 사용할 수 있는 상태로 준비해두었나요? 요즘은 이 부분도 AI 프로젝트에서 데이터와 관련한 중요한 역량으로 대두되고 있습니다.

'데이터 준비'가 뜻하는 것

서로 다른 형식을 하나의 기준으로 맞추는 것(스키마 정리), 데이터의 출처와 권리를 확인하는 일(출처 및 라이선스 검증), 같은 대상을 가리키는 정보를 서로 연결하는 것(개체 연결), 시간이 지나도 최신 상태를 유지하는 일(최신성 관리).

이 모든 과정을 거쳐야 비로소 데이터는 AI가 신뢰하고 쓸 수 있는 상태가 됩니다.

준비 과정을 건너뛰면 생기는 일

이 과정을 건너뛴 채 AI를 학습시키거나 서비스에 바로 연결하면 어떻게 될까요?

출처가 불분명한 데이터는 사실과 다른 답을 만들어내는 할루시네이션으로 이어지기 쉽고, 맥락 없이 뒤섞인 데이터는 같은 질문에도 매번 다른 답을 내놓는 일관성 문제로 나타납니다. 그리고 결국은 서비스를 다시 손보거나 데이터를 처음부터 재정비하는 재작업 비용으로 돌아옵니다.

처음부터 준비된 데이터로 시작하는 것과, 문제가 터진 뒤에 되돌아가 정리하는 것은 비용 차이가 크게 벌어지는 것이죠.

이미 등장한 전문 플랫폼들

그래서 최근에는 데이터를 단순히 유통하는 것이 아니라, AI가 바로 활용할 수 있는 형태로 가공해 제공하는 데이터 플랫폼들이 등장하고 있습니다. 비큐AI의 RDPLINE도 이런 흐름 속에서, 원본 데이터를 메타데이터와 온톨로지를 갖춘 AI-Ready Data로 가공해 제공하기 위해 만들어진 플랫폼입니다.

데이터를 '일단 모으고 나중에 정리하자'는 접근은 더 이상 통하지 않습니다. AI 시대에는 데이터를 모으는 것보다 AI가 이해할 수 있게 만드는 설계가 먼저입니다.

다음 이야기

AI가 이해할 수 있는 데이터까지 준비했다면, 이제 남은 문제는 하나입니다. "이 데이터를 AI가 사용해도 되는가?"

많은 AI 프로젝트가 기술적인 한계보다 이 질문 앞에서 멈춥니다. 데이터를 준비하는 문제는 결국 라이선스와 저작권, 그리고 데이터 거버넌스의 문제로 이어지기 때문입니다.

다음 글에서는 'AI 프로젝트는 성공했는데, 왜 법무팀에서 멈추는가'를 통해 AI 시대 데이터 활용의 또 다른 현실을 이야기해보겠습니다.