완벽하던 데모가, 현장에서 무너지는 이유
AX 프로젝트 95%가 실패하고 있습니다. AI가 문제일까요?
엔터프라이즈 AI에 수백억 달러가 쏟아졌지만, 현장의 온도는 여전히 차갑습니다. MIT의 NANDA 이니셔티브를 비롯한 여러 조사에 따르면, 기업 AI 파일럿의 약 95%가 실질적인 비즈니스 가치를 만들지 못한 채 정체되거나 폐기됩니다. 가트너는 데이터 품질 문제만으로도 2026년 올해 말까지 AI 프로젝트의 60%가 중단될 것으로 전망했습니다.
언론을 장식하는 화려한 성공 사례 뒤에는, 조용히 사라진 수많은 실패 사례가 숨어 있습니다. 맥도날드는 드라이브스루 음성 주문 AI가 고객의 억양을 잘못 알아듣고 엉뚱한 메뉴를 담아, 시스템을 철수했습니다. 호주 커먼웰스 은행은 챗봇으로 대체했던 상담원들을, AI 고객 대응 성과가 기대에 못 미치자 다시 불러들여야 했습니다. 투자는 사상 최대인데, 성공률은 사상 최저에 가깝습니다.
그런데 이 실패들을 하나씩 뜯어보면 이상한 공통점이 있습니다. 무너진 것은 대개 AI 모델 그 자체가 아니었다는 것입니다. 벤치마크 점수는 해마다 오르고, 파일럿 환경에서는 흠잡을 데 없이 작동합니다. 문제는 그 다음입니다. 잘 만든 데모가 실제 운영 환경으로 나가는 순간, 마치 다른 세계에 떨어진 것처럼 무너집니다. 결함은 모델이 아니라, 모델이 딛고 설 바닥에 있었습니다.
AI는 조직을 바꾸는 게 아니라, 조직을 증폭합니다
왜 데모 심사는 통과했는데 실제 현장에서는 작동하지 않는걸까요. 그 답은 AI가 무엇인지를 오해한 데서 시작됩니다.
많은 조직이 AI를 조직을 뜯어고치는 마법으로 기대합니다. 그러나 AI는 조직을 바꾸는 도구가 아니라, 조직을 증폭하는 도구입니다. 정돈된 데이터와 명확한 프로세스 위에 얹으면 그 질서를 몇 배로 키우지만, 흩어진 데이터와 엉킨 프로세스 위에 얹으면 그 혼란까지 똑같이 몇 배로 키웁니다. 깨끗한 파이프에 물을 부으면 콸콸 흐르지만, 막힌 파이프에 압력을 높이면 터지고 새는 곳이 늘어날 뿐인 것과 같습니다. 파일럿이 성공하는 이유도, 현장이 실패하는 이유도 여기서 갈립니다. 파일럿은 잘 정돈된 샘플 데이터와 통제된 환경에서 돌아갑니다. 다양한 경우의 수도 증폭할 혼란도 애초에 없으니 잘 작동합니다. 그러나 현장에는 수십 년간 쌓인 진짜 혼돈이 있습니다.
그리고 이 때 증폭은 조용하지 않습니다. 준비되지 않은 조직에 강력한 AI를 얹으면, 틀린 답이 더 빠르게, 더 자신 있게, 더 큰 규모로 쏟아집니다. 구성원 한명이 이따금 저지르던 실수를, 시스템이 하루에 수천 건씩 확신에 차서 반복합니다. 양산의 시대에 정작 희소해지는 것이 선별과 판단인 이유가 여기 있습니다. 그리고 그렇게 한번 신뢰가 무너지면, 그 조직 안에서 AI라는 단어는 다시 꺼내기 어려워집니다. 신뢰는 한번 잃으면 되찾는 데 가장 비싼 값을 치르는 자산이기 때문입니다. 그렇기에 준비되지 않은 조직에게 더 강력한 AI는 해법이 아니라, 문제를 더 크게 만드는 확성기가 됩니다.
무너진 자리를 열어 보면, 문제는 AI 적용 전 앞단에 있습니다
여러 보고서가 가리키는 실패의 근원은 한결같습니다. AI 모델이 아니라, 그 앞에 있어야 할 데이터와 구조입니다. 크게 세 겹입니다.
첫째, 데이터 준비성의 결여. 기업은 수십 년치 데이터를 자산이라 자부하지만, 그 데이터는 AI가 학습하고 활용할 수 있는 형태로 정제된 경우가 드뭅니다. 부서마다 갈라진 사일로, 시스템마다 제각각인 포맷, 곳곳에 빠진 메타데이터. AI는 이 어긋난 조각들을 그대로 삼켜, 그럴듯하지만 틀린 결론을 만들어 냅니다.
둘째, 레거시 통합의 실패. AI는 고립된 샌드박스 안에서는 아무 값이 없습니다. 실제 가치는 복잡한 결재 라인, 오래된 ERP, 부서 사이에 흩어진 워크플로와 매끄럽게 이어질 때 비로소 생깁니다. 그러나 파일럿은 대개 이 통합의 복잡성을 극적으로 과소평가합니다. 데모를 만드는 데 한 달, 그것을 실제 시스템에 안전하게 붙이는 데 여섯 달이 걸린다는 사실은, 데모가 끝난 뒤에야 비로소 드러납니다.
셋째, 변화 관리의 부재. 경영진은 AI 도입을 순수한 기술 과제로 다룹니다. 그러나 그것은 사실 일하는 방식과 조직 문화를 근본에서 바꾸는 일입니다. 아무리 뛰어난 시스템도, 직원이 그것을 자신의 자리를 위협하는 경쟁자로 여겨 외면하거나, 그 결과를 믿지 못해 예전의 수동 방식을 고집하는 순간 멈춰 섭니다. 기술은 배포되었으나 아무도 쓰지 않는 시스템만큼 값비싼 실패도 없습니다.
세 겹의 공통점은 분명합니다. 셋 다 AI 이전의 문제, 결국 조직의 구조 문제입니다. 그리고 이 문제들은 데모에서는 절대 드러나지 않습니다. 잘 고른 샘플과 통제된 환경이 이 균열을 완벽하게 가려 주기 때문입니다. 격차는 어느 모델을 사용했는지가 아니라, 그 모델이 설 구조를 제대로 갖췄느냐에서 갈립니다.
데이터를 가진 것과 물어볼 수 있는 것은 다릅니다
세 겹 가운데 가장 깊은 바닥은 데이터입니다. 그런데 여기에도 흔한 오해가 있습니다. 데이터를 많이 쌓아 두기만 하면 AI가 알아서 답을 줄 거라는 기대입니다.
데이터를 가지고 있는 것과, 그 데이터에 물어볼 수 있는 것은 사실 전혀 다른 일입니다. 창고에 서류를 산더미로 쌓아 두는 것과, 필요할 때 정확히 꺼내 쓰는 지식 관리 시스템을 갖추는 것이 다르듯이 말입니다. 대부분의 조직은 전자에 머물러 있습니다. 데이터는 분명히 있지만, 그 의미는 담당자의 머릿속과 흩어진 파일 사이에 암묵지로 잠겨 있습니다. 사람이 옆에서 설명해 줘야만 뜻이 통하는 데이터는, AI에게는 없는 것과 같습니다.
AI가 쓸 수 있는 데이터란, 이 암묵지를 명시지로, 다시 기계가 읽을 수 있는 인코딩된 지식으로 옮겨 놓은 것을 말합니다. 어떤 문서가 무엇을 뜻하는지, 어느 개념이 다른 업무와 어떻게 이어지는지 — 조직의 언어와 관계를 하나의 구조, 즉 지식 온톨로지로 세워 두는 일입니다. 이 구조가 없으면 AI는 글자는 읽어도 맥락은 읽지 못하고, 그 빈자리를 그럴듯한 착각들로 메웁니다. 여기서 중요한 통찰이 하나 있습니다. 환각은 대개 모델의 무작위한 오류가 아니라, 근거의 부재가 낳는 구조적 함수라는 것입니다. 모델에게 딛고 설 근거를 주면(RAG 근거 제시) 환각은 극적으로 줄고, 근거를 빼앗으면 아무리 좋은 모델도 지어내기 시작합니다. 결국 AI-Ready Data란 데이터를 깨끗이 청소하는 일을 넘어, 데이터를 조직의 언어로 물어볼 수 있게 만들고, 모든 답이 그 근거를 함께 대게 만드는 일입니다.
실패한 파일럿은, 버릴 비용이 아니라 읽어야 할 진단서입니다
95%라는 숫자를 실패의 무덤으로만 바라보면, 거기서 배울 것은 아무것도 없습니다. 그러나 관점을 한 번 뒤집으면, 이 실패들은 조직이 받을 수 있는 가장 값싼 진단서가 됩니다.
파일럿이 어디서 무너졌는지는, 조직의 어느 바닥이 부실한지를 정확히 가리킵니다. 데이터가 지저분해 환각이 났다면 데이터 자산화가 병목이라는 신호입니다. 잘 만든 모델이 회사의 레거시 시스템에 잘 붙지 못했다면 통합이 병목이라는 신호입니다. 반면 좋은 결과에도 직원이 쓰지 않았다면 변화 관리와 리더쉽이 문제라는 신호입니다. 실패는 새어 나간 비용이 아니라, 어디를 먼저 고쳐야 하는지를 알려 주는 데이터입니다.
그런데 대부분은 이 진단서를 읽지 않고 덮어 버립니다. “아직 AI가 우리 조직엔 맞지 않는가 보다” 또는 “모델이 별로였나 보다” 하고 다음 툴을 찾아 나섭니다. 우리가 권하는 것은 정반대입니다. 실패한 파일럿을 서둘러 묻지 말고, 어디서 왜 무너졌는지를 끝까지 복기해야 합니다. 그 한 번의 실패가 가리키는 병목 하나를, 다음번에는 데모가 아니라 운영까지 제대로 넘겨 보는 것, 이 작은 성공 하나가 화려하지만 파일럿에서 멈춘 열 개보다 조직을 더 멀리 데려갑니다.
왜 다들 같은 자리에서 넘어지는가
원인이 이렇게 분명한데도 실패는 반복됩니다. 문제가 어려워서가 아닙니다. 해결 방법이 화려하지 않기 때문입니다.
데이터를 정제하고 거버넌스를 세우고 레거시를 현대화하는 일은, 몇 달이 지나도 눈에 띄는 장면을 만들지 못합니다. 반면 최신 모델로 만든 데모는 하루 만에 사람들의 탄성을 자아냅니다. 여기에 조직의 인센티브 구조가 한몫합니다. 누구도 6개월짜리 데이터 정제 프로젝트로 박수를 받거나 승진하지 않습니다. 반짝이는 데모는 다음 주 임원 회의에서 빛나지만, 묵묵한 배관 공사는 아무도 알아주지 않습니다. 그래서 조직의 눈과 예산은 자꾸 화려한 쪽으로 쏠리고, 바닥을 다지는 일은 언제나 옳지만 뒤로 밀립니다. 여기에 벤더들이 약속하는 플러그 앤 플레이의 즉각적인 ROI가 조급증을 더합니다. 꽂기만 하면 된다는 말은, 바닥을 다질 필요가 없다는 달콤한 오해를 심습니다.
준비는 감이 아니라 측정입니다
그래서 우리는 모델보다 바닥을 봅니다. 그리고 그 첫걸음은, 막연한 반성이 아니라 측정입니다. “우리는 아직 준비가 안 됐다”는 말은 아무것도 바꾸지 못합니다. 도입에 앞서 세 축을 구체적인 지표로 진단해야 합니다.
데이터 축, 핵심 업무에 필요한 데이터가 어디에 있고, 얼마나 정제·구조화돼 있으며, 계보(lineage)가 추적되는지. 특히 “이 답의 근거가 어느 문서 어느 대목인지”를 댈 수 있는 비율이 핵심 지표입니다. 통합 축, AI가 실제 워크플로에 닿기까지 넘어야 할 시스템 경계(결재·ERP·권한)가 몇 겹이고, 각 경계의 보안·감사 요건이 무엇인지. 조직 축, 실무자가 결과를 검증할 역량이 있는지, 실패를 복기하는 문화가 있는지, 그리고 실제 사용률(adoption)이 어디에 있는지.
여기서 결정적인 구분이 하나 있습니다. 실패가 역량의 문제(capability gap)인지, 준비도의 문제(readiness gap)인지입니다. 모델이 원래 하지 못하는 일을 시킨 것이라면, 데이터를 아무리 더해도 소용없습니다. 다른 도구로 바꿔야 합니다. 그러나 우리가 현장에서 만나는 엔터프라이즈 실패의 대부분은 역량이 아니라 준비의 문제입니다. 모델은 충분히 할 수 있었는데, 우리가 우리 상황을 보여 주지 못했을 뿐입니다. 이 둘을 가르지 못하면, 멀쩡한 모델을 탓하며 툴만 갈아 끼우는 악순환에 빠집니다. 진단의 목적은 바로 이 선을 정확히 긋는 데 있습니다.
그래서 실제로는 이렇게 세웁니다
진단이 끝난 후, 바닥을 세우는 일은 감이 아니라 엔지니어 공정이 됩니다. 우리가 현장에서 실제로 밟는 순서는 이렇습니다.
데이터를 계약으로 묶습니다. 어떤 데이터가 어떤 형식과 품질 기준을 지켜 공급되는지를 데이터 계약(data contract)으로 명시하고, 계보를 추적해 어긋난 입력이 조용히 스며들어 오염되지 않도록 관문을 둡니다. 그 위에 조직의 개념과 관계를 지식 온톨로지로 세워, AI가 맥락을 근거로 삼게 하고(RAG 근거), 모든 답이 출처를 함께 대게 합니다. 흩어진 데이터를 AI가 근거로 삼는 자산으로 구조화하는 이 작업이 ATLAS가 다루는 영역입니다.
개선의 전제로 평가 항목을 먼저 만듭니다. 측정할 수 없는 것은 개선할 수 없습니다. 실제 업무 질문과 정답을 모은 골든 데이터셋과 자동 평가 하네스(eval)를 먼저 세워, 환각률과 정확도를 숫자로 잡습니다. 그래야 어떤 변경이 실제로 나아지게 했는지를 감이 아니라 근거로 판단할 수 있게 됩니다. 평가 없는 개선은, 눈을 감고 과녁을 맞히려는 일입니다.
데모가 아니라 운영으로 밀어 냅니다. 격리된 데모에서 끝내지 않고, 스테이징을 거쳐 일부 트래픽부터 여는 카나리(canary) 방식으로 조심스럽게 배포합니다. 파급이 큰 작업에는 사람의 승인 게이트(HITL)를 두고, 운영 중의 품질을 관측(observability)해 조용한 회귀를 잡습니다. 배포 뒤 유지보수의 담당과 기준(SLO)도 처음부터 정합니다. 확률적으로 움직이는 AI를 결정적인 가드레일로 감싸 운영까지 밀어 내는 이 구조가 SWARM이 다루는 영역입니다.
사람의 채택을 지표로 관리합니다. 도입의 성패는 결국 사용률에서 드러납니다. 실무자를 처음부터 참여시키고, 부서마다 챔피언을 세우며, 재교육으로 신뢰를 쌓습니다. 자동화는 사람을 비우기 위한 것이 아니라, 사람을 더 가치 있는 자리로 옮기기 위한 것입니다. 이 체질 전환을 현장에서 함께 걷는 일이 FORWARD가 하는 역할입니다.
이 공정의 어느 단계도 화려하지 않습니다. 데이터 계약도, 평가 하네스도, 카나리 배포도 임원 회의에서 박수를 받지는 못합니다. 그러나 95%를 5%로 가르는 것은, 정확히 이 지점입니다.
화려한 것은 하루아침에 온 듯 보입니다
이 모든 조언에는 불편한 진실이 하나 깔려 있습니다. 바닥을 다지는 일은 쉽지도, 빠르지도 않다는 것입니다. 데이터 거버넌스를 세우고 레거시를 현대화하는 작업은 당장의 화려한 성과를 만들기 어렵고, 그래서 늘 경영진의 조급증과 단기 성과 압박에 부딪힙니다. 그러나 AI 도입은 단거리 스프린트가 아니라, 체질을 바꾸는 마라톤입니다. 실패한 파일럿을 기술 탓으로 돌리고 새 툴을 찾아 헤매는 대신, 실패의 원인을 조직 안의 데이터와 프로세스에서 찾아 묵묵히 고쳐 나가는 인내가 필요합니다.
화려한 성공 사례는 하루아침에 온 것처럼 보입니다. 그러나 어떤 체질도 하루아침에 바뀌지 않습니다. 결국 조직의 AI도, 장미빛 약속이 아니라 그 작은 약속들을 매일 떠받치는 꾸준함 위에서 갈립니다. 모델은 이제 누구나 살 수 있습니다. 그러나 그 모델이 설 바닥을 남보다 먼저, 묵묵히 다져 둔 조직만이 그 답을 끝내 자기 것으로 만듭니다.
이 관점과 연결된 프로그램
- ATLAS · 지식 자산화, 데이터 계약·계보·지식 온톨로지로, 흩어진 데이터를 AI가 근거로 삼는 AI-Ready’자산으로(암묵지 → 명시지 → 인코딩)
- SWARM · 하이퍼오토메이션, 검증된 데이터 위에서, 카나리·HITL·관측으로 확률적 AI를 결정적 가드레일에 감싸 운영까지
- FORWARD · 상주형 파트너십, 데이터·통합·사람의 체질 전환을 현장에서 함께 걸으며 역량을 남김
- PRIMER · 기초 AI 리터러시, 도입에 앞서 조직 구성원을 AI를 다루고 검증할 수 있는 상태로
CHANSWER는 기회를 답으로, 답을 역량으로 옮기는 일을 합니다. 지금 조직의 AI가 파일럿에서 멈춰 있다면, 그 원인이 모델의 역량에 있는지 그 앞의 준비도에 있는지부터 함께 진단해 드리겠습니다.
Comments are closed.