AI를 둘러싼 온갖 소란 속에서도 논의되지 않고 있는 중요한 주제는 바로 AI 전환 격차입니다.
이제 규모를 불문하고 모든 조직이 업무 효율성, 생산성, 수익을 혁신할 수 있는 AI의 잠재력에 대해 잘 알고 있습니다. 최근 진행된 McKinsey 글로벌 AI 설문조사에서 응답자의 4분의 3 이상이 자신의 조직에서 AI를 사용하는 직무가 1개 이상이라고 답했습니다.
그러나 실제로 AI의 혁신을 실현하는 프로젝트는 거의 없습니다. 최근 MIT의 State of AI in Business 2025 연구에 따르면 정확히 5%에 불과합니다. 생성형 AI 파일럿의 95%가 실패하고 있는데, 이는 AI 구현에 있어서 난도가 낮은 목표입니다.
작업을 자율적으로 수행하는 AI 애플리케이션을 일컫는 에이전틱 AI는 생성형 AI보다 훨씬 큰 혁신을 불러올 수 있습니다. 하지만 동시에 더 큰 복잡성을 수반합니다. Gartner®는 '2027년까지 에이전틱 AI 프로젝트의 40% 이상이 비용 증가, 사업적 가치의 모호성, 부적절한 위험 관리로 인해 무산될 것'이라고 예측합니다(Gartner, "Emerging Tech: Avoid Agentic AI Failure: Build Success Using Right Use Cases", 2025년 5월 15일).
조직은 AI 혁신이 효과적으로 구현하기가 너무 복잡하다는 사실을 받아들이고 단념해야 할까요?
물론 아닙니다. McKinsey & Company의 데이터에 따르면 디지털 및 AI 역량이 뛰어난 기업은 그렇지 못한 기업보다 총 주주 수익률에서 2~6배 높은 성과를 냅니다.
이는 굉장히 훌륭한 투자수익률입니다. 하지만 AI의 잠재력과 실현 가치 사이의 간극을 메우려면, 즉 수익을 실현하려면 AI 이니셔티브의 문제점을 파악해야 합니다.
여기서 희소식은, AI 전환은 복잡할 수도 있지만, 지금 당장 기업이 에이전틱 AI에 대비하는 간단한 방법이 있다는 것입니다.
AI 전환이란 무엇인가요?
AI 전환은 조직이 운영, 제품, 서비스의 모든 측면에 인공지능(AI)을 도입하는 포괄적이고 전략적인 과정입니다. 기업 대부분이 AI를 사용한 과업 자동화, 의사 결정 가속화, 고객 경험 개선, 제품이나 서비스 창출을 계획합니다.
AI 전환은 단순히 AI 도구 몇 가지를 도입하는 차원을 넘어 사업 전략, 운영 프로세스, 조직 문화의 근본적인 변화를 의미합니다. 그래서 AI 전환이 어렵기도 합니다. 사업의 여러 측면을 조정하고 변경하려면 AI 전환에 대해 제대로 이해해야 하지만, 대부분의 기업이 그렇지 못합니다.
더 자세히 알아보겠습니다.
AI 전환에서 가장 큰 난관은 무엇일까요?
AI 전환에서 가장 큰 난관은 AI를 사용해야 하는 사람들의 일상 워크플로에 AI를 결합하는 것입니다.
이 난관을 제대로 이해하기 위해 물류 영역의 '라스트 마일 문제'를 예로 들어보겠습니다.
라스트 마일 문제는 배송의 마지막 단계, 즉 제품을 사용자에게 전달하는 과정에서 발생하는 과도한 어려움과 비용을 의미합니다. 예를 들어, 소비재의 경우 고객이 상품을 아예 받지 못하거나, 늦게 받거나, 손상된 상태로 받는다면 창고 유통이나 포장 과정이 아무리 효율적으로 이루어져도 아무 의미가 없습니다.
AI 전환에서 라스트 마일은 AI를 실제 워크플로에 내재화하는 중요한 단계이지만, 이는 종종 간과되곤 합니다. 많은 조직이 방대한 데이터 세트로 강력한 AI 모델을 구축하거나 알고리즘을 학습시키고 있지만, 이러한 모델을 AI를 사용하는 직원과 연결하는 데 어려움을 겪고 있습니다. AI가 아무리 강력해도 업무에 효과적으로 적용되지 않으면 의미가 없습니다.
따라서 그러한 작업이 명확하게 문서화되어 있지 않으면 AI를 비즈니스 운영에 효과적으로 적용할 수 없습니다.
AI 에이전트는 다양한 비즈니스 시스템 및 프로세스와 상호 작용하도록 설계되었으며, 중요한 맥락이 존재해야 효과적으로 작동합니다. Forrester는 "작업을 실행하는 방법에 대해 AI 에이전트에 단계적으로 설명해야 합니다. 오늘날 대부분의 기업에서 이러한 노하우를 파편화된 워크플로, 문서화되지 않은 데이터, 비공식적인 프로세스 형태로 보유하고 있습니다."라고 설명합니다(Forrester 블로그, "Autonomy Is The Future, But AI Agents Still Deliver Value Today", 2025년 7월).
Lucid는 최근의 설문조사에서 업무 문서화가 부족하다는 점을 확인했습니다.
- 지식 근로자의 49%는 현재 조직의 운영 워크플로가 상당히, 또는 거의 문서화되어 있지 않다고 말합니다.
- 60%는 팀 워크플로의 절반 이상이 비공식적이거나 개인의 지식에 의존한다고 답했습니다.
- 80%는 조직 또는 부서의 지식에 의존해 업무를 처리한다고 합니다.
결론적으로, 현재의 기업 프로세스, 워크플로, 아키텍처, 데이터 흐름, 협업 관행을 이해하고 문서화하지 않는 한 AI, 특히 에이전틱 AI를 도입하더라도 그 잠재력을 최대한 활용할 수 없습니다.
AI 전환을 라스트 마일까지 이끄는 방법
에이전틱 AI 도입의 가장 큰 장벽이 문서화 부족에서 기인한다는 점을 생각하면, AI를 라스트 마일까지 가져가기 위한 첫 단계는 간단해 보입니다. 바로 문서를 작성하는 것입니다.
AI 전환의 라스트 마일을 준비, 전략, 실행의 세 단계로 생각해 보세요. 각 단계에서 AI를 워크플로에 효과적으로 통합하려면 각기 다른 문서화가 필요합니다.
