이번에 소개하는 글은 미국의 벤처캐피탈 Menlo Ventures가 최근 발행한 2024: The State of Generative AI in the Enterprise라는 글입니다.
이 글은 2024년을 뜨겁게 달군 생성형 AI가 기업 활동에 어떤 위치를 차지하고 있는지 알아보고, 앞으로 생성형 AI가 어떻게 발전할지, 기업은 이를 어떻게 활용할 수 있을지 소개하는데요. 다빈치가 준비한 번역본으로 자세한 내용을 확인해 보세요!
파일럿에서 프로덕션까지
2024년은 생성형 AI가 기업 활동에 중요한 역할을 하게 된 해입니다. 수치로 보면 더욱 확실하게 알 수 있는데요. 2023년 23억 달러 수준이었던 AI 관련 지출은 올해 138억으로 6배 이상 급증했습니다. 이는 기업들이 AI를 비즈니스 전략의 핵심에 포함시키면서 AI 활용 실험에서 실행으로 전환하고 있다는 분명한 신호이죠.
이러한 지출 급증은 조직의 낙관적인 분위기를 반영하는 것으로, 의사 결정권자의 72%는 가까운 미래에 생성형 AI 도구를 광범위하게 도입할 것으로 예상합니다. 이러한 자신감은 단지 추측에 그치지 않습니다. 생성형 AI 도구는 프로그래머부터 의료 서비스 제공자에 이르기까지 전문가들의 일상 업무에 이미 깊숙이 자리 잡고 있습니다.
생성형 AI의 긍정적 전망과 투자 증가에도 불구하고, 다수의 의사 결정권자들은 무엇이 그들의 비즈니스에 적합하고 그렇지 않은지 고민 중입니다. 설문조사 응답자의 1/3 이상이 조직 전체에서 생성형 AI를 어떻게 구현할지 명확한 비전을 갖고 있지 않다고 대답했습니다. 단, 이는 방향성 없이 AI에 투자하고 있다는 뜻이 아닙니다. 오히려 생성형 AI가 아직 대규모 혁신의 초기 단계에 있다는 것을 알 수 있는 부분이죠. 기업의 리더들은 생성형 AI가 조직에 미칠 지대한 영향을 이제 막 파악하기 시작한 겁니다.
지난해 발표한 2023 State of Generative AI in the Enterprise Report에서는 초기 AI 실험 분위기가 드러났습니다. 미국 기업 리더 600명의 인사이트를 포함한 2024년 보고서에서는 조직이 AI를 파일럿에서 프로덕션으로 전환함에 따라 기업의 필수 요소로 부상하는 트렌드를 확인할 수 있습니다.
생성형 AI 지출, 증가하는 기업의 관심 의미
오늘날 기업의 생성형 AI 투자 중 60%는 혁신 예산에서 발생하며, 이는 생성형 AI 도입이 초기 단계라는 것을 반영합니다. 하지만 생성형 AI 지출의 40%는 영구적인 예산에서 조달되고, 그중 58%가 기존 예산에서 전용되는 등 기업의 AI 혁신에 대한 의지가 점점 커지고 있음을 보여주는데요.
출처: Menlo
여전히 기초 모델(Foundation Models)에 대한 투자가 엔터프라이즈 시장의 생성형 AI 지출 대부분을 차지합니다. 하지만 애플리케이션 계층은 인프라 수준에서 설계 패턴을 통합함으로써 더 빠르게 성장하고 있습니다. 기업들은 이러한 도구를 사용해 여러 부문에 걸쳐 워크 플로우를 최적화해 상당한 가치를 창출하고 있으며, 이를 통해 더 광범위한 혁신을 위한 기반을 마련하고 있습니다.
다음 섹션에서는 엔터프라이즈 시장의 생성형 AI 도입에 있어 중요한 두 가지 측면을 살펴보겠습니다.
스타트업의 첫 번째 돌파구가 등장하고, 미개발 시장이 펼쳐지는 애플리케이션 계층
LLM 군비 경쟁이 경쟁 구도를 재편하고 특정 인프라 패턴이 널리 채택되고 있는 최신 AI 스택
애플리케이션 계층: 애플리케이션에 집중되는 관심
2024년에는 애플리케이션 계층에 많은 변화가 생겼습니다. 여러 아키텍처 설계 패턴이 확립되면서 이 계층에 속한 회사들은 여러 분야에 걸쳐 LLM의 기능을 활용하고 새로운 효율성과 기능을 경험하고 있습니다. 기업 구매자들은 2024년 생성형 AI 애플리케이션에 46억 달러를 쏟아붓고 있으며, 이는 지난해 보고된 6억 달러에서 거의 8배 증가한 수치입니다.
기업들은 단순히 더 많은 비용을 지출하는 것이 아니라 더 크게 생각하고 있습니다. 기업들은 이 혁신적인 기술에 대해 평균 10개의 잠재적 사용 사례를 확인했으며, 이는 광범위하고 야심찬 목표를 나타냅니다. 이 중 거의 4분의 1에 해당하는 24%는 단기적 구현에 우선순위를 두고 있으며, 실제 배포를 향한 강력한 추진력을 의미합니다. 이것은 시작에 불과합니다. 대부분의 기업은 아직 도입 초기 단계에 있으며, 프로덕션에서 사용 중인 사용 사례는 소수에 불과하고, 그 중 1/3에 해당하는 3%는 아직 프로토타입으로 제작하고 평가하고 있습니다.
기업의 활용 사례 순위
출처: Menlo
아직 실험 단계임에도 불구하고 생성형 AI의 도입은 생산성 또는 운영 효율성 향상 등 가시적인 ROI 달성 사례를 보여 줍니다.
✔ 코드 코파일럿(Code copilot)은 51%의 채택률로 선두를 차지하며, 개발자가 AI의 초기 파워 유저가 되었습니다. 3억 달러의 매출을 달성한 GitHub Copilot의 빠른 성장세가 이런 추세를 입증하고 있으며, Codeium 및 Cursor와 같은 새로운 도구도 빠르게 성장하고 있습니다.
기업들은 일반적인 코딩 어시스턴트 외에도 파이프라인 생성 및 테스트 자동화를 위해 Harness AI DevOps Engineer 및 QA Assistant와 같은 작업별 코파일럿과 더 많은 End-to-End 소프트웨어 개발을 수행할 수 있는 All Hands와 같은 AI 에이전트를 구매하고 있습니다.
✔ 지원 챗봇은 기업에서 31%를 채택할 정도로 사용량이 많았습니다. 이 애플리케이션은 직원과 고객을 위해 연중무휴 24시간 신뢰할 수 있는 지식 기반 지원을 제공합니다.
Aisera, Decagon, Sierra의 상담원은 고객과 직접 상호작용하며, Observe AI는 통화 중 실시간 안내를 통해 컨택 센터 상담원을 지원합니다.
✔ ‘엔터프라이즈 검색 + 검색(28%)’ 및 ‘데이터 추출 + 변환(27%)’은 조직 전체에 흩어져 있는 데이터 사일로 안에 숨겨진 가치 있는 지식을 찾아내고 활용하려는 강력한 추진력을 반영합니다.
Glean과 Sana와 같은 솔루션은 이메일, 메신저, 문서 저장소에 연결해 서로 다른 시스템에서 통합된 시맨틱 검색을 가능하게 하고, AI 기반 지식 관리를 제공합니다.
✔ 회의 요약은 사용 사례에서 5위(24%)를 차지했으며, 메모 작성과 요점 파악을 자동화해 시간을 절약하고 생산성을 높여 줍니다.
Fireflies.ai, Otter.ai, Sana와 같은 도구는 온라인 회의를 캡처하고 요약하며, Fathom은 동영상에서 요점을 추출합니다. Eleos Health는 이러한 혁신을 의료 분야에 적용해 의료진이 환자 치료에 집중할 수 있도록 문서 작성 시간을 자동화하고 EHR과 직접 통합합니다.
AI가 주도하는 에이전트와 자동화
현재 구현 패턴을 보면 완전 자동화보다는 사람의 워크플로우를 보강하는 것을 선호한다는 것을 알 수 있습니다. 하지만 업계는 이제 막 완전 자동화로의 전환에 접근하고 있습니다. 복잡한 End-to-End 프로세스를 독립적으로 관리할 수 있는 AI 에이전트의 초기 사례가 산업 전반에 걸쳐 등장하고 있습니다.
‘AI 에이전트’에 대해 더 자세한 내용은 아래 글을 참고해 보세요.
👉 AI 에이전트란? 기존 AI와의 차이 및 적용 사례
금융 백오피스 워크플로우 분야의 선구자인 Forge와 Sema4, 그리고 Clay의 시장 진출(Go-To-Market) 툴은 완전히 자동화된 생성형 AI 시스템이 전통적으로 인간이 주도하는 부문을 어떻게 변화시킬 수 있는지 보여줍니다. 이런 솔루션은 기존 SaaS 업체의 기능을 제공하지만, 전적으로 소프트웨어를 통해 운영되는 미래의 ‘소프트웨어형 서비스’ 시대를 가리킵니다.
‘소프트웨어형 서비스’에 대해 더 자세한 내용은 아래 글을 참고해 보세요.
👉 새로운 SaaS(Service as a Software), 기존 SaaS와 어떤 점이 다를까?
구축 vs 구매? 사례별 접근 방식
기업의 구축 또는 구매 비율은 거의 균등합니다. 솔루션의 47%는 자체적으로 개발하고, 53%는 공급 업체에서 조달합니다.
이는 2023년에 기업의 80%가 타사의 생성형 AI 소프트웨어에 의존하고 있다고 응답한 것과 비교하면 눈에 띄는 변화로, 많은 기업이 외부 공급 업체에 의존하는 대신 자체적으로 내부 AI 도구를 구축할 수 있는 자신감과 능력이 증가하고 있음을 나타냅니다.
장기적 관점: 생성형 AI 도입에 있어 빠른 성과보다 가치를 우선시하는 기업들
출처: Menlo
기업은 생성형 AI 애플리케이션을 선택할 때 우선순위가 분명합니다. 새로운 툴을 선택할 때는 투자 수익률과 산업별 맞춤화가 가장 중요합니다. 놀랍게도 설문조사에 참여한 기업 리더 중 단 1%만이 가격을 선택의 주요 고려 사항으로 꼽았을 정도로 가격은 큰 문제가 되지 않습니다.
이들은 가장 저렴한 가격(1%)보다 측정 가능한 가치를 제공할 수 있고(30%), 업무의 고유한 맥락을 이해하는 도구(2%)에 훨씬 집중하고 있습니다.
ROI만고민하면, 구현 퍼즐의 중요한 조각을 놓칠 수 있습니다. 종종 기술 통합, 지속적인 지원 및 확장성의 중요성을 과소평가했다는 사실을 너무 늦게 깨닫는 경우가 많습니다. 이는 마치 연비만 보고 자동차를 구매하다가 나중에 서비스 가용성과 유지 보수의 용이성이 장기적 관점에서 매우 중요하다는 것을 깨닫는 것과 같습니다.
AI 파일럿이 더듬거리거나 멈추는 경우, 이는 종종 선택 과정에서 적절하게 고려되지 않은 문제 때문인 경우가 많습니다.
구매자가 가격표를 확인하지는 않지만, 실패한 파일럿의 26%는 비용 때문에 구매자가 방심하는 경우입니다. 데이터 프라이버시 장애물(21%)과 실망스러운 ROI(18%)도 파일럿의 발목을 잡습니다. 또한 특히 환각과 관련된 기술적 문제(15%)가 실패의 가장 큰 원인으로 꼽혔습니다. 계획 및 선택 단계에서 이러한 잠재적 함정을 사전에 해결하면 성공적인 구현 가능성을 높일 수 있습니다.
볼트온(Bolt-on) vs 혁신: 스타트업 붕괴에 더 취약한 기존 기업들
작년에 기존 기업들은 기존 제품에 생성형 AI 기능을 추가하는 볼트온(Bolt-on) 전략으로 시장을 장악했습니다. 우리는 스타트업의 입지가 점점 더 커질 것이라고 예측했으며, 올해 데이터는 이를 입증했습니다. 고객의 64%는 여전히 신뢰와 즉시 사용 가능한 기능을 이유로 기존 공급 업체의 구매를 선호하지만, 기존 공급 업체의 지배력에 균열이 생기기 시작했습니다.
데이터에 따르면 불만이 커지고 있는데, 의사 결정권자의 18%는 기존 제품에 실망을 표시했으며, 응답자의 40%는 현재 솔루션이 진정으로 자신의 요구 사항을 충족하는지 의문을 제기하고 있습니다. 이는 혁신적인 스타트업이 등장해 기회를 차지할 가능성을 시사합니다.
부서별 전환
출처: Menlo
오늘날 생성형 AI 도입에서 주목할 점은 규모뿐만 아니라 범위입니다. 올해 생성형 AI 예산은 모든 부서로 흘러 들어갔습니다.
IT(22%), 제품 및 엔지니어링(19%), 데이터 사이언스(8%)를 합쳐 기술 부서가 전체 기업 생성형 AI 투자의 거의 절반을 차지하며 가장 큰 지출 비중을 기록한 것은 당연한 결과입니다. 나머지 예산은 지원(9%), 영업(8%), 마케팅(7%) 등의 고객 대면 부서, HR(7%) 및 재무(7%) 등의 백오피스 팀, 디자인(6%), 법무(3%)와 같은 소규모 부서에 분산되어 있습니다.
버티컬 AI 애플리케이션의 부상
출처: Menlo
최초의 생성형 AI 애플리케이션은 텍스트 및 이미지 생성을 위한 범용적 솔루션이었지만, 2024년에는 고도로 도메인에 특화되고 수직화된 워크플로우에 LLM의 새로운 기능을 적용하는 애플리케이션이 점점 더 많아지고 있습니다. 다음 업종이 도입을 주도하고 있습니다.
✔ 헬스케어
전통적으로 기술 도입이 더딘 의료 분야는 이제 5억 달러의 기업 지출을 통해 AI 도입을 주도하고 있습니다.
Abridge, Ambience, Heidi, Eleos Health와 같은 앰비언트 도구는 의사들의 필수품이 되었으며, 분류 및 접수(예: Notable)에서 코딩(예: SmarterDx, Codametrix) 및 수익 주기 관리(예: Adonis, Rivet)에 이르기까지 임상 수명 주기 전반에 걸쳐 부상하고 있습니다.
✔ 법률
역사적으로 기술에 저항적이었던 법률 업계(엔터프라이즈 AI 지출 규모 3억 5천만 달러)는 이제 방대한 양의 비정형 데이터를 관리하고 복잡한 패턴 기반 워크플로우를 자동화하기 위해 생성형 AI를 도입하고 있습니다.
이 분야는 크게 소송법과 거래법으로 나뉘며, 수많은 하위 전문 분야가 있습니다. 소송에 뿌리를 둔 Everlaw는 법적 보존, 전자 증거 개시 및 재판 준비에 중점을 두고 있으며, Harvey와 Spellbook은 계약서 검토, 법률 조사, M&A를 위한 솔루션을 통해 거래법 분야에서 AI를 발전시키고 있습니다.
특정 업무 영역에서도 AI 혁신을 목표로 삼고 있습니다. EvenUp은 상해법에 중점을 두며, Garden은 특허 및 지적 재산권에 중점을 둡니다. 이민 및 고용법 관련 Manifest, Eve는 고객 접수에서 해결에 이르기까지 원고의 사건 처리 과정 전체를 재창조하고 있습니다.
✔ 금융 서비스
복잡한 데이터, 엄격한 규정, 중요한 워크플로우를 갖춘 금융 서비스(엔터프라이즈 AI 지출액 1억 달러)는 AI 혁신을 위한 준비가 되어 있습니다.
Numeric 및 Klarity와 같은 스타트업은 회계에 혁명을 일으키고 있으며, Arkifi와 Rogo는 고급 데이터 추출을 통해 금융 연구를 가속화하고 있습니다. Arch는 AI를 사용해 RIA와 투자 펀드의 백오피스 프로세스를 혁신하고 있습니다. ORby와 Sema4는 조정 및 보고부터 시작하는 광범위한 수평적 솔루션이며, Greenlite와 Norm AI는 진화하는 규정에 발맞춰 실시간 규정 준수 모니터링을 제공합니다.
✔ 미디어 및 엔터테인먼트
할리우드 스크린에서 크리에이터의 스마트폰에 이르기까지 생성형 AI는 미디어와 엔터테인먼트를 재편하고 있습니다. (엔터프라이즈 AI 지출 규모 1억 달러)
Runway와 같은 도구는 이제 스튜디오의 필수품이 되었으며, Captions, Descript와 같은 앱은 독립 크리에이터에게 힘을 실어 줍니다. Blask Forest Labs, Higgsfield, Ideogram, Midjourney, Pika와 같은 플랫폼은 전문가를 위한 이미지 및 비디오 제작의 한계를 뛰어넘습니다.
이어지는 내용은 다음 게시물에서 이어집니다.