지난 게시물에서는 미국의 벤쳐 캐피탈 Menlo Ventures가 최근 발행한 2024: The State of Generative AI in the Enterprise라는 글을 소개하며, 기업의 생성형 AI 도입에 있어 중요한 두 가지 측면 중 첫 번째인 애플리케이션 계층에 대해 자세히 알아봤습니다. 이번 게시물에서는 최신 AI 스택에 대해 어떤 내용을 다루었는지 살펴볼까요?
이전 게시물은 아래 링크로 확인 가능합니다.
👉 2024 기업의 생성형 AI 현황 (원제: 2024: The State of Generative AI in the Enterprise) (2)
심층 분석: 인프라와 최신 AI 스택
출처: Menlo
일 년간의 빠른 진화 끝에 2024년에 최신 AI 스택은 안정화되었으며, 기업들은 대부분의 프로덕션 AI 시스템의 런타임 아키텍처를 구성하는 핵심 빌딩 블록을 중심으로 통폐합되었습니다.
이 중 파운데이션 모델이 여전히 지배적이며, LLM 계층은 65억 달러의 기업 투자를 요구합니다. 그러나 시행착오를 거치면서 기업들은 단발성 데모가 아닌 프로덕션 환경에서 안정적으로 작동할 수 있는 정교한 복합 AI 아키텍처를 구축하는 데 있어 데이터 스캐폴딩과 통합의 중요성을 점점 더 잘 이해해가고 있습니다.
LLM 트렌드: 오픈AI가 앤트로픽(Anthropic)에 자리를 내주면서 멀티 모델 부상
출처: Menlo
기업들은 단일 공급업체에 의존하는 대신 실용적인 멀티 모델 접근 방식을 채택하고 있습니다. 연구 결과에 따르면 기업들은 일반적으로 AI 스택에 3개 이상의 기본 모델을 배포하고, 사용 사례나 결과에 따라 다른 모델을 사용하는 것으로 나타났습니다.
이러한 전략은 업계의 열띤 논의에도 불구하고 선호도가 안정적으로 유지되고 있는 오픈 소스 대 폐쇄형 소스 논쟁으로 확장됩니다. 폐쇄형 소스 솔루션은 81%의 시장 점유율로 대부분의 사용을 뒷받침하고 있으며, Meta의 Llama3가 주도하는 오픈 소스 대안은 2023년 대비 1% 포인트 하락한 19%로 안정적으로 유지되고 있습니다.
폐쇄형 소스 모델 중에 엔터프라이즈 시장 점유율이 50%에서 34%로 하락하면서 오픈AI의 얼리 무버(early mover) 우위가 다소 약화됐습니다. 가장 큰 수혜자는 Anthropic으로, 새로운 모델이 최첨단이 되었을 때 일부 기업이 GPT-4에서 Claude 3.5 Sonnet으로 전환함에 따라 점유율이 12%에서 24%로 두 배 증가했습니다. 새로운 LLM으로 전환할 때 기업들은 보안 및 안전 고려 사항(46%), 가격(44%), 성능(42%), 확장된 기능(41%)을 가장 많이 고려하는 동기로 꼽았습니다.
디자인 패턴 트렌드: RAG 증가, 드문 미세 조정, 에이전트 탄생
출처: Menlo
효율적이고 확장 가능한 AI 시스템을 구축하기 위해 표준화된 아키텍처인 엔터프라이즈 AI 디자인 패턴이 빠르게 진화하고 있습니다. RAG(검색 증강 생성: Retrieval-Augmented Generation)는 현재 51%의 채택률로, 작년의 31%에서 크게 증가했습니다.
한편, 선도적인 애플리케이션 제공 업체들 사이에서 종종 알려진 미세 조정은 놀라울 정도로 드문데, 생산 모델의 9%만이 미세 조정을 거치고 있습니다.
올해의 가장 큰 혁신은 에이전트 아키텍처로, 올해 첫선을 보였으며 이미 구현의 12%를 지원하고 있습니다.
벡터 데이터 베이스, ETL 및 데이터 파이프라인: RAG의 기초
RAG를 강화하려면 기업은 관련 쿼리 지식을 효율적으로 저장하고 액세스해야 합니다. Postgres(15%)와 MongoDB(14%)와 같은 기존 데이터 베이스가 여전히 일반적이지만, AI 우선 솔루션이 계속해서 자리를 잡아가고 있습니다. AI 네이티브 벡터 데이터 베이스인 Pinecone은 이미 시장의 18%를 점유하고 있습니다.
데이터 ETL/Preparation에서도 비슷한 변화가 일어나고 있습니다. 기존 ETL 플랫폼(예: Azure Document Intelligence)은 여전히 배포의 28%를 차지하지만, PDF 및 HTML과 같은 문서의 비정형 데이터의 미묘한 차이를 처리하도록 설계된 Unstructured와 같은 전문 도구는 16%의 시장 점유율로 독자적인 영역을 개척해 나가고 있습니다. 스택 전반에서 최신 AI의 요구 사항을 충족하기 위해 특별히 설계된 기술에 대한 수요가 증가하고 있음을 알 수 있습니다.
예측
2024년은 2023년에 기록했던 과대광고가 실제 구현으로 이어지면서 전환과 진화의 해였습니다. 오늘 공유한 데이터와 투자자로서 관찰한 트렌드를 바탕으로, 세 가지 예측을 소개합니다.
에이전트는 차세대 혁신의 물결을 주도할 것입니다.
에이전트 자동화는 콘텐츠 생성 및 지식 검색에 중점을 둔 현재 시스템의 기능을 뛰어넘는 복잡한 다단계 작업을 처리해 차세대 AI 혁신의 물결을 주도할 것입니다.
Clay와 Forge와 같은 플랫폼은 첨단 에이전트가 4,000억 달러 규모의 소프트웨어 시장을 혼란에 빠뜨리고 10조 달러 규모의 미국 서비스 경제를 잠식할 방법을 예고합니다.
이러한 변화에는 에이전트 인증, 도구 통합 플랫폼, AI 브라우저 프레임워크, AI 생성 코드를 위한 특수 런타임과 같은 새로운 인프라가 필요합니다.
다윗이 골리앗을 이긴다: 더 많은 기존 업체가 쓰러질 것입니다.
챗GPT는 올해 Chegg와 Stack Overflow의 사례를 보며 경각심을 갖게 되었습니다.
Chegg는 시가 총액의 85%가 사라졌고, Stack Overflow는 웹 트래픽이 절반으로 줄었습니다. 다른 카테고리에서도 지각 변동이 일어나고 있습니다. Cognizant와 같은 IT 아웃소싱 기업과 UiPath와 같은 레거시 자동화 기업은 AI 기반 도전자들의 시장 진입에 대비해야 합니다.
시간이 지나면 Salesforce나 Autodesk와 같은 거대 소프트웨어 기업도 AI 네이티브 도전자에 직면하게 될 것입니다.
안도감은 보이지 않습니다. AI 인재 가뭄이 심화하고 있습니다.
우리는 엄청난 인재 가뭄의 위기에 직면해 있습니다. AI 시스템이 확산하고 더욱 정교해짐에 따라 기술 업계는 심각한 인력 부족에 직면하게 될 것입니다.
이는 단순히 데이터 과학자의 부족이 아니라 고급 AI 기능과 도메인별 전문 지식을 연결할 수 있는 전문가의 심각한 부족입니다. 인재 풀은 이미 위험할 정도로 부족합니다. 이미 고액 연봉을 받는 AI 기술 엔터프라이즈 아키텍트는 앞으로 2~3배 연봉을 받게 될 것이 표준으로 점쳐지고 있습니다.
교육 프로그램과 AI 우수 센터에 대한 투자에도 불구하고 그 격차는 더 커질 것이며, 차세대 AI 혁신에 필요한 인재를 확보하기 위한 치열한 경쟁을 촉진할 것입니다.
이것은 시작에 불과합니다.
AI는 최첨단 AI 도구, 역량 있는 인재, 경제를 재편할 혁신적인 비즈니스 모델에 힘입어 새로운 혁신의 시대를 열어가고 있습니다. 우리는 포트폴리오 전반에 걸쳐 이러한 변화를 목격하고 있습니다.
✔ 노벨상을 수상한 과학자이자 Vilya와 Xaira Therapeutics의 공동 설립자인 데이비드 베이커(David Baker)는 AI를 통해 잠재적인 신약을 컴퓨터 방식으로 생성하고, 그 구조와 기능을 예측해 도움이 필요한 환자에게 필요한 새로운 생명 구형 치료법 개발을 가속화할 수 있습니다.
✔ Continental, Michelin, Nestlé와 같은 제조 업체는 AI를 통해 부족한 지식을 습득하고 높은 수준의 공장 작업을 유지할 수 있습니다. Squint를 사용해 교육 자료를 몰입형 증강 현실 체험으로 변환해 실시간 단계별 지침 및 검증을 제공함으로써 안전을 강화하고 작업자 오류를 줄이며 일관된 처리량을 보장합니다.
✔ 기업은 코딩 평가를 자동화하고, 문제 난이도를 개인화하며, 표절을 탐지해 정확성과 효율성을 높인 CodeSignal을 사용함으로써 최고의 엔지니어링 인재를 더 빠르고 안정적으로 식별할 수 있습니다.
✔ Abnormal Security는 AI를 통해 피싱 및 비즈니스 이메일 침해와 같은 정교한 이메일 위협으로부터 기업을 보호합니다. 이상 징후를 탐지하고 피해를 입기 전에 차단함으로써 매년 최대 400만 달러의 잠재적 손실을 방지합니다.
✔ 다양한 산업 분야의 포춘지 선정 500대 브랜드가 Typeface를 통해 개인화된 브랜드 콘텐츠를 대규모로 제작할 수 있도록 AI를 활용하고 있습니다. Typeface를 통해 브랜드는 광고 생산량을 4배로 늘리고, 제작 시간을 절반으로 단축하며, 매달 수백 시간을 절약하는 동시에 고객이 공감할 수 있는 매력적인 콘텐츠를 제공할 수 있습니다.
Menlo Ventures 팀은 이러한 변화의 일부가 되어 AI로 가능성의 한계를 뛰어넘는 창업자들을 지원하게 되어 매우 기쁘게 생각합니다. Abnormal Security, Anthropic, Arch, Cleanlab, Eleos, Genesis Therapeutics, Harness, Higgsfield, Neon, OpenSpace, Pinecone, Recursion, Sana, Squint, Typeface, Unstructured, Vilya, Xaira 등의 회사는 AI가 어떻게 산업을 혁신하고 완전히 새로운 도구와 사업을 만들어 수백만 명에게 혜택을 제공할 수 있는지 보여줍니다.
작성: Menlo Tim Tully, Joff Redfern, Derek Xiao
번역: 다빈치
이 글은 Menlo의 2024: The State of Generative AI in the Enterprise을 번역하고 일부 편집했으며, 원문이 궁금하다면 여기를 클릭해 확인하세요.