[인터넷 역사 03] 국내외 웹 검색 엔진의 역사, 구글은 처음부터 1위였을까?
지난 게시물에서는 우리가 매일 접속해 우리 일상 전반에서 활용하고 있는 인터넷 웹 사이트가 처음에 어떤 계기로 생겼는지, 월드 와이드 웹 창시자인 팀 버너스 리는 어떤 사람인지, 그리고 인터넷 대중화를 이끈 도메인 이름 시스템(DNS)과 넷스케이프, 이메일의 역사를 하나씩 살펴봤습니다.
👉 [인터넷 역사 01] 월드 와이드 웹의 개발 역사와 팀 버너스 리
👉 [인터넷 역사 02] 최초의 이메일과 웹 브라우저 시장 흥망성쇠
이번에는 구글이 대표하는 웹 검색 엔진의 역사와 검색 엔진 종류 등을 하나씩 살펴보기로 해요.
1. 검색 엔진(Search Engine)의 등장
출처: 플래텀
인터넷은 1969년 군사 목적의 ARPANET 등장으로 태동했고, 1991년 월드 와이드 웹과 함께 웹 서비스 역사가 시작됐습니다. 인터넷 검색 엔진은 1990년대 중반, 인터넷이 대중화되면서 등장했습니다. 앞선 포스팅에서 소개한 것처럼 넷스케이프를 시작으로 다양한 웹 브라우저가 상용화되면서 일반인도 누구나 웹 사이트에 접속해 전 세계의 정보를 탐색할 수 있게 되었죠.
1) 검색 엔진 정의 및 동작 원리
검색 엔진(Search Engine)이란 컴퓨터 시스템에 저장된 정보를 찾아주거나 웹 검색을 도와주도록 설계된 정보 검색 시스템 또는 컴퓨터 프로그램을 말합니다.
그렇다면 검색 엔진은 전 세계에 흩어진 무수한 정보 중에 내가 필요한 정보를 어떤 원리로 찾아주는 걸까요?
1️⃣ 웹 크롤링(Web Crawling)
검색 엔진은 웹상에 존재하는 방대한 정보를 탐색하고 수집해 둡니다. 웹 크롤링(Web Crawling)이라고 부르는 이 작업은 크롤러(Crawler)라는 웹 로봇이 규칙에 따라 자동으로 수행합니다.
2️⃣ 인덱싱 (Indexing)
검색 엔진은 웹 크롤링으로 수집한 데이터를 찾기 쉽게 정리하고 분류하는데요. 인덱싱 (Indexing) 또는 색인이라고 부르는 이 과정을 통해 검색 엔진은 필요한 정보에 빠르게 접근할 수 있어요.
3️⃣ 검색 결과 게재 (Ranking)
사용자가 검색 엔진에서 원하는 정보를 찾기 위한 검색어를 입력하면 검색 엔진은 미리 정리해 둔 색인에서 가장 적절한 문서를 게재합니다. 이때 정보가 게재되는 순서는 관련성과 콘텐츠의 질, 인기도, 사용자 경험 등 다양한 요소에 따라 달라질 수 있습니다.
2) 웹 검색 엔진 역사
출처: Linkedin
세계 최초의 인터넷 검색 엔진은 1990년에 공개된 아치(Archie)로 알려져 있습니다. 아키는 공개 FTP(File Transfer Protocol) 사이트의 정보를 검색하기 위해 맥길 대학에 다니던 한 학생이 개발했는데요. 이때 검색 엔진은 전 세계의 네트워크가 아니라 각자 개인이 소유한 FTP 서버에서 원하는 정보를 검색하고 주고받는 데 활용되었습니다. 그 외에 고퍼(Gopher)라는 서버에 올린 자료를 검색하는 베로니카(Veronica)라는 검색 엔진도 등장했습니다.
웹 검색 엔진은 1991년 월드 와이드 웹을 시작으로 웹 서비스가 대중화되면서 현재 우리가 알고 있는 형태로 발전하였으며, 다양한 검색 엔진 서비스가 등장하면서 빠르게 성장했습니다.
2. 시기별 주요 검색 엔진 종류
웹 검색 엔진의 역사는 크게 태동기, 성장기, 성숙기로 나눠서 살펴 볼 수 있습니다.
1) 웹 검색 엔진 탄생기
출처: WIKIPEDIA
월드 와이드 웹 전용으로 만들어진 최초의 검색 엔진을 알리웹(ALIWEB)으로 보는 시각이 많습니다. 하지만 알리웹은 사용자가 많지 않았고, 웹 로봇이 아니라 웹사이트 운영자가 등록하는 형태로 운영됐습니다. 1994년에는 야후(Yahoo!) 역시 사람이 관리하는 형태의 검색 엔진을 선보입니다. 같은 해, 문서 전체를 검색하는 최초의 엔진인 웹크롤러(WebCrawler)가 공개되었는데요. 이때 웹크롤러가 사용한 크롤링 방식은 색인을 최신 상태로 유지할 수 있어 현재 대부분의 검색 엔진이 활용하고 있기도 합니다.
1996년 알타비스타(AltaVista)가 등장하면서 대중적 인기를 끌었습니다. 64비트 알파칩을 사용해 대용량의 웹페이지도 빠른 속도로 검색할 수 있다는 것이 특장점이었죠. 이후 야후의 검색 엔진으로 채택되면서 1990년대 후반까지 높은 인기를 누렸지만, 차별화를 못해 점유율을 잃기 시작했고 2013년 서비스를 종료했습니다.
이 시기의 검색 엔진은 웹 크롤링과 인덱싱, 검색 알고리즘, 자연어 처리 등 각종 기술이 적용되며, 현재 우리가 사용하는 검색 엔진의 토대가 되었습니다. 하지만 당시 인터넷 사용자가 지금처럼 많지 않았고 수익화에 어려움을 겪었습니다.
2) 웹 검색 엔진 성장기
출처: Research Gate
1994년 첫선을 보인 야후는 콘텐츠 주제에 따라 계층 구조로 분류한 디렉토리 검색 엔진으로 자리 잡으며 대중적 인기를 끌었습니다. 초기에는 사람이 수작업으로 디렉토리를 생성해 제공했기에 검색 엔진이라고 할 수는 없었지만, 검색 광고가 비즈니스 모델로 주목받기 시작한 2003년부터 검색 엔진 개발에 나섰습니다. 그 후 메일, 게임, 뉴스와 같은 다양한 서비스를 추가하였고, 2010년까지 검색 포털 사이트로 독보적인 위치를 차지했습니다.
한편, 1994년 라이코스, 1995년 인포시크와 메타크롤러, 1998년 구글과 MS의 MSN 검색 등 다양한 검색 엔진이 등장했는데, 구글 검색 사용량이 야후를 추월하기 시작한 2000년대 초반부터 야후와 구글의 검색 전쟁이 본격화됐습니다.
1990년대 후반부터 2000년대 초중반에는 한국에서도 검색 엔진 전쟁이 치열하게 벌어지고 있는데요. 1995년 코시크를 시작으로 한글과컴퓨터의 심마니와 같은 국내 검색 엔진이 출시되었고, 야후와 구글 등의 외국계 검색 엔진 서비스가 유입되면서 치열해졌습니다.
2000년대 초반까지의 웹 검색 엔진 시장은 검색 엔진에 수익성을 찾은 기업이 뛰어들면서 다양한 엔진이 출시되고 경쟁이 치열했는데, 그 과정에서 검색 엔진 기술이 발전해 지금의 모습을 갖추기 시작했습니다.
3) 웹 검색 엔진 성숙기
출처: Research Gate
2024년 4월 기준 전 세계 검색 엔진 점유율에서 구글은 90.91%를 차지하고 있다고 합니다. 구글은 최초의 검색 엔진은 아니지만, 현재 기준 전 세계 검색 엔진 시장을 압도적인 비중으로 차지한 끝판왕이 되었는데요.
구글은 1998년 등장과 함께 혁신적인 검색 알고리즘 기반으로 큰 주목을 받았습니다. 웹 페이지의 상대적 중요도에 따라 가중치를 부여하는 페이지랭크(PageRank) 알고리즘을 기반으로 사용자들에게 더 나은 검색 경험을 제공했기 때문이죠. 구글은 검색 가이드라인을 제시하며 콘텐츠 제공자와 함께 더 나은 검색 결과를 제공하려는 노력을 하기도 했습니다. 또한 애드센스(AdSense)와 같은 검색 광고 서비스를 통해 수익성을 확보하였습니다.
3. 국내 웹 검색 엔진 전쟁
지금까지 소개한 검색 엔진은 미국을 중심으로 인기를 끈 서비스라 국내 사용자에게는 익숙하지 않을 수 있는데요. 실제로 전 세계의 90% 이상을 차지하고 있는 구글조차 한국 시장에서의 점유율이 40%를 넘긴 것은 최근의 일입니다. 그렇다면 한국에서는 검색 엔진이 어떻게 발전했으며, 어떤 서비스가 있었는지 살펴볼까요?
1) 탄생기: 국산 검색 엔진의 등장
출처: IT 조선
한국에서 만든 최초의 검색 엔진은 1995년 공개된 코시크(kor-seek)입니다. 코시크는 충남대에 재학 중이던 학생이 개발한 것으로 디렉토리 서비스와 키워드 검색 서비스를 제공했습니다. 당시에는 해외 검색 엔진으로 검색했을 때 한글 폰트가 깨져서 나오기 때문에 사용하기 어려웠는데, 코시크는 이런 어려움을 해결한 것이죠. 이후 한글로 된 웹 페이지가 크게 증가할 수 있었습니다. 코시크의 성공에 이어 1996년에는 대구대학교 학생이 개발한 ‘까치네’, 계명대 학생의 ‘와카노’, KAIST 학생의 ‘미스다찾니’ 등 다양한 한글 검색 엔진이 공개됐습니다.
1996년 한글과컴퓨터는 심마니(Simmani)라는 이름의 한글 검색 엔진을 선보입니다. 국내에서 기업이 개발한 첫 번째 검색 엔진인데요. 지금의 연관 검색어와 같은 ‘유의어 확장 검색’이 차별점이었습니다. 그 외에도 무료 메일과 맞춤 뉴스, 달력 등 다양한 부가 서비스를 제공하는 한미르(Hanmir)가 1999년, 자연어 검색 기능을 내세운 엠파스(Empas)가 2000년에 등장해 국내 검색 엔진 서비스 발전의 토대가 되었습니다.
2) 성장기: 해외 검색 엔진의 유입
출처: IT 조선
1990년대 후반부터는 야후와 알타비스타 등의 해외 검색 엔진이 한국에서 서비스를 시작했습니다. 1997년 야후코리아와 알타비스타코리아가 한글 서비스를 제공했으며, 1999년에는 라이코스코리아가 국내 검색 엔진 시장에서 강세를 보였는데요. 라이코스는 국내 진출 1년 만에 한국에서 야후, 다음과 함께 3대 검색 엔진으로 자리 잡았습니다.
하지만 라이코스는 이후 국산 포털 사이트가 등장하면서 차별화된 서비스를 제공하지 못해 국내 시장에서 외면받습니다. 야후코리아는 국내 진출과 함께 큰 인기를 끌었으며 검색 엔진 기반 포털화에 앞장섰지만, 2000년대 초반 국내 포털 사이트의 발전과 함께 점유율을 잃으며 2012년 한국에서 철수하게 됩니다.
3) 성숙기: 검색 엔진 기반 포털 사이트의 등장
출처: 뉴스에듀
1997년 다음(Daum)은 일반인에게 무료 이메일 계정을 제공하는 웹메일 서비스를 국내 최초로 시작했는데, 1999년 포털로 새단장하며 해외 포털에 대항하는 국내 엔진임을 강조하며 국내 검색 엔진 기반 포털 시장을 점령했습니다. 1997년 삼성 SDS의 사내 벤처로 시작한 네이버(Naver) 역시 1999년 포털 사업을 시작했습니다. 2000년대 초반까지 국내 포털 시장은 다음, 네이버, 야후코리아 3개 사가 차지하고 있었습니다.
네이버는 2002년 ‘지식IN’이라는 검색 서비스를 제공하면서 폭발적인 인기를 끌었습니다. 당시 인터넷에는 한글로 된 콘텐츠가 다양하지 않았는데, 네이버는 사용자가 자발적으로 다양한 한글 콘텐츠를 만들도록 유도하고, 이를 기반으로 한글 검색 엔진 활성화를 이끈 것이죠. 이후 네이버는 다양한 검색 서비스는 물론 개인화된 서비스를 제공하면서 다음과 야후코리아를 밀어내고 국내 포털 1위를 차지하였습니다.
한글 검색 엔진 시장의 대중화를 연 다음은 2000년대 초반까지는 국내 1위 서비스였으나, 지식IN을 시작으로 네이버에게 1위 자리를 내어주고, 한메일의 온라인 우표제 실행과 여러 이슈로 인해 하락세를 이어갔습니다. 결국 다음은 2014년 카카오와 합병해 지금은 카카오의 서비스로 통합되었습니다.
한편, 구글은 2006년 한국에 지사를 설립하며 본격적으로 진출했지만, 한국에서는 오랜 기간 낮은 인지도로 인해 국내 서비스에 밀려 존재감을 드러내지 못했는데요. 스마트폰 보급과 함께 모바일 검색 시장이 커지고 구글의 웹 브라우저 크롬(Chrome) 점유율이 올라가면서 국내 검색 엔진 시장에서의 점유율도 증가했습니다. 2024년 기준 구글의 한국 검색 엔진 시장 점유율은 34.85%입니다.
이번 편에서는 웹 검색엔진 작동 원리와 국내외 웹 검색 엔진의 종류와 역사를 자세히 살펴봤는데요. 1990년대 중후반부터 2024년 현재까지 30년 남짓의 짧은 기간 웹 검색 엔진 시장이 얼마나 치열하게 발전했는지 알 수 있는 시간이었습니다. 다음 편에서는 모바일 기반 소셜 미디어의 등장에 대해 소개해 드릴 테니 기대해 주세요!