다나와의 상품 데이터 여정

다나와 상품 데이터

다나와에는 컴퓨터 부품부터 시작하여 옷, 가전, 가구 식품 등등 많은 다양한 상품들이 있습니다.
이 많은 상품 데이터들은 다나와에서는 어떻게 가지고 관리하고 있을까요?

데이터 흐름도

우선 데이터 흐름도를 보기 전에 일부 용어를 설명하고 가겠습니다.

• 기준 상품: 다나와에서 자체적으로 만든 상품입니다, 상품 클릭 시 링크 상품들이 모여있는 상세페이지로 이동합니다.
• 링크 상품: 기준 상품과 연결된 상품으로, 클릭 시 해당 제품의 판매처로 이동합니다.
• 검색 상품: 검색 상품 탭에 리스트, 미링크 상품들이 모여있습니다.
• 미링크 상품: 검색 시 바로 노출되며, 해당 제품의 판매처로 즉시 이동하는 상품입니다.
• CM: 카테고리 매니저

아래 사진은 각 기준, 링크, 미링크 상품들의 예시 사진입니다.

다음 사진은 다나와의 상품 데이터 흐름도입니다.

수집기에서 협력사 상품 데이터를 수집을 시작으로 분류기, 오피스, 검색 서비스로 데이터는 뻗어져 나가는 걸 확인할 수 있습니다.

자 그럼 각각의 서비스들을 하나씩 살펴보며 다나와의 상품 데이터 여정을 설명하겠습니다.

수집기와 분류기

제일 처음 수집기에서 협력사들로부터 상품 데이터를 수집합니다.
수집한 데이터는 대용량 데이터로 최소 MB 단위부터 GB 단위로 수집되며, GB경우 상품 데이터 수량이 많게는 억 단위 입니다.
그 많은 상품 데이터를 가공하여서 상품 DB에 저장하거나 상품 정보에 따라서 분류기와 검색에 데이터를 전달합니다.

수집기는 다나와의 상품 데이터의 시작점이라고 할 수 있습니다.

분류기는 수집기로부터 전달받은 데이터를 통해 아래의 사진처럼 상품의 링크와 카테고리, 빠른 배송 상품을 분류하며 또한 제품의 최저가를 갱신합니다.

위 사진같이 다나와에는 수많은 카테고리가 있고, 카테고리는 대분류, 중분류, 소분류, 세분류 까지 존재합니다.

이 많은 카테고리 분류와 상품의 링크는 학습 데이터를 통해 자동으로 분류하고 있습니다.
외에도 유사한 상품끼리 묶어 주며 각 협력사들로부터 수집된 동일 상품에 데이터가 다를 경우에는 하나의 상품으로 묶어주는 작업까지 분류기에서 상품 데이터의 대부분을 자동으로 처리하고 있습니다.

오피스

오피스는 CM들이 사용하는 툴로 분류기에서 분류되지 않은 상품들을 수동으로 분류하고 상품의 링크를 걸어주는 작업 및 상품의 최저가 갱신, 상품 데이터 수집, 분류 현황 통계, 상품 데이터 수정 등 다양한 작업을 수행합니다.

그리고 오피스에서 상품 데이터를 수정 시 수집기, 분류기, 검색 말고도 다나와의 다른 서비스에 변경 알림을 맡고 있습니다.

검색

검색은 수집기로부터 전달받은 미링크 상품 데이터를 형태소 분석 및 상품명 분석을 통해 색인에 최적화를 하여 사용자가 원하는 상품을 빠르고 정확하게 찾을 수 있도록 도와줍니다.

마무리

지금까지 다나와에서 상품 데이터의 여정과 다나와의 핵심 서비스들을 간단하게 소개해 보았습니다.

수집기에서 상품 데이터를 수집하면 상품 데이터는 분류기에서 자동으로 분류 과정이 진행되고 오피스에서는 분류기에서 분류되지 않은 상품들을 수동으로 분류하고 상품 데이터를 수정합니다. 그리고 검색은 미링크 상품들을 색인하여 사용자가 원하는 상품을 빠르고 정확하게 찾을 수 있도록 도와줍니다.

그렇게 앞의 과정을 통해 다나와의 상품 데이터는 관리되고 있습니다.
상품 데이터는 다나와의 다른 서비스들이 사용하여 여러분들이 보시는 다나와 페이지에 노출되고 있습니다.

대용량의 데이터에 관심이 있으시면 채용 페이지를 통해 지원하여 다나와에 합류해서 같이 다나와의 상품 데이터를 관리해 보시는 건 어떨까요?

감사합니다.