뒤로가기

Beyond Price Comparison
너와 나와, 다나와에서 함께 개발해요 개발자 지원하기

그라파나에서 텔레그램으로 알람받기

그라파나에 구성한 대시보드 패널에 알람 규칙을 추가하여 텔레그램으로 알람 받기"

최현복 2021.01.26.

디서치 관리도구 사용법 #14 - 파이프라인

안녕하세요. 이번 포스팅 내용은 다나와에서 개발한 디서치 관리도구(엘라스틱서치 관리도구)에서 파이프라인 메뉴에 대해 소개하는 시간을 가지도록 하겠습니다.

선지호 2021.01.20.

엘라스틱서치 Left Join API 개선사항

지난번 엘라스틱서치 API방식으로 전환이 후 CPU 사용률이 높아 성능개선한 부분에 대해 공유합니다. 그리고 추가된 밀터필드 조건 기능도 소개드립니다. Left Join API의 구성 및 사용법은 아래 링크를 통해 확인 부탁드립니다.

김준우 2021.01.20.

도커 컴포즈 가이드라인

도커 컴포즈를 사용할 때 가이드라인이 필요하다고 생각하여 작성하여 공유 합니다.

선지호 2021.01.13.

도커 파일 가이드라인

도커 파일을 생성함에 있어서 가이드라인이 필요하다고 생각하여 작성하여 공유를 합니다.

선지호 2021.01.13.

엘라스틱서치 Left 조인 (확장 API 방식)

지난번 엘라스틱서치 Left Join Plugin 소개 포스팅을 통해 엘라스틱서치의 플러그인을 소개해드렸습니다. 하지만 엘라스틱서치 버전 7.9.0 부터 현재 최신 버전인 7.10.1까지 엘라스틱서치 플러그인 이슈가 발생하였습니다. 그렇기에 플러그인 방식은 제한된 사용이 되며 엘라스틱서치에 종속적이기 때문에 다른 방식으로 Left 조인 기능을 구현해야 했습니다. 이번에 소개하는 방식은 엘라스틱서치 앞단에 es-tention-api 서버를 두고 _left 앤드포인트를 제외한 모든 앤드포인트를 엘라스틱서치로 포워드합니다. _left 앤드포인트로 접근시 QuerySDL을 해석하여 Parent, Child 각각 검색을 요청 후 응답하는 방식으로 개발해보았습니다.

김준우 2021.01.06.

엘라스틱서치 플러그인 이슈

다나와에선 엘라스틱서치 버전을 기존 7.6.2를 사용하고 있었습니다. 그리고 당시 최신이였던 7.9.1 버전으로 업그레이드를 진행하였습니다. 그리고 잘사용하던 중 알수없는 현상이 발생하기 시작하였습니다. 테스크가 쌓이기 시작하였고, 특정 노드에는 API 호출이 안되는 현상이 발생하였습니다. 어떤 작업을해도 테스크가 해소되지 않았고, 엘라스틱서치 클러스터를 결국 재시작해야하는 상황까지 발생하였습니다. 원인파악을 위해 알아보던 중 엘라스틱서치 플러그인에 제공되는 NodeClient에 문제가 확인되어 공유하기 위해 포스팅하였습니다.

김준우 2020.12.30.

서비스 운영플랫폼 #5 - 홈

서비스 운영플랫폼의 홈메뉴는 시스템의 요약정보와 소속된 그룹의 정보를 표시합니다.

김준우 2020.12.04.

서비스 운영플랫폼 #4 - 그룹

서비스 운영플랫폼의 그룹은 서비스를 묶은 개념입니다. 그룹을 생성하고, 서버, 서비스를 추가하여 사용자한테 관리 역할을 부여할 수 있습니다.

김준우 2020.12.04.

서비스 운영플랫폼 #3 - 설정

서비스 운영플랫폼에서 설정은 관리자 전용 메뉴입니다. 설정에서는 그룹에 소속되지 않은 서비스를 전부 조회 또는 검색하는 서비스탭과 서버를 추가하여 그룹에 할당하는 서버탭, 사용자를 관리하는 사용자 탭으로 구성되어 있습니다. 서비스 운영플랫폼을 시작하면 어드민 계정이 자동생성됩니다. 아이디는 admin@example.com, 비밀번호는 admin 입니다.

김준우 2020.12.04.

서비스 운영플랫폼 #2 - 사용자

서비스 운영플랫폼에서는 사용자 구분이 일반사용자, 어드민 사용자가로 구분 되어 있습니다. 어드민 사용자는 모든 권한을 소유하고 있고, 서버를 추가하여 그룹에 할당 할 수 있습니다. 일반사용자는 할당 받은 어드민 사용자한테 할당 받은 서버에 대해서 서비스를 추가 할 수 있습니다. 일반 사용자 회원가입과 로그인, 개인정보를 조회하를 해보도록 하겠습니다.

김준우 2020.12.03.

서비스 운영플랫폼 #1 - 소개

서비스 운영플랫폼을 소개하도록 하겠습니다. 서비스 운영플랫폼은 도커 컴포즈 또는 프로세스를 cli 환경이 아닌 웹UI를 통해 관리할 수 있습니다.

김준우 2020.12.03.

서비스 운영플랫폼 - 설치

서비스 운영플랫폼 설치는 두가지 방식으로 실행가능합니다. 하나는 도커 컨테이너에 실행하거나 호스트에 직접 실행하는 방법입니다. 두 가지 실행방법을 정리해보았습니다.

김준우 2020.12.03.

제안검색 조사

다나와는 현재 제안검색을 고려하고 있습니다. 오타로 인해 0건의 결과를 보여주지 않고, 사용자 의도를 파악하여 결과를 보여줌으로써 편의성을 높이기 위함입니다. 구글, 네이버에서는 어떻게 제안검색을 제공하는지와 제안검색 API 종류를 알아보도록 하겠습니다.

김준우 2020.09.09.

Ingest PipeLine 설정을 통한 데이터 전처리

PipeLine 내에 여러 processor를 적용하여 색인 전 데이터를 가공해보기

하선호 2020.09.04.

디서치 관리도구 사용법 #13 - 클러스터설정

안녕하세요, 이번 포스팅에서는 클러스터설정 메뉴에 대해 소개하도록 하겠습니다. 클러스터설정에서는 엘라스틱의 클러스터 모든 설정을 확인할 수 있습니다. 클러스터 설정에는 기본설정, 영구설정, 임시설정이 있습니다. 각 설정별로 분류하여 쉽게 확인이 가능 하도록 하였습니다.

김준우 2020.08.18.

디서치 관리도구 사용법 #12 - API

안녕하세요. 이번 포스팅 내용은 다나와에서 개발한 디서치 관리도구(엘라스틱서치 관리도구)에서 API메뉴에 대해 소개하도록 하겠습니다. API 메뉴는 엘라스틱의 _cat API의 요청을 UI로 쉽게 요청하고, 보기 편한 형태로 결과를 확인하는 메뉴입니다.

김준우 2020.08.18.

디서치 관리도구 사용법 #11 - 서버

안녕하세요. 이번 포스팅 내용은 다나와에서 개발한 디서치 관리도구(엘라스틱서치 관리도구)에서 서버메뉴에 대해 소개하도록 하겠습니다.

김준우 2020.08.18.

디서치 관리도구 사용법 #10 - 래퍼런스UI

안녕하세요. 이번 포스팅 내용은 다나와에서 개발한 디서치 관리도구(엘라스틱서치 관리도구)에서 레퍼런스UI 메뉴에 대해 소개하도록 하겠습니다.

김준우 2020.08.18.

디서치 관리도구 사용법 #9 - JDBC

이번 포스팅 내용은 다나와에서 개발한 디서치 관리도구(엘라스틱서치 관리도구)에서 JDBC 메뉴에 대해 소개하는 시간을 가지도록 하겠습니다.

김준우 2020.08.18.

디서치 관리도구 사용법 #8 - 인덱스

디서치 관리도구 인덱스 메뉴에 대해 소개하고 사용하는 방법에 대해 설명 하도록 하겠습니다.

선지호 2020.08.14.

디서치 관리도구 사용법 #7 - 템플릿

디서치 관리도구 템플릿 메뉴에 대해 소개하고 사용하는 방법에 대해 설명 하도록 하겠습니다.

선지호 2020.08.14.

디서치 관리도구 사용법 #6 - 컬렉션

디서치 관리도구 컬렉션 메뉴에 대해 소개하고 사용하는 방법에 대해 설명 하도록 하겠습니다.

선지호 2020.08.14.

디서치 관리도구 사용법 #5 - 클러스터

디서치 관리도구 클러스터 메뉴에 대해 소개하고 사용하는 방법에 대해 설명 하도록 하겠습니다.

선지호 2020.08.13.

디서치 관리도구 사용법 #4 - 랭킹튜닝

디서치 관리도구 랭킹튜닝 대해 소개하고 사용하는 방법에 대해 설명 하도록 하겠습니다.

선지호 2020.08.13.

디서치 관리도구 사용법 #3 - 분석도구

디서치 관리도구 분석도구 메뉴에 대해 소개하고 사용하는 방법에 대해 설명 하도록 하겠습니다.

선지호 2020.08.13.

디서치 관리도구 사용법 #2 - 사전

디서치 관리도구 사전에 대해 소개하고 사용하는 방법에 대해 설명 하도록 하겠습니다.

선지호 2020.08.13.

디서치 관리도구 사용법 #1 - 소개

디서치 관리도구 사용법에 대해 전체적으로 메뉴를 소개하도록 하겠습니다.

선지호 2020.08.12.

엘라스틱서치 Left Join Plugin 소개

이번 포스팅 내용은 엘라스틱서치에서 제공하는 join을 사용하지 않고, 자체적으로 개발한 Left Join 플러그인을 소개하도록 하겠습니다. RDB에서 join은 아래 이미지 처럼 A, B 테이블이 있을때 조인을 통해 원하는 결과로 조합할 수 있습니다. 엘라스틱서치에서는 아래 이미지에서 나오지 않는 조인 기능을 제공하고있습니다. A를 검색했을때 B의 결과를 가져오거나, B를 검색하면 A의 결과를 가져오는 기능만 제공하고 있습니다. 그래서 A의 결과와 B의 결과를 같이 검색을 하는 방법은 없기 때문에 플러그인을 개발하였습니다.

김준우 2020.08.10.

다나와 검색API 개발을 위한 ElasticSearch - GoClient 선택하기

다나와 검색API를 ElasticSearch로 적용하기 위해 적합한 Client를 찾는다.

하선호 2020.08.04.

엘라스틱서치 인덱스와 샤드 분할

엘라스틱서치의 인덱스와 샤드를 어떻게 나누었는지 그 경험을 나누겠습니다

송상욱 2020.07.21.

FASTCAT-ElasticSearch 테스트 - 검색+동적색인

ElasticSearch과 FASTCAT의 검색+동적색인 비교 테스트.

하선호 2020.07.15.

FASTCAT-ElasticSearch 테스트 - 동적색인

ElasticSearch과 FASTCAT의 동적색인 비교 테스트.

하선호 2020.07.09.

FASTCAT-ElasticSearch 테스트 - 검색

ElasticSearch과 FASTCAT의 검색 성능에 대한 테스트.

하선호 2020.07.06.

FASTCAT-ElasticSearch 테스트 - 색인과 배포

ElasticSearch과 FASTCAT의 색인 및 배포 성능에 대한 테스트.

하선호 2020.07.06.

ElasticSearch로 구성한 오타교정 API 결과 분석

여러 방법으로 오타 교정 API를 통해 교정된 결과를 분석하였습니다.

하선호 2020.06.17.

엘라스틱서치 오타교정 API 만들어보기

엘라스틱서치의 Suggest API를 사용하여 검색 키워드에 대한 교정 키워드를 가져오기

하선호 2020.05.21.

[ElasticSearch] 기본 보안

안녕하세요. 다나와의 김준우입니다. 엘라스틱서치의 클러스터 통신에 암호화를 적용하고, 키바나 로그인을 활성화 해보는 내용을 포스팅하였습니다. 엘라스틱서치 클러스터를 구성하면 기본적으로 보안은 비활성화 상태가됩니다. 비활성화 상태로 사용하게 되면 외부에서 PUT/POST API 또는 키바나를 통해 위협이 될 수 있기 때문에 필수로 보안을 활성화하여 운영해야 됩니다.

김준우 2020.05.20.

Scouter Server Plugin를 통한 Xlog 수집

Scouter Server Plugin으로 Scouter Server의 Xlog 정보를 수집하고 구글 시트로 작성하기

하선호 2020.04.27.

Knative 사용을 위한 비교 테스트

Knative와 Ingress+Deployment, Kubeless 비교

하선호 2020.04.24.

# k8s 도커 레지스트리 설치

이번에 포스팅내용은 도커 레지스트리 구축방법입니다. 이미 도커 허브에 계정이 있다면 저장소가 자동 생성되었지만 이번에는 프라이빗하게 사용할 도커 저장소를 설치해보겠습니다. 레지스트리는 tls적용이 되어야 이미지를 push, pull 이 가능합니다. 이번에 설치할때는 Let's Encrypt의 인증서를 발급받아 레지스트리를 구축하는 방법을 알아보도록 하겠습니다.

김준우 2020.04.14.

dnsmasq와 K8S 적용 사례

이번에 포스팅 내용은 k8s에서 생성된 컨테이너의 호스트파일을 다룰때 불편함과 깃랩의 CI/CD 사용시 POD의 호스트 정보를 변경할때 이슈가 있어 해결 사례를 공유합니다.

김준우 2020.04.14.

GitLab CI/CD cache with Kubernetes

이번 포스팅은 GitLab 과 k8s 연동 후 CI/CD 시 cache 사용방법에 대해 공유합니다. GitLab 에서는 기본 캐시가 비활성화 되어 있습니다. 공식문서에서는 s3, gcs를 사용하하는 방법만 제공하고 있습니다. 임시 캐시하기위해서 퍼블릭 저장소를 사용하기엔 무리가 있어 보여 s3와 API 100% 동일하다는 minio를 사용하여 적용해보도록 하겠습니다.

김준우 2020.04.14.

이벤트 서비스 GCP VM Instance 배포

얼마전에 이벤트 서비스를 GCP의 Cloud Run에 배포하여 서비스예정이였지만, 최종 변경방식은 GCP의 Compute Engine을 통해 배포하는방식으로 진행하기로 하였습니다. 이벤트 서비스를 Compute Engine으로 배포하고 Compute Engine에 로드밸런서를 연결하여 블루/그린 방식의 배포 과정을 포스팅 하도록 하겠습니다. 추가로 다나와에서는 GitLab의 Runner 사용이 증가하고 있어 이번 배포 과정에서도 Runner를 통해 배포하도록 하겠습니다.

김준우 2020.04.01.

2020년 1/3분기 (1~4월) 웹 브라우저 이슈

2020년은 구글 크롬을 필두로 개인정보 보호관련 업데이트가 많이 일어날 것으로 예상됩니다. 영향력있는 소프트웨어가 정책을 제시하면 타 소프트웨어들이 표준처럼 따르는 관례가 있는데요. 이를 근거로 구글의 행보가 표준안 이 될 가능성이 높습니다. 많은 관심이 필요해 보입니다

김명운 2020.04.01.

그라파나를 통한 모니터링 대시보드 구성

프로메테우스가 수집한 노드 익스포터의 매트릭 정보와 PROMQL을 통해 그라파나 대시보드 구성하기"

하선호 2020.03.17.

도커 컴포즈를 이용한 프로메테우스 설치

도커 컴포즈로 프로메테우스 및 UI 대시보드인 그라파나 설치

하선호 2020.03.16.

GitLab CI/CD 사용하기

GitLab에서 제공하는 Runner를 사용하여 저장소에 Push를 하게 되면 자동으로 프로젝트를 빌드, 배포하는 과정을 포스팅하였습니다.

김준우 2020.03.11.

[ElasticSearch] 색인 테스트

다나와에선 검색엔진을 패스트캣을 사용하고 있습니다. 다나와는 차세대 검색엔진을 엘라스틱서치를 고려하고 있습니다. 엘라스틱은 다양한 서비스를 제공하고 있고, 검색/색인 성능도 좋게 평가되고 있기 때문입니다. 이번에 포스팅 내용은 엘라스틱으로 색인성능을 테스트 해보도록 하겠습니다.

김준우 2020.03.11.

크롬 원격 데스크톱 사용하기

사무실이 아닌 외부에서 업무를 해야할 상황이 발생할 때 크롬 원격 데스크톱을 이용하여 원격지에서 연결할 수 있습니다.

하선호 2020.02.19.

이벤트서비스 GCP 전환 PoC

다나와 이벤트 서비스를 클라우드로 전환하기 위한 부하 테스트를 진행하였습니다. 다나와 이벤트서비스는 이벤트가 없으면 아주 적은 트래픽이 발생 하지만, 이벤트가 시작되면 동시에 2만 요청까지 발생됩니다. 대량 처리가 가능한 서버를 구축을 하게 되면 비용이 많이 소모되며 이벤트가 없으면 자원낭비가 발생합니다. 그래서 이벤트 서비스는 구글 클라우드(GCP)에서 제공하는 Cloud Run을 사용해보기 위해 부하 테스트 및 과금 정책에 대해 공유 합니다.

김준우 2020.02.18.

2020년 Vue.js UI 컴포넌트 라이브러리 종류

프론트 개발의 비용을 줄여줄 수 있는 UI 컴포넌트 라이브러리, Vue.js에는 어떤게 있을까요?

최순현 2020.02.15.

Apache Tomcat 쿠키 프로세서

톰캣 버전 증가에 따른 기술 표준이 변화된 내용과 그에 따른 쿠키 오류가 발생했던 원인을 알아보겠습니다.

안성일 2020.02.11.

SVN을 Git으로 마이그레이션

프로젝트를 진행할 때 각자 업무를 나눠서 맡은 부분을 개발하게 됩니다. 각자 개발한 코드 혹은 문서를 하나의 관리 도구에서 통합적으로 버전별로 관리하게 되는 것을 형상관리(Configuration Management) 혹은 버전관리(Version Management)라고 부릅니다. 형상관리 방식에는 크게 중앙집중식과 분산관리식으로 나뉘는데 대표적으로 사용되는 도구가 중앙집중관리식에는 Subversion (이하 SVN) 그리고 분산관리식은 GIT을 사용합니다.

김준우 2020.02.07.

쿠버네티스 가상스토리지(Ceph) 설치

Rook-Ceph는 오픈소스 클라우드 네이티브 스토리지 오케스트레이터로, 클라우드 네이티브 환경과 기본적으로 통합 할 수있는 다양한 스토리지 솔루션 세트에 대한 플랫폼, 프레임 워크 및 지원합니다.

김준우 2020.01.28.

쿠버네티스 고가용성 클러스터 구성

쿠버네티스는 마스터 노드에 내부적으로 API-SERVER를 가지고 있어 마스터 노드를 통해 워커 노드로 통신이 전달됩니다. 대량에 통신량이 발생하게 되면 마스터 노드는 부하를 많이 받아 장애 발생 가능성이 커지게 됩니다. 마스터 노드를 고가용성 클러스터로 연결하게 되면 통신량을 분산시킬 수 있고, 일부가 마스터 노드에서 장애가 발생시 워커 노드의 운영 시스템에는 영향을 줄일 수 있습니다.

김준우 2020.01.28.

Kubernetes 서비스와 인그레스 용도구분

이번 포스팅에서는 쿠버네티스의 서비스와 인그레스의 차이점에 대해서 알아보겠습니다. 쿠버네티스를 처음 접하는 분들은, 간단하게 API 서버를 만들어서 `POD` 를 띄우기까지는 성공하지만, 해당 IP와 포트로 접속이 안되어 당황을 하게 됩니다.

송상욱 2020.01.23.