ElasticSearch로 구성한 오타교정 API 결과 분석

1. 개요

지난번 엘라스틱서치의 SUGGEST API를 사용하여 교정 키워드를 가져올 수 있게 구성해보았습니다. 초기에 약 12만건의 키워드 데이터를 색인하였고 해당 데이터로 교정 품질을 테스트한 결과를 제공받았습니다. 그래서 이번에는 데이터셋을 더 늘려서 처음 테스트 결과와 비교해보고 SUGGEST API 옵션중 편집거리 옵션을 조정하여 나온 결과도 비교해보겠습니다. 교정 키워드 구성이 궁금하신 분들을 지난번 작성한 블로그를 참고해주세요

엘라스틱서치 오타교정 API 만들어보기

2. 테스트 결과

테스트에 사용한 키워드는 1000개이며 오타키워드가 아닌 일반적인 키워드로 테스트한 결과입니다.

2-1. 키워드 12만개의 테스트

초기 구성시 약 12만개의 명사 키워드를 색인해 놓았을 때의 테스트 결과입니다.

교정된 유형에 대한 분석은 다음과 같았습니다.

1. 대문자로 들어온 영어 키워드에 대해서는 소문자로 변환

• 앞서 셋팅에서 분석기의 필터 설정을 lowercase로 사용하여서 색인 및 검색시 대문자는 소문자로 처리되기 때문에 발생하는 현상입니다.

"analyzer": {
          "nfd_analyzer": {
            "filter": [
              "lowercase"
            ],
            "char_filter": [
              "nfd_normalizer"
            ],
            "tokenizer": "standard"
          }
        }

2.특수문자(‘,’ ‘-‘ ‘/’) 제거</b>

• 분석기의 tokenizer는 standard tokenizer를 사용하며 해당 tokenizer는 쉼표와 온점을 제외한 특수문자는 생략되어 분리됩니다.

3. 단위(ml, kg)및 범위(~) 변환

4. 숫자 변환

5. 잘못 교정된 키워드

• 각각 분리된 키워드들이 인덱스 내에 없기 때문에 인덱스 내에 있는 엉뚱한 키워드로 교정이 되었습니다.

2-2. 키워드 추가 후 테스트

검색 키워드가 인덱스 내에 없을 경우 교정된 키워드를 제공해줍니다. 이는 인덱스 내의 키워드들이 많을수록 정상적인 키워드가 엉뚱한 키워드로 교정되는 것을 줄여주고 또한 오타 키워드 검색시 교정 키워드의 제안 수를 늘려주는 효과를 갖습니다. 그래서 이번에는 인덱스 내에 색인할 키워드 수를 늘렸습니다. 다나와에 있는 사전(유사어, 단위명 등..)들을 정제하여 12만건에서 약 59만건으로 키워드셋을 늘린 후 기존 결과와 비교하였습니다. 앞서 설명드린 대문자->소문자, 특수문자 제거에 대한 결과는 셋팅이 동일하므로 제외하였습니다.

1. 단위(ml, kg)및 범위(~) 변환

• 단위명 사전 키워드를 인덱스에 포함하였지만 앞에 붙은 숫자가 한 키워드로 인식되기 때문에 숫자에 의해 교정결과가 달랐습니다.

2. 숫자 변환

• 숫자의 경우도 실제 인덱스 내에 숫자가 없을 경우 무조건 교정된 결과가 나옵니다.

3. 잘못 교정된 키워드

• 기대했던 대로 키워드셋이 기존보다 약 5배 늘어나면서 각 키워드가 엉뚱한 키워드로 교정되는 빈도수는 줄어들었습니다.

2-3. 편집거리 옵션 변경 후 테스트

suggest api의 편집거리는 기본값이 2로 설정되어 있습니다. 편집거리란 한 단어에서 글자를 추가,제거,교체하여 다른 단어로 바꿀 때의 필요한 최소 횟수입니다. 해당 옵션은 max_edits 를 통해 조정할수 있으며 1과 2사이 값만 가질수 있습니다. 두 값에 대한 결과 차이도 비교해보았습니다. 비교대상은 2-2에서 테스트한 결과입니다.

결과

• 키워드가 인덱스에 존재하지 않더라도 편집거리가 1이 넘는 교정은 하지 않았습니다.
• 기존 편집거리 2에서 숫자+단위, 숫자가 교정되었던 빈도수가 줄어들었습니다.

CASE1 : 일반 키워드

CASE2 : 숫자

CASE3 : 단위명

설정대로 편집거리가 1이 넘는 오타는 교정해줄 수가 없습니다.

3. 결론

이번 테스트로 교정 인덱스 내의 키워드가 많으면 많을 수록 정상적인 키워드가 교정되는 현상이 줄어듬을 보았습니다. 현재 구성에서 키워드셋을 늘리는게 효과가 가장 큼을 확인했으며 다만 숫자+단어, 특수문자 포함된 단어 같이 특정한 형태의 키워드에 대해서는 따로 처리할 방안이 필요합니다. 또한 편집거리를 줄임으로써 편집거리2일 때의 엉뚱한 결과들이 줄어들었지만 2자 혹은 2음절 오타의 경우는 교정을 못해주는 단점도 발견하였습니다. 사용자들의 오타빈도를 측정하면 기준을 잡을 수 있을 것 같으며 무조건 교정결과를 제공하는 것 보다도 어떤 상황일 때 교정 결과를 제공해주는게 좋을지도 고민해야 할 것 같습니다.

참고 자료

• https://www.elastic.co/guide/en/elasticsearch/reference/current/analyzer.html
• https://www.elastic.co/guide/en/elasticsearch/reference/current/search-suggesters.html#search-suggesters