아이스크림 오분석 이슈

[Dokkabei97]

안녕하세요

키위 0.21.0 으로 버전업 하고서 분석 결과를 테스트 중 일부 오분석 되는 이슈가 발견되어 공유드립니다.

from kiwipiepy import Kiwi

kiwi = Kiwi()
cong_kiwi = Kiwi(model_type='cong', model_path='/resources/model/cong-base')

print([token.form for token in kiwi.tokenize("세상에서 제일 부드러운 아이스크림")])
print([token.form for token in cong_kiwi.tokenize("세상에서 제일 부드러운 아이스크림")])
print([token.form for token in kiwi.tokenize("초콜릿 아이스크림은 맛있다")])
print([token.form for token in cong_kiwi.tokenize("초콜릿 아이스크림은 맛있다")])

실행 한다면 순서대로 아래와 같이 결과가 나옵니다.

['세상', '에서', '제일', '부드럽', '은', '아이스', '크림']
['세상', '에서', '제일', '부드럽', '은', '아이스크림']
['초콜릿', '아이스크림', '은', '맛있', '다']
['초콜릿', '아이스크림', '은', '맛있', '다']

'아이스크림'으로 끝이 나면 '아이스', '크림'으로 분리되어 오분석이 나지만 반대로 '아이스크림' 뒤에 아무 단어나 문장이 들어가면 그때는 문제없이 정상적으로 분석을 합니다.

[bab2min]

@Dokkabei97 오류 제보 감사합니다.
0.21.0버전에서 새로 도입한 분석 엔진이 아직 불안정한 부분이 있어서 일부 패턴에 대해서 잘못 분석하는 사례가 있는 듯합니다.
차기 업데이트 버전에서는 제보하신 오류 포함하여 다양한 오분석들을 개선해 반영하도록 하겠습니다!
혹시 또 다른 오류 사례 발견하시면 언제든지 제보해주세요! 감사합니다.