0.18.0
신기능
- Pretokenized Span으로 동사를 지정했을 때 문맥에 따라 규칙성 여부(-R / -I)를 자동으로 탐지하도록 기능 개선
- 이모지를 위한 신규 태그인
W_EMOJI
추가 - 외국어 태그 개선: 유니코드 영역을 기반으로 각 문자가 어떤 언어의 문자 집합에 해당하는지를 보여주는
TokenInfo::script
멤버 변수 추가 - emscripten를 통한 JavaScript/wasm binding 추가 (@RicBent, #171 )
버그 수정
- Pretokenized Span이 잘못 지정되었을 경우 크래시가 발생하는 문제 수정
기여자
소중한 기여에 감사드립니다.