Расклеивать emoji

[dveselov]

Привет, есть предложение считать все символы emoji за отдельные токены.
Сейчас библиотека склеивает их с нормальными словами:
Например, для такого текста:

✅Сдается комната. стиралка,wifi... Сдается без комиссии.Соседи семья без детей.Можно с животными. Вся необходимая инфраструктура в пешей доступности. М. Восстания Ул.Гончарная 8000+счетчики💰 8-906-271-28-93 📲 Все фото на стене🌅

Результат будет следующий:

[Substring(0, 8, '✅Сдается'),
 Substring(9, 16, 'комната'),
 Substring(16, 17, '.'),
 Substring(18, 26, 'стиралка'),
 Substring(26, 27, ','),
 Substring(27, 31, 'wifi'),
 Substring(31, 34, '...'),
 Substring(35, 42, 'Сдается'),
 Substring(43, 46, 'без'),
 Substring(47, 55, 'комиссии'),
 Substring(55, 56, '.'),
 Substring(56, 62, 'Соседи'),
 Substring(63, 68, 'семья'),
 Substring(69, 72, 'без'),
 Substring(73, 78, 'детей'),
 Substring(78, 79, '.'),
 Substring(79, 84, 'Можно'),
 Substring(85, 86, 'с'),
 Substring(87, 96, 'животными'),
 Substring(96, 97, '.'),
 Substring(98, 101, 'Вся'),
 Substring(102, 113, 'необходимая'),
 Substring(114, 128, 'инфраструктура'),
 Substring(129, 130, 'в'),
 Substring(131, 136, 'пешей'),
 Substring(137, 148, 'доступности'),
 Substring(148, 149, '.'),
 Substring(150, 151, 'М'),
 Substring(151, 152, '.'),
 Substring(153, 162, 'Восстания'),
 Substring(163, 165, 'Ул'),
 Substring(165, 166, '.'),
 Substring(166, 175, 'Гончарная'),
 Substring(176, 180, '8000'),
 Substring(180, 181, '+'),
 Substring(181, 190, 'счетчики💰'),
 Substring(191, 206, '8-906-271-28-93'),
 Substring(207, 208, '📲'),
 Substring(209, 212, 'Все'),
 Substring(213, 217, 'фото'),
 Substring(218, 220, 'на'),
 Substring(221, 227, 'стене🌅')]

[kuk]

Согласен, просто в тестовых датасетах особо эмоджи не было. Также нужно вообще поаккуратнее работать с пунктуацией. Например, на сколько я помню, "..." или "!?" склеятся, это нормально, а "yahoo!," нужно разделять.

То есть наверное правило должно быть такое, что по-умолчанию пунктуацию (в том числе и эмоджи) нужно отдельно кроме набора исключений "...", "?!" и другие. Нужно посмотреть как поменяется качество на тестах.