Неправильні XPOS-мітки

[lynnporu]

Працював з корпусом, і помітив, що деяких XPOS-міток просто не існує у специфікації MULTEXT-East Morphosyntactic Specifications, Version 4. Так, наприклад, з тегами Ppp-mysaa (трапляється в тренувальному корпусі на рядках 19114, 32493, 53879, 88733), Ppp-m-sga (29 випадків, там же) і Ppp-n-sga (8 випадків, там же). (Це тільки перше, що знайшов).
Побачив, що якщо попереставляти деякі букви, то з тих тегів вийде щось правильне, але ж машина до такого не здогадається, вона просто викине помилку.
Якщо це до вас, то виправте будь ласка.

[msklvsk]

Виправив p на s на позначення присвійності у dev-гілці — це явний чортик був.
Але MTE-міта застаріла і вже розійшлася з UD. Щоб її підтримувати треба спеціально переробити деякі речі на старий (менш логічний) лад, тому в наступній версії ми її взагалі викинемо і занулимо XPOS. Користуйтеся UPOS+FEATS — там вся інфа і більше, й логічніше за MTE, не кажучи вже про універсальність UD. В MTE не закладені присвійні його/її — це їх ви не знаходите.

[lynnporu]

Можливо, є якийсь сенс в тому, щоби випустити "оновлений" стандарт MTE, якщо це можливо, з описом змін і відмінностей? Можна, звичайно, посперечатись, але XPOS дуже зручно використовувати задля індексації великої кількості слів у базі даних (у мене саме так система працює), а FEATS буде обробляти значно важче.

[msklvsk]

Два роки тому ми хотіли випустити оновлений МТЕ, але сам координатор стандарту відмовив нас на користь UD.

Можна нормалізувати базу по фічах (кожна колонка відповідає окремій морфологічній рисі, наприклад Aspect — спосіб дієслова), можна окрему табличку завести для повного тегу і джойнити за id. Я б щось таке зробив.

[lynnporu]

Хочу створити стандарт мітки, яка відображатиме UD-фічі, але для цього потрібно знати, чи використовуєте ви ті самі властивості, які визначені у UD стандарті тут: http://universaldependencies.org/u/feat/index.html?
Якщо так, то результат роботи буде в цьому треді.

[msklvsk]

Звичайно, корпус в UD репо має стандарт UD. На додачу до універсальних фіч є ще language-specific. Не на всі написана документація.