yagays / nayose-wikipedia-ja Public

Notifications You must be signed in to change notification settings
Fork 0
Star 34

Wikipediaから作成した日本語名寄せデータセット

34 stars 0 forks Branches Tags Activity

Notifications

Name		Name	Last commit message	Last commit date
Latest commit History 2 Commits
data		data
.gitignore		.gitignore
README.md		README.md
make_dataset.py		make_dataset.py
parse_cirrus.py		parse_cirrus.py
test_util.py		test_util.py
util.py		util.py

Repository files navigation

nayose-wikipedia-ja

概要

Wikipediaより作成した日本語の名寄せデータセットです。

Wikipediaを元にした日本語の名寄せデータセットを作成しました - Sansan Builders Box

統計

エンティティ数：1,054,856
メンション数：2,213,547

名前	データ数	エンティティ数	メンション数
`train`	447,071	632,913	322,583
`dev`	146,153	210,971	118,776
`test`	149,409	210,972	120,397

参考

[1907.10165v1] Optimal Transport-based Alignment of Learned Character Representations for String Similarity

About

Wikipediaから作成した日本語名寄せデータセット

Report repository

Releases 1

Packages

No packages published

Languages

Python 100.0%