Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

分词结果严重错误 #173

Open
wencan opened this issue Oct 15, 2023 · 5 comments
Open

分词结果严重错误 #173

wencan opened this issue Oct 15, 2023 · 5 comments

Comments

@wencan
Copy link

wencan commented Oct 15, 2023

cython-3.0.2 pkuseg-0.0.25

pkuseg.pkuseg().cut('本书由百度官方出品,百度公司CTO王海峰博士作序,张钹院士、李未院士、百度集团副总裁吴甜联袂推荐。')

输出是:
['本书', '由', '百度', '官方', '出品', ',', '百度', '公司', 'CTO王', '海峰', '博士', '作', '序', ',', '张', '钹', '院士', '、', '李', '未', '院士', '、', '百度', '集团', '副总裁', '吴甜', '联袂', '推荐', '。']

@lcyyyyyyyyyyy
Copy link

lcyyyyyyyyyyy commented Oct 15, 2023 via email

@lucasjinreal
Copy link

放弃吧,这库已经不维护了

@viviananana
Copy link

seg = pkuseg.pkuseg(model_name='web') # 程序会自动下载所对应的细领域模型
text = seg.cut('本书由百度官方出品,百度公司CTO王海峰博士作序,张钹院士、李未院士、百度集团副总裁吴甜联袂推荐。') # 进行分词
print(text)
输出:
['本书', '由', '百度', '官方', '出品', ',', '百度', '公司', 'CTO', '王海峰', '博士', '作序', ',', '张钹', '院士', '、', '李未', '院士', '、', '百度', '集团', '副总裁', '吴甜', '联袂', '推荐', '。']

我试了一下结果还蛮正常哎

@liusen373
Copy link

seg = pkuseg.pkuseg(model_name='web') # 程序会自动下载所对应的细领域模型 text = seg.cut('本书由百度官方出品,百度公司CTO王海峰博士作序,张钹院士、李未院士、百度集团副总裁吴甜联袂推荐。') # 进行分词 print(text) 输出: ['本书', '由', '百度', '官方', '出品', ',', '百度', '公司', 'CTO', '王海峰', '博士', '作序', ',', '张钹', '院士', '、', '李未', '院士', '、', '百度', '集团', '副总裁', '吴甜', '联袂', '推荐', '。']

我试了一下结果还蛮正常哎

因为你用的是web模型,用default模型结果就和楼主一样了

@lcyyyyyyyyyyy
Copy link

lcyyyyyyyyyyy commented May 16, 2024 via email

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

5 participants