Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

可以用来做Q-Q问题对匹配嘛。 #98

Open
YYGe01 opened this issue May 12, 2023 · 1 comment
Open

可以用来做Q-Q问题对匹配嘛。 #98

YYGe01 opened this issue May 12, 2023 · 1 comment

Comments

@YYGe01
Copy link

YYGe01 commented May 12, 2023

你好,感谢开源。

我这边有一些QA数据集,用户来了新问题,想先和数据集里的Q做匹配,如果匹配到了,就返回A。
我看本项目的工作,更多的是QA直接匹配,所以想问下QQ匹配的效果,是否可以用QQ数据集,在以下两个模型基础上做一些微调。
效果会不会不好,如果不可以,是否可以推荐一些目前比较好的方法呢

        de_model = 'zh_dureader_de_v2'
        ce_model = 'zh_dureader_ce_v2'

谢谢。

@ylf-Ng
Copy link

ylf-Ng commented May 18, 2023

RocketQA能在一定程度上支持qq匹配,假设用户问题为Q,QA数据为(q, a),可以尝试以下相关性计算方案:

如果使用召回模型,设query_encoder为Eq(·),para_encoder为Ep(·),可以尝试:

  1. Eq(Q) * Ep(concat(q, a)) (推荐)
  2. Eq(Q) * Ep(q)
  3. Eq(Q) * Eq(q)

如果使用排序模型,设cross_encoder为Ec(·, ·),可以尝试:

  1. Ec(Q, concat(q, a)) (推荐)
  2. Ec(Q, q)

不同策略的具体效果可以自行评估,如果RocketQA的准确率无法满足你的需求,可以尝试一些专门面向qq匹配的模型,比如Erlangshen-SimCSE-110M-Chinese

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants