参考《自定义数据集》,用户可以按照AdaSeq支持的格式整理数据,并通过本地文件的方式进行加载。如果无法转成相应的格式,也可以自定义数据加载脚本。
AdaSeq的Embedder结构支持所有Encoder-Only的预训练模型,包括:
- Huggingface上的backbone模型,如
bert-base-cased
,xlm-roberta-large
,sijunhe/nezha-cn-base
等- ModelScope上的backbone模型,如
damo/nlp_structbert_backbone_base_std
等- AdaSeq产出的任务模型,如
damo/nlp_raner_named-entity-recognition_chinese-base-news
等
根据模型方法、backbone、训练参数的不同组合占用的显存都不一样,如果GPU显存不足,建议可以尝试调低batch_size,并设置更小的max_length限制训练时的输入长度。
可以在训练配置中指定使用CheckpointHook
train: hooks: - type: CheckpointHook interval: 1
其中interval为保存模型的频率,默认每1个epoch保存一次,更多细节详见《回调函数机制详解》。
有的,RaNER命名实体识别-中文-新闻领域-base 模型在ModelScope上可直接在线体验或者离线API调用。我们也提供了训练好的多语言、多行业、多规格的各种NER模型供使用:查看所有NER模型。
AdaLA是我们开发的一款开箱即用的词法分析工具包,支持多粒度、多语言、多规格模型,支持高性能推理和自定义干预。目前正在内测中,敬请期待。
目前暂不支持转onnx。我们正在排期开发中。