Skip to content

v2.1.0

Compare
Choose a tag to compare
@wanghaoshuang wanghaoshuang released this 20 May 06:35
· 576 commits to develop since this release
bb224bf

1. 剪枝

2. 量化

  • 离线量化(Post Training Quantization)
    • 新增基于直方图(hist)、平均值(avg)、量化均方误差(mse)的激活值校准方法。
    • 新增对于权重的偏差校正(bias correction)方法。
  • 修复PACT量化训练若干问题。
  • 优化PaddleInference TensorRT下BERT Int8推理。

3. 新增非结构化稀疏功能,在多种视觉任务上验证收益

  • 支持动态图和静态图下的调用。
  • 调用方式简便,仅需要插入三行代码。
  • 支持按照比例/阈值稀疏化两种模式。
  • 开发者可以自定义稀疏化时跳过哪些参数层。例如,默认跳过所有的归一化层参数。

4. OFA修复

  • 新增搜索空间清理功能,解决模型结构中存在shortcut结构时无法搜索的问题,减少无效搜索。
  • 修复不同gpu上选择的子网络config不同。
  • 修复block命名中含有'conv' 'embedding' 等字符串时convert超网络出问题的bug。
  • 修复paddle.multiply时,两个输入shape会存在不一致的情况。
  • 修复重复多次注册hook,但是内存不释放 的问题。
  • SuperOP相关修复:修复group>1时SuperConv系列计算的问题,修复对depthwise conv的判断条件,SuperBN2D新增use_global_stats接口。
  • 新增skip_layers 参数支持指定层在训练过程中参数大小保持不变。
  • 新增config为'channel'的子模型导出。