[WIP] TODO list

[gglin001]

• 基于 PEP-523 支持基本的 Python frame catch (极简版本的 torchdynamo )
• 构造一个能够表达简单模型的 paddlefx IR (极简版本 的 torch.fx 模块)
• 利用 monkey-patch 的方式实现 简单 paddle 模型的 IR 转换
  • 对所有的paddle的functions做patch：see todo here
  • symbolic_trace 支持传入callable 和 keyword args： see todo here
  • 把graph封装进一个GraphLayer
  • 补充单测：收集10个左右的paddle的模型，能够trace成功，并对比trace前后的结果可以运行一致。
    • 修复 trace ShuffleNet 的问题，see cover symbolic_trace by tracing several vision models in tests #22
  • 补充文档
  • 支持对symboic_trace到的IR进行编辑操作（add/delete/change nodes）
  • More examples，例如：修改trace后的Graph，得到新的GraphLayer，用paddlefx方便的提取模型中间的特征表示；把trace到的IR转成torch.fx IR（或者相反方向）
• 能够覆盖torch.fx examples中的部分examples。 （理想情况下，全部）
  • fx profiling：https://github.com/PFCCLab/paddlefx/blob/main/examples/fx_profiling.py
  • native interpreter：Ref：paddle-cpp-demo；native_interpreter
• Graph Visualize。 Ref： FxGraphDrawer； pytorchviz
• 实现上述简单 paddle 模型的 lowering, TODO: 设定 lowering 的目标

[jzhang533]

Fun finding, it's possible to use torch.fx to trace paddle functions.
e.g.:

import torch
import paddle

def to_trace(x, y):
    z = paddle.add(x, y)
    z = paddle.nn.functional.relu(z)
    return z

tracer = torch.fx.Tracer(
    autowrap_modules=(paddle, paddle.nn.functional,)
)
graph = tracer.trace(to_trace)
name = to_trace.__name__
m = torch.fx.GraphModule(tracer.root, graph, name)

print(m.code)
m.graph.print_tabular()

[jzhang533]

Some contribution items you can pick

• model coverage : 用paddlefx.symbolic_trace来trace 更多的模型（如NLP领域的模型），发现目前paddlefx可能存在的问题，并尝试修复。Ref: this example and this test .
• bytecode instruction translator coverage：试着将更多的bytecode OP转到fx graph。e.g.: paddle.add -> python bytecode -> fx graph node。Ref：translate several binary bytecode ops #35 .
• improve python code gen in paddlefx. Ref: GraphLayer._generate_forward, and WIP, conv_bn fuse example using paddlefx #33 .
• fx graph visualisation。 Ref： [FxGraphDrawer] .(https://github.com/pytorch/pytorch/blob/master/torch/fx/passes/graph_drawer.py). add fx graph visualisation tool #37
• implement a replace_pattern API. Ref: torch.fx.replace_pattern .

[GreatV]

认领 fx graph visualisation
PR: #37

[Asthestarsfalll]

认领bytecode instruction translator coverage ： #36

[yangguohao]

认领 improve python code gen in paddlefx.

[GreatV]

认领 implement a replace_pattern API

[jzhang533]

我在想，paddlefx的项目的阶段性目标，可以设定为：

• paddlefx.optimize 可以捕获ResNet模型，将其转为fx graph。
• fx graph可以lower到另外一个设备（或者backend）上运行。

[zrr1999]

认领 bytecode instruction translator coverage #41