llava的静态图推理V100和A100。

[wojiaoshihua]

V100和A100上llava的静态图推理diff很大，这是正常的吗，且在A100上有输出乱码的情况。乱码的情况在paddlemix之前的版本(paddlenlp2.8, paddlepaddle2.6)是没有出现过的。当我更新paddlemix到现在的版本(为了适配paddlenlp3.0beta paddlepaddle-gpu3.0beta)出现了乱码，由于我是用自己的模型，因此暂时无法确定是否跟paddlemix有关。

[LokeZhou]

使用paddlemix 2.0、paddlenlp2.7.2 试试，同时推理的时候可以设定随机种子，paddle.seed(0)

[wojiaoshihua]

使用paddlemix 2.0、paddlenlp2.7.2 试试，同时推理的时候可以设定随机种子，paddle.seed(0)

我们目前是需要paddle3.0b的，因此也需要paddlenlp3.0b0.post0的，至于设定随机种子，已经试过了。由于我采用静态图推理，把top-p设为0，每次的输出都是一样的，仍会出现乱码以及复读机情况。此外V100和A100输出的静态图diff很大，这是正常的吗。

[LokeZhou]

你好，我们目前正在排查相关问题。

[LokeZhou]

你好，
对于动态图而言：
当前通过对比torch和paddle的相同样本输入case，发现torch与paddle每次回答都存在不固定的情况，同时torch也存在乱码的情况，因此初步判断是模型权重的问题；同时我们当前测试是paddlepaddlegpu3.0和paddlenlp2.7.2的，paddlenlp3.0暂未完整验证。

静态图推理的问题还在排查，后续会持续给出结论和更新

[wojiaoshihua]

你好， 对于动态图而言： 当前通过对比torch和paddle的相同样本输入case，发现torch与paddle每次回答都存在不固定的情况，同时torch也存在乱码的情况，因此初步判断是模型权重的问题；同时我们当前测试是paddlepaddlegpu3.0和paddlenlp2.7.2的，paddlenlp3.0暂未完整验证。

静态图推理的问题还在排查，后续会持续给出结论和更新

非常感谢排查问题。请问一下torch指的是llava的torch版本吗，权重用的是liuhaotian公布的吗。

[LokeZhou]

你好， 对于动态图而言： 当前通过对比torch和paddle的相同样本输入case，发现torch与paddle每次回答都存在不固定的情况，同时torch也存在乱码的情况，因此初步判断是模型权重的问题；同时我们当前测试是paddlepaddlegpu3.0和paddlenlp2.7.2的，paddlenlp3.0暂未完整验证。
静态图推理的问题还在排查，后续会持续给出结论和更新

非常感谢排查问题。请问一下torch指的是llava的torch版本吗，权重用的是liuhaotian公布的吗。

是的，用的是liuhaotian/llava-v1.6-vicuna-7b

[wojiaoshihua]

你好， 对于动态图而言： 当前通过对比torch和paddle的相同样本输入case，发现torch与paddle每次回答都存在不固定的情况，同时torch也存在乱码的情况，因此初步判断是模型权重的问题；同时我们当前测试是paddlepaddlegpu3.0和paddlenlp2.7.2的，paddlenlp3.0暂未完整验证。
静态图推理的问题还在排查，后续会持续给出结论和更新

非常感谢排查问题。请问一下torch指的是llava的torch版本吗，权重用的是liuhaotian公布的吗。

是的，用的是liuhaotian/llava-v1.6-vicuna-7b

感谢跟进