Based on CORL implementation of TD3-BC: https://github.com/tinkoff-ai/CORL/blob/main/algorithms/td3_bc.py
Код запускается аналогично любым имплементациям в бибилиотеке CORL
Сылка на ноутбук, в котором всё настроено: https://colab.research.google.com/drive/1I6Pl0_20t7FM_VH9UMerhzoTsNwVn44q?usp=sharing