[실험] TRADE 모델 Serving하기

[JAEWOOSUN]

TRADE 모델 Serving하기

Description: TRADE 모델 Serving
시작일: 2021년 5월 6일
실험자: 재우 선
제안자: 재우 선
종료일: 2021년 5월 10일
진행상황: 완료
카테고리: Deploying

문제 정의

훈련된 Model을 실제 서비스에서 사용하기 위한 Serving 작업

---

해결 아이디어

• TRADE 모델을 TorchServe를 사용해서 서버에 serving
• Handler 작성
• 모델과 여러 python 파일들을 아카이브(.mar 파일)로 만든 후 사용
• RestAPI로 inference를 json 형태로 날리고, 받는 작업

---

진행 상황

1. AWS Server에 필요한 파일 업로드

• model.py
• preprocessor.py
• data_utils.py
• slot_meta.json
• pre-trained된 bin 파일

2. Handler 작성

• handler는 실행된 model에서 preprocessor, postprocessor, inference 등을 정의해논 파일이다.

• 따라서 양식에 맞춰서 이러한 부분들을 작성해주어야함.

• Handler는 torchserve의 BaseHandler를 상속받음

• Handler에서는 두 가지를 분리하는 것이 중요

  • 초기 initialized 부분 : torchserve에 처음 serving 했을 때 딱 한번만 실행 될 코드
    ex) tokenizer 정의, preprocessor 정의, model 정의, slot_meta 로드 등
  • handler 부분 : inference api가 들어올 때마다 실행해야하는 부분

• 기본적인 handler는 다음과 같이 정의된다.

  • 초기 initialized 부분 (한번만 실행됨)
  • Handler의 preprocess 부분
  • Handler의 inference 부분
  • Hnadler의 postprocess 부분
  • 인자로는 json data(data)와 설정 파일(context)를 받음

_service = TRADEHandler()

def handle(data, context):
    try:
        if not _service.initialized:
            _service.initialize(context)
        if data is None:
            return None

        data = _service.preprocess(data)
        data = _service.inference(data)
        data = _service.postprocess(data)

        return data
    except Exception as e:
        print(e)
        raise e

• CustomHandler (여기서는 TRADEHandler)는 torchserve의 BaseHandler를 상속받는다.
  • 중요한 점은 data를 받을 때 bytearray로 오기 때문에 bytearray 처리와 한글깨짐 처리를 수행해야 한다.

class TRADEHandler(BaseHandler, ABC):
    """
    Transformers text classifier handler class. This handler takes a text (string) and
    as input and returns the classification text based on the serialized transformers checkpoint.
    """
    def __init__(self):
        super(TRADEHandler, self).__init__()
        self.initialized = False

        self.config, self.slot_meta = self.load_json_data(
            "./exp_config.json",
            "./slot_meta.json"
        )

    def load_json_data(self, exp_config_path, slot_meta_path):

        config = json.load(open(exp_config_path, "r"))
        config = argparse.Namespace(**config)

        slot_meta = json.load(open(slot_meta_path, "r"))

        return config, slot_meta

    def initialize(self, ctx):

        self.manifest = ctx.manifest

        properties = ctx.system_properties
        model_dir = properties.get("model_dir")
        serialized_file = self.manifest["model"]["serializedFile"]
        model_pt_path = os.path.join(model_dir, serialized_file)
        self.device = torch.device("cuda:" + str(properties.get("gpu_id")) if torch.cuda.is_available() else "cpu")

        # Read model serialize/pt file
        self.tokenizer = BertTokenizer.from_pretrained(self.config.model_name_or_path)
        self.processor = TRADEPreprocessor(self.slot_meta, self.tokenizer)

        tokenized_slot_meta = []
        for slot in self.slot_meta:
            tokenized_slot_meta.append(
                self.tokenizer.encode(slot.replace("-", " "), add_special_tokens=False)
            )

        self.model = TRADE(self.config, tokenized_slot_meta)
        ckpt = torch.load(model_pt_path, map_location="cpu")

        self.model.load_state_dict(ckpt)
        self.model.to(self.device)
        print("Model is loaded")

        self.initialized = True

    def preprocess(self, requests):
        """ Very basic preprocessing code - only tokenizes.
            Extend with your own preprocessing steps as needed.
        """
        input_batch = []
        for idx, data in enumerate(requests):
            input_text = data.get("data")
            if input_text is None:
                input_text = data.get("body")
            if isinstance(input_text, (bytes, bytearray)):
                input_text = input_text.decode('utf-8')

            input_text = json.loads(input_text)
            input_batch.extend(input_text)

        eval_examples = get_examples_from_dialogues(
            input_batch, user_first=False, dialogue_level=False
        )
        eval_features = self.processor.convert_examples_to_features(eval_examples)
        eval_data = WOSDataset(eval_features)
        eval_sampler = SequentialSampler(eval_data)
        eval_loader = DataLoader(
            eval_data,
            batch_size=1,
            sampler=eval_sampler,
            collate_fn=self.processor.collate_fn,
        )

        return eval_loader

    def postprocess_state(self, state):
        for i, s in enumerate(state):
            s = s.replace(" : ", ":")
            state[i] = s.replace(" , ", ", ")
        return state

    def inference(self, inputs):
        self.model.eval()
        output_lst = []
        predictions = {}
        for batch in inputs:
            input_ids, segment_ids, input_masks, gating_ids, target_ids, guids = [
                b.to(self.device) if not isinstance(b, list) else b for b in batch
            ]

            with torch.no_grad():
                o, g = self.model(input_ids, segment_ids, input_masks, 9)

                _, generated_ids = o.max(-1)
                _, gated_ids = g.max(-1)

            for guid, gate, gen in zip(guids, gated_ids.tolist(), generated_ids.tolist()):
                prediction = self.processor.recover_state(gate, gen)
                prediction = self.postprocess_state(prediction)
                predictions[guid] = prediction

        output_lst.append(predictions)
        return output_lst

    def postprocess(self, inference_output):
        # TODO: Add any needed post-processing of the model predictions here
        return inference_output

3. Archive 만들기

• 서버에 올리기 위해서는 Archive(.mar 파일)로 만들어야 한다.

다음 코드를 실행하면 torchserve에서 자동으로 archive를 만들어준다.

torch-model-archiver --model-name TRADE --version 1.0 --serialized-file "./serialized-file/model-27.bin" --export-path "./model_store" --extra-files data_utils.py,model.py,preprocessor.py,exp_config.json,slot_meta.json --handler Dst_custom_handler.py

• —model-name : 저장할 model name
• —model-file : 사용될 model 구조 (Python Class 형태)
• —serialized-file : pth,bin 파일 등 저장된 model 값
• —export-path : mar 파일이 저장될 폴더 위치
• —extra-files : label json 파일 등 모델이 inference할 때 사용될 파일들
  dst에서 Ontology 파일 등을 여기에 넣은 후, handler에서 불러와서 사용
• —handler : inference를 할 때 preprocess, inference 코드 등을 작성

4. Config.properties 작성

• config.properties를 통해 허가된 inferece address와 management address를 관리할 수 있고, mar 파일이 어디에 저장되어 있는지를 알 수 있음

inference_address=http://0.0.0.0:8080
management_address=http://0.0.0.0:8081
metrics_address=http://0.0.0.0:8082
job_queue_size=1000
model_store=/home/model-server/model-store
load_models=TRADE.mar

5. torchserve start

• 아래 명령어로 torchserve를 실행할 수 있음

torchserve --start --model-store ./model_store --ts-config config.properties

6. Inference 날리기

• WOS 형식의 json 파일을 준비

# test.json

[{"dialogue_idx": "square-silence-9151:숙소_관광_11", "domains": ["숙소", "관광"], "dialogue": [{"role": "user", "text": "안녕하세요. 적당한 가격대의 스파가 가능한 호텔을 찾아주세요."}, {"role": "sys", "text": "안녕하세요. 원하시는 지역이 있으세요?"}, {"role": "user", "text": "지역 상관없이 찾아주세요."}, {"role": "sys", "text": "4곳이 검색되었습니다. 그중 평점이 가장 높은 행복 호텔을 추천드리는데 어떠세요?"}, {"role": "user", "text": "좋아요. 화요일에 2일동안 4명 예약될까요?"}, {"role": "sys", "text": "네 가능합니다. 예약 도와드릴까요?"}, {"role": "user", "text": "예약해 주세요. 숙소 전화번호랑 예약 번호를 알려주세요"}, {"role": "sys", "text": "전화번호는 314238184, 예약번호는 IDUJ3입니다."}, {"role": "user", "text": "같은 지역에 관광지도 있을까요? "}, {"role": "sys", "text": "선호하시는 관광 종류가 있으신가요?"}, {"role": "user", "text": "종류는 상관없습니다."}, {"role": "sys", "text": "8곳이 검색되었습니다. 그중 평점이 높고, 역에서도 가까운 롯데월드 아쿠아리움을 추천드리는데 어떠세요?"}, {"role": "user", "text": "좋네요. 그곳의 입장 비용은 얼마인가요?"}, {"role": "sys", "text": "4000원입니다. 궁금증이 다 해결되셨나요?"}, {"role": "user", "text": "네 감사합니다."}, {"role": "sys", "text": "네 감사합니다. 즐거운 하루 보내세요."}]}]

• AWS를 사용할 시 (미리 보안그룹에서 해당 port를 열어주어야함) 해당 DNS로 파일을 보내는 것이 가능

curl -X POST http://ec2-18-221-229-123.us-east-2.compute.amazonaws.com:8080/predictions/TRADE -T test.json

7. torchserve stop

torchserve --stop

---

결과

• cmd창에서 test.json을 rest api 형태로 보내면 다음과 같은 결과를 얻을 수 있음
  • 다만, 한글이 깨져서 보이는 문제점이 있음 (utf-8로 열어주어야함)

curl -X POST http://ec2-18-221-229-123.us-east-2.compute.amazonaws.com:8080/predictions/TRADE -T test.json

평가

• Pytorch에서 배포한 Serving을 사용하면 쉽게 서버에 Serving이 가능함
• Handler를 통해 Custom한 Inference를 작성할 수 있어 편함
• Rest API를 지원하기 때문에 URL로 쉽게 주고 받을 수 있다.

Reference

• https://littlefoxdiary.tistory.com/37
• https://byeongjokim.github.io/posts/MLOps-Toy-Project-5/
• https://github.com/pytorch/serve