중요한건 꺾이지 않는 맥북

BentoML Document Link https://www.bentoml.com/ BentoML: A faster way to ship your models to production BentoML combines the best developer experience with a focus on operating ML in production. Our platform enables Data Science teams to do their best work. Get started with BentoML today! Copyright © 2022 BentoML BentoML's open source model serving framew www.bentoml.com LINE에서 Financial Data Pla..

구성 요소 cert-manager Cert-manager는 Kubernetes 내부에서 HTTPS 통신을 위한 인증서를 생성하고, 또 인증서의 만료 기간이 되면 자동으로 인증서를 갱신해주는 역할을 하는 Certificate manager controller입니다. 쉽게 말해 Kubernetes 내에서 외부에 존재하는 Issuers를 활용하거나 selfsigned Issuer를 직접 생성해서 생성하여 Certificate를 생성하고, 이때 생성된 Certificate를 관리하며 인증서의 만료 시간이 가까워지면 인증서를 자동으로 갱신해줍니다. Issuer 생성: 가장 먼저 할 일은 Self-signed Issuer를 만드는 일입니다. 조금 전에 이야기했듯이 Issuer는 Certificate를 만들 수 있는..

본 글은 NAVER DEVIEW 2021 의 'CLOps: 넌 모델링만해, 난 서빙할테니' 발표를 보고 정리하였습니다. CLOps 의 여러 리소스 - Kubeflow의 profile 과 비슷 모델 서빙을 위한 필수 요소 Auth - 접근제어 : 인가된 사용자에 의해서만 CLOps 사용 가능 (admin, readonly...) - 프로젝트별 권한 관리: 권한에 따라 각각 다른 기능 사용 가능 Authenticator로 Webhook 방식을 사용 1. 사용자가 k8s API 호출 2. 발행된 토큰을 webhook 서버에 전달하여 인증여부 확인 ( TokenReview 라는 오브젝트형태로 사용자 토큰 담아서 요청 / 응답 처리) Operator Resource - 의도를 담은 레코드, 사용자가 k8s API..

api server 에서 gpu server로 http 통신을 하기위한 client 파일이다. import sys import cv2 import numpy as np from io import BytesIO from PIL import Image,ImageOps import tritonclient.grpc as grpcclient import tritonclient.grpc.model_config_pb2 as model_config import tritonclient.http as httpclient from tritonclient.utils import triton_to_np_dtype from tritonclient.utils import InferenceServerException from dja..

https://github.com/clovaai/deep-text-recognition-benchmark GitHub - clovaai/deep-text-recognition-benchmark: Text recognition (optical character recognition) with deep learning methods. Text recognition (optical character recognition) with deep learning methods. - GitHub - clovaai/deep-text-recognition-benchmark: Text recognition (optical character recognition) with deep learning ... github.com ..

서론나는 OCR 서비스를 제공하기 위해 Text detection, recognition 모델을 사용했다. 먼저, text detection 단에서는 clova-ai의 CRAFT 모델을 사용했다. (출처: https://github.com/clovaai/CRAFT-pytorch)위 모델을 torch.jit.script 모듈을 사용하여 scripting 하였다. Text Recognition 단에서는 마찬가지로 clova-ai의 TPS-Resnet-BiLSTM-Attn 모델을 사용했으며 내 태스크에 맞게 한글 추출을 위한 Transfer learning을 진행했다. (출처: https://github.com/clovaai/deep-text-recognition-benchmark) TPS-Re..

torchscript 모델을 production 레벨에서 사용하려면 두가지가 필요하다. Portability 모델이 다양한 환경에서 export 될 수 있어야 함 Python interpreter process 에서뿐만이 아니라 C++ server나 mobile /embedded device 에서도 작동이 가능해야함 Performance inference latency와 throughput, 모두의 성능을 유지하면서도 최적화를 해야함 Pytorch 는 Tensorflow와 다르게 python의 특징을 많이 가지고 있는 프레임워크이기 때문에 Portability와 Performance 측면에서 약세를 보였고, 이를 해결하기 위해 Torchscript는 코드를 Eager mode에서 Script mode로 ..

https://github.com/triton-inference-server/client#download-using-python-package-installer-pip GitHub - triton-inference-server/client: Triton Python, C++ and Java client libraries, and GRPC-generated client examples for go Triton Python, C++ and Java client libraries, and GRPC-generated client examples for go, java and scala. - GitHub - triton-inference-server/client: Triton Python, C++ and Java..