ML/DL/CS

머신러닝 파이프라인 개요 이번 포스팅에선 머신러닝 파이프라인에 대해 알아보도록 하겠습니다. 머신러닝 파이프라인은 학습 데이터를 수집하는 것 ~ 모델에 대한 피드백을 받는 것까지의 단계까지를 말하는데, 이를 life cycle이라고도 한다고 합니다. 머신러닝 모델을 개발하는 Researcher는 최대한 모델의 개발에만 집중할 수 있게 이 외의 모든 과정을 자동화하는 것이 서비스를 제공하는 입장에서 매우 중요합니다. 또한, 양질의 데이터가 많을수록 성능이 좋아지는 머신러닝 모델의 특성 상 데이터를 검증하고, 전처리하여 모델을 재학습시키는 과정을 자동화시킬 필요가 있습니다. 머신러닝 파이프라인의 흐름을 표현하면 아래 그림과 같습니다. 각 단계가 의미하는 바가 무엇인지, 각 단계가 필요한 이유가 무엇인지 간단히..

MLOps 2021. 7. 22. 11:41

01. 머신러닝 파이프라인의 필요성 포드에서는 공정을 정형화하고, 자동화해 비용과 시간을 절약했다고 합니다. 과연 그 이점이 이것 뿐이었을까요? 파이프라인을 잘 구성해두었을 때 얻는 이점에 대해 알아보고, 이것이 왜 필요한지 고개를 끄덕일 수 있는 과정을 함께 알아보도록 하겠습니다. 파이프라인을 잘 구성했을 때 얻는 이점 01. 생산력 향상 사용자에게 손으로 쓴 숫자의 이미지를 서버에 request 받아, MNIST 모델로 숫자를 분류해 response를 주는 작업을 한다고 생각해봅시다. 이 파이프라인이 분류되지 않고, 모든 코드가 한 군데에 이어져있다면? "아! 이게 어디서 터진 에러지? 입력단? 모델? 출력단?" 하는 고민에 빠지게 되겠죠. 하지만 이를 잘 나누어 놨다면, 어디서 에러가 났는지, 어떤..

MLOps 2021. 7. 20. 10:39