ML/DL/CS

환경 linux, ubuntu 16.04.1 LTS 내가 한 거 기록하는 Docker 시리즈 01.도커 설치 이번에 다룰 내용은 도커에서 이미지(image)의 제가 받아들인 의미와(뇌피셜입니다.) Docker Hub에서 도커 이미지를 pull 해오는 방법입니다. 01. 이미지(Image)? 저는 처음에 추후 설명할 개념인 container와 Image의 관계를 Image : Container = Class : Instance 와 같이 이해했습니다. 어떤 의미냐 하면, Image에 앞으로 생성될 container에 필요한 것들을 설치하고 설정해준 뒤, 얼마든지 Image를 이용해 여러 개의 container를 찍어낼 수 있다는 점에서 그렇게 받아들여졌습니다. 그렇게 생긴 container들은 다른 포트를 ..

MLOps 2021. 7. 24. 01:45

00. 환경 linux, ubuntu 16.04.1 LTS 01. 우선 설치 sudo wget -qO- http://get.docker.com/ | sh 하고 입력하면 설치가 됩니다. 설치가 되었는지 확인하는 방법은 docker version 하고 입력하시면 아래와 같은 문구를 확인하게 됩니다. 그런데 설치된 도커의 버전에 대해 잘 설명해주다가 아랠 보니 "Got permission denied while trying ~" 하는 문구를 확인할 수 있습니다. 이는 권한 문제인데요, 02. 도커 권한 문제 해결 위의 문제는 /var/run/docker.sock 에 권한이 없기 때문에 생긴 문제라고 합니다. 현재 사용자를 docker group에 추가해주면 해결되는 문제인데, sudo usermod -a -G..

MLOps 2021. 7. 23. 11:11

머신러닝 파이프라인 개요 이번 포스팅에선 머신러닝 파이프라인에 대해 알아보도록 하겠습니다. 머신러닝 파이프라인은 학습 데이터를 수집하는 것 ~ 모델에 대한 피드백을 받는 것까지의 단계까지를 말하는데, 이를 life cycle이라고도 한다고 합니다. 머신러닝 모델을 개발하는 Researcher는 최대한 모델의 개발에만 집중할 수 있게 이 외의 모든 과정을 자동화하는 것이 서비스를 제공하는 입장에서 매우 중요합니다. 또한, 양질의 데이터가 많을수록 성능이 좋아지는 머신러닝 모델의 특성 상 데이터를 검증하고, 전처리하여 모델을 재학습시키는 과정을 자동화시킬 필요가 있습니다. 머신러닝 파이프라인의 흐름을 표현하면 아래 그림과 같습니다. 각 단계가 의미하는 바가 무엇인지, 각 단계가 필요한 이유가 무엇인지 간단히..

MLOps 2021. 7. 22. 11:41

1. Abstract 최근 ConvNet 관련된 연구를 보니 그 깊이가 깊을수록 정확도가 좋아지지만, 입력-출력 사이의 connection이 적으면 학습에 효율적이었다고 합니다. 그래서 DenseNet에서는 그 깊이를 줄이고, 모든 layer를 feed-forward하게 연결해주었다고 합니다. L 개의 layer에 대해 ConvNet에서 L 개의 connection이 있다고 하면, DenseNet에서는 $ \frac{L(L + 1)}{2} $ 개의 connection이 생깁니다. 이를 통해 gradient-vanishing을 해결하고 feature propagation을 강화했으며 feature의 재사용을 encourage(?)하고 parameter의 수를 감소 시켰다고 합니다. CIFAR 10, CIF..

ML, DL/Paper Review 2021. 7. 20. 23:20

01. 머신러닝 파이프라인의 필요성 포드에서는 공정을 정형화하고, 자동화해 비용과 시간을 절약했다고 합니다. 과연 그 이점이 이것 뿐이었을까요? 파이프라인을 잘 구성해두었을 때 얻는 이점에 대해 알아보고, 이것이 왜 필요한지 고개를 끄덕일 수 있는 과정을 함께 알아보도록 하겠습니다. 파이프라인을 잘 구성했을 때 얻는 이점 01. 생산력 향상 사용자에게 손으로 쓴 숫자의 이미지를 서버에 request 받아, MNIST 모델로 숫자를 분류해 response를 주는 작업을 한다고 생각해봅시다. 이 파이프라인이 분류되지 않고, 모든 코드가 한 군데에 이어져있다면? "아! 이게 어디서 터진 에러지? 입력단? 모델? 출력단?" 하는 고민에 빠지게 되겠죠. 하지만 이를 잘 나누어 놨다면, 어디서 에러가 났는지, 어떤..

MLOps 2021. 7. 20. 10:39