ML/DL/CS

아! 입사 첫 주라 설정해줄 것이 정말 징글징글하게 많다! 전 게시물이 conda + vscode 였다면, 이번엔 CUDA + Torch다! conda 설정 및 python 개발 환경 구축 : link 1. 내 GPU 확인 어렵지 않다. 우선 시작 메뉴 옆의 검색창에서 장치 관리자를 검색한 뒤, 디스플레이 어댑터를 확인한다. 아하, 이 컴퓨터에 달린 그래픽 카드는 GTX 1660이구나. https://www.wikiwand.com/en/CUDA 위의 주소에서 본인의 그래픽 카드명을 검색해보면 순서대로 Compute Capability, Micro-Architecture, GPU, GeForce, Quadro/NVS, Tesla, Tegra.. 라고 한다. 내 그래픽 카드의 Compute Capabilit..

ML, DL/Settings 2022. 1. 7. 13:20

계기 사실상 2020년을 끝으로 dataloader부터 metric까지 내 손으로 코드를 짠 적이 없다. 20년 말부터 올 5월까지 일할 때는 기존의 모델을 embedding용으로 사용했고, 또 얼마 전까지 일하던 회사에서도 기존에 있던 코드를 수정하거나, pre processing/post processing을 처리한 수준이었으니까! 학습을 시키려 하면 호흡이 턱턱 막히더라.. 마침 pytorch-lightning이라는 간편하고 멋진 도구도 생겼으니 석사 진학 / 취업 전에 얼른 구현 능력을 올리려 한다. 당부 사항 개발 환경은 높은 확률로 colab입니다. pytorch-lightning으로 개발할 예정입니다. 분야는 아마 자연어 처리(NLP), 추천 시스템(Recommendation System),..

ML, DL/Paper Implementation 2021. 9. 30. 21:26

이번에 리뷰할 논문은 A Simple Framework for Contrastive Learning of Visual Representation 입니다. Contrastive Learning을 visual representation에 접목한 논문입니다. KAIST에서 제안한 CSI를 읽으려는데 contrastive learning에 대한 이해가 부족해 미리 리뷰해 보았습니다. Abstract visual representation의 contrastive learning을 위한 framework인 SimCLR을 제안했다고 합니다. data augmentation의 구성이 분류 문제에 중요한 역할을 한다는 점과, contrastive loss와 학습 가능한 선형 변환은 성능을 크게 높인다는 점, contra..

ML, DL/Paper Review 2021. 8. 10. 17:27

1. Abstract 최근 ConvNet 관련된 연구를 보니 그 깊이가 깊을수록 정확도가 좋아지지만, 입력-출력 사이의 connection이 적으면 학습에 효율적이었다고 합니다. 그래서 DenseNet에서는 그 깊이를 줄이고, 모든 layer를 feed-forward하게 연결해주었다고 합니다. L 개의 layer에 대해 ConvNet에서 L 개의 connection이 있다고 하면, DenseNet에서는 $ \frac{L(L + 1)}{2} $ 개의 connection이 생깁니다. 이를 통해 gradient-vanishing을 해결하고 feature propagation을 강화했으며 feature의 재사용을 encourage(?)하고 parameter의 수를 감소 시켰다고 합니다. CIFAR 10, CIF..

ML, DL/Paper Review 2021. 7. 20. 23:20