ML/DL/CS

numpy 핸들링에 익숙해져야 한다고 생각해서.. 마침 누군가 잘 만들어둔 numpy 100제 문제가 있어 조금씩 풀어보려 한다. 문제 링크 : link 내 코드 : link 21. Create a checkerboard 8x8 matrix using the tile function. Explore np.tile np.info('tile') *** Found in numpy *** tile(A, reps) Construct an array by repeating A the number of times given by reps. If `reps` has length ``d``, the result will have dimension of ``max(d, A.ndim)``. If ``A.ndim < d``,..

Python/Numpy 2021. 10. 6. 01:51

numpy 핸들링에 익숙해져야 한다고 생각해서.. 마침 누군가 잘 만들어둔 numpy 100제 문제가 있어 조금씩 풀어보려 한다. 문제 링크 : link 내 코드 : link 11. Create a 3x3 identity matrix a = np.eye(3) a &#39;&#39;&#39; array([[1., 0., 0.], [0., 1., 0.], [0., 0., 1.]]) &#39;&#39;&#39;어렵지 않다. 12. Create a 3x3x3 marray with random values a = np.random.rand(3, 3, 3) a &#39;&#39;&#39; array([[[0.02571122, 0.46360895, 0.01516786], [0.53682388, 0.43733759, ..

Python/Numpy 2021. 10. 2. 12:33

numpy 핸들링에 익숙해져야 한다고 생각해서.. 마침 누군가 잘 만들어둔 numpy 100제 문제가 있어 조금씩 풀어보려 한다. 문제 링크 : link 내 코드 : link 01. import numpy package under the name np import numpy as np 너무 많이 써봤던 코드다. 02.Print the numpy version and the configuration np.__version__ # '1.21.0' numpy 버전을 체크해본 적은 없지만, 당연히 이렇게 될 것이라 짐작할 수 있었다. 03. Create a null vector of size 10 a = np.zeros(10) a # array([0., 0., 0., 0., 0., 0., 0., 0., 0., ..

Python/Numpy 2021. 10. 1. 13:20

계기 사실상 2020년을 끝으로 dataloader부터 metric까지 내 손으로 코드를 짠 적이 없다. 20년 말부터 올 5월까지 일할 때는 기존의 모델을 embedding용으로 사용했고, 또 얼마 전까지 일하던 회사에서도 기존에 있던 코드를 수정하거나, pre processing/post processing을 처리한 수준이었으니까! 학습을 시키려 하면 호흡이 턱턱 막히더라.. 마침 pytorch-lightning이라는 간편하고 멋진 도구도 생겼으니 석사 진학 / 취업 전에 얼른 구현 능력을 올리려 한다. 당부 사항 개발 환경은 높은 확률로 colab입니다. pytorch-lightning으로 개발할 예정입니다. 분야는 아마 자연어 처리(NLP), 추천 시스템(Recommendation System),..

ML, DL/Paper Implementation 2021. 9. 30. 21:26

unify : "uni"하게 하다. magnify : "magn~"하게 하다. nullify : "null" 하게 하다. 그럼 "wisdom"ify 는? 똑똑하게 하다? 현명하게 하다? 당신에게 지혜를 주겠노라. 연못에서 튀어나온 산신령이 내뱉을 것 같은 대사로 상징되는 "wisdomify"는 내가 참여하고 있는 프로젝트이다. 이 프로젝트가 무엇이냐고? 속담 역사전이라고 한다. 역사전? history exhibition? 아니, "역" 사전, 그러니까 "reverse dictionary" 사과라는 단어를 생각해보자. 사과를 사전에 검색한다면, "박과의 한해살이 덩굴풀. 줄기는 덩굴손으로 다른 물건을 감고 올라간다. 잎...", "자기의 잘못을 인정하고 용서를 빎." 등의 정의가 나올 것이다. 그렇다면, ..

생각/회고 및 고찰 2021. 8. 23. 02:02

이번에 리뷰할 논문은 A Simple Framework for Contrastive Learning of Visual Representation 입니다. Contrastive Learning을 visual representation에 접목한 논문입니다. KAIST에서 제안한 CSI를 읽으려는데 contrastive learning에 대한 이해가 부족해 미리 리뷰해 보았습니다. Abstract visual representation의 contrastive learning을 위한 framework인 SimCLR을 제안했다고 합니다. data augmentation의 구성이 분류 문제에 중요한 역할을 한다는 점과, contrastive loss와 학습 가능한 선형 변환은 성능을 크게 높인다는 점, contra..

ML, DL/Paper Review 2021. 8. 10. 17:27

1. Abstract 최근 ConvNet 관련된 연구를 보니 그 깊이가 깊을수록 정확도가 좋아지지만, 입력-출력 사이의 connection이 적으면 학습에 효율적이었다고 합니다. 그래서 DenseNet에서는 그 깊이를 줄이고, 모든 layer를 feed-forward하게 연결해주었다고 합니다. L 개의 layer에 대해 ConvNet에서 L 개의 connection이 있다고 하면, DenseNet에서는 $ \frac{L(L + 1)}{2} $ 개의 connection이 생깁니다. 이를 통해 gradient-vanishing을 해결하고 feature propagation을 강화했으며 feature의 재사용을 encourage(?)하고 parameter의 수를 감소 시켰다고 합니다. CIFAR 10, CIF..

ML, DL/Paper Review 2021. 7. 20. 23:20