내 취미는 머신러닝

ICML, 2022, ciation 632 BLIP : Bootstraping Language-Image pre-training for unified vision-language understanding and generation Introduction vision-language pre-training의 두가지 기존 한계점 모델 관점 : 기존 VL-pretraining 모델들은 대부분 encoder-based거나 encoder-decoder based이다. 구조적 한계로 인해 특정 task(image understanding, text generation)등에만 강한 모습을 보였다.encoder-decoder model : image-text retrieval task에 약함 encoder-based ..

Transfer learning 특정 분야에서 학습된 신경망의 일부 능력을 유사하거나 전혀 새로운 분야에서 사용되는 신경망의 학습에 이용하는 것을 의미한다. 보통 학습시키고자 하는 대상에 대해 데이터가 적을 때 사용한다. 전이학습(Transfer learning)의 단계 pre-trained 모델을 불러온다. 모델의 parameter를 Freeze한다. 새로운 layer들을 freeze된 곳 위에 쌓는다. 기존 freeze layer들이 학습된 것을 기반으로 새로운 데이터셋에 맞추어 freeze 되지 않은 것을 학습한다. 새로운 layer만을 학습 시킨다. Fine-tuning 기존의 모델 구조와 미리 학습된(Pre-trained) 가중치를 기반으로, 내가 하려는 task에 맞게 가중치를 업데이트하는 것..

** ’트랜스포머를 활용한 자연어처리’ 책을 참고한 코드입니다. Encoder block 인코더의 출력 임베딩 크기는 입력 임베딩의 크기와 동일하다. 인코더의 주요 역할은 입력 임베딩을 업데이트해서 시퀀스의 문맥 정보가 반영된 임베딩 벡터를 얻는 것이다. Tokenizer(BERT AutoTokenizer) 모든 과정은 text = "time flies like an arrow"의 한 문장을 가지고 했음을 알려드립니다. 💡 순서 : Tokenizer → Embedding layer → Q, K, V → (Q • K) / sqrt(K) → softmax → 결과값 • V Bert 기본 모델 from huggingface AutoTokenizer : model에 맞게 토크나이저 찾아서 해준다. from tr..

* 이 포스팅은 "딥러닝을 이용한 자연어처리입문" 을 참고하였습니다. https://wikidocs.net/book/2155 [ Embedding ] Embedding이란? encoding과 유사하게 기계는 숫자만 학습을 할 수 있기 때문에 문자 -> 숫자의 형태로 변환해줘야 한다. Encoding과의 차이점 인코딩의 종류는 대표적으로 label encoding/one-hot encoding이 있다. ex) thank - [1,0,0] you - [0,1,0] love - [0,0,1] 일 때 similarity를 반영할 수 없다. 즉 모든 거리가 같아진다. -> 이러한 문제를 해결하기 위해서 임베딩 개념이 등장 보통 인코딩보다 임베딩이 차원이 저차원 word2vec는 CBOW(Continuous Bag..