Latent space 간단 정리 Feature가 필요한 이유? 머신 러닝은 input data를 output data로 대응시키는 블랙박스 형태입니다. 이 블랙박스는 input data의 함수이며 선형 또는 비선형의 형태를 가질 수 있습니다. 우리는 train data를 사용해서 이 함수를 학습하지만 항상 잘 되는 것은 아닙니다. ex) 한 카페의 매출 가격을 입력으로 해서 가장 잘 팔리는 음료가 무엇인지 알려고 합니다. 매출 가격만으로 가장 잘 팔리는 음료가 무엇인지 정확하게 예측하는 것이 가능할까요? 아마도 매출 가격 정보만으로는 결과를 도출하기에는 충분하지 않을 것입니다. 위 예제를 통해 머신 러닝의 성능은 데이터의 양과 질에 굉장히 의존적이라는 것을 알 수 있습니다. 가장 이상적인 입력 데이터는 부족하지도, 과하지도 않은 적확한.. Mode collapse 아주 간단 정리 GAN을 학습시키다 보면 어느 순간 제대로 학습이 되지 않을 때가 있습니다. 이것을 바로 모드 붕괴, Mode Collapse현상이라고 하는데요.이는 생성자가 다양한 이미지를 만들어내지 못하고 비슷한 이미지만 계속해서 생성하는 경우를 뜻합니다. GAN을 학습시킬 때는 생성자와 구분자가 비슷한 수준으로 학습을 반복하고 있는지 잘 확인해야 합니다. 간단 정리 생성자(G)가 입력 값을 하나의 mode에 치우쳐 변환시키는 현상 특정 값에 대해 G D 를 반복해 올바르지 못한 학습이 진행 일부 값에만 치우쳐 전체 분포에 대해 학습하지 못하는 현상 MNIST의 경우: G가 하나의 숫자만 생성하다 판별기(D)의 값이 진동해 다른 숫자의 분포로 이동하여 G가 다른 숫자만 생성하는 현상 빨간 박스 안의 이미지가 Mode.. Regularization & Norm 간단 정리 오늘은 CNN, ML 알고리즘에서 많이 보이는 Norm에 대해 간단히 정리하려고 합니다. 일반적으로 Deep Learning에서 network의 Overfitting(과적합) 문제를 해결하는 방법으로 3가지 방법을 제시합니다. 1. 더 많은 data를 사용 2. Cross validation 3. Regularization *2번의 cross validation(교차 검증) - 모든 데이터가 최소 한 번은 test set으로 사용하도록 함 - Training set과 Test set을 분리하여 training set에서 모델의 계수를 추정한 후, test set으로 성능을 평가 test set을 어떻게 잡느냐에 따라 성능이 아주 상이하게 나올 경우 우연으로 모델 평가 지표에 편향이 생기게 됨 cross .. VAE & GAN 간단 비교 오랜만에 블로그를 다시 잡아보는데요, 앞으로 다룰 주제는 제가 현재 졸업작품으로 다루고 있는 인공지능 작곡기(정확히는 편곡기)에 대해서 설명할 예정입니다. 오늘은 가장 기본이 되는 주제를 다룰 것은 아니고, 부수적으로 필요한 기본 개념들을 먼저 정리했습니다. 큰 주제는 조금 더 정리해서 올릴 예정입니다. 순서대로 정리하고 싶은 마음 반, 이미 정리된 것들을 먼저 올리고 싶은 마음 반이여서 고민을 했는데, 하고 싶은걸 먼저해야 계속해서 블로그를 할 수 있을 것 같아서 오늘은 간단하게 전에 정리했던 내용을 올리려고 합니다. 처음에 이 인공지능 작곡기를 계획하면서, midi 파서를 VAE, DAE기법으로 인디코딩시키려고 했습니다만, 생각보다 듣기 좋은 음악이 나올 것 같지가 않아서 Resnet과 cycleGA.. 이전 1 다음
