백설공주 거울과 인공지능 이야기 - 오제키 마사유키
이 글은 위의 책을 보고 필요한 부분을 발췌하여 가공한 글입니다.
Machine Learning에 대한 책을 찾아보던 중 위의 책이 머신러닝의 기초 용어들에 대해 잘 정리해 둔 것 같아 정리해 둔다.
책의 화자는 백설공주의 계모인 왕비가 가진 마법 거울이다. 계모는 자신의 미모가 어떤 수치를 가지고 있는지를 알아내고자 마법 거울을 학습시킨다.
이 글은 위의 책을 보고 필요한 부분을 발췌하여 가공한 글입니다.
Machine Learning에 대한 책을 찾아보던 중 위의 책이 머신러닝의 기초 용어들에 대해 잘 정리해 둔 것 같아 정리해 둔다.
책의 화자는 백설공주의 계모인 왕비가 가진 마법 거울이다. 계모는 자신의 미모가 어떤 수치를 가지고 있는지를 알아내고자 마법 거울을 학습시킨다.
소제목
분리 초평면( Separating Hyperplane)
파라미터 값으로 영역이 나뉘어질 때, 나눠지는 영역의 경계를 나타낸 것이다.
퍼셉트론(Perceptron)
분리 초평면을 움직이면서 공간을 나누는 모형을 말한다. 1950년대에 프랭크 로젠블랫(Frank Rosenblatt)이 사람의 뇌를 모방하여 만든 것으로, 학습을 통해 자율적으로 식별하기 위한 방법으로 고안되었다.
서포트 벡터 머신(Support Vector Machine)
마진이 가능한 한 커지도록 분리 초평면을 설정한느 방법을 말한다. 이 기법은 퍼셉트론보다 조금 늦은 1960년대 블라디미르 바프닉(Vladimir Vapnik)에 의해 고안되었다.
분리 대상이 되는 데이터 점과 분리 초평면의 거리를 고려에 넣어 분리 초평면을 결정한다. 다층 신경망을 이용하여 분리가 잘 되는 비선형 변환을 찾기 위한 최적화 문제를 푸는 것이다.
커널법(Kernel Method)
특징값을 있는 그대로 사용하는 대신, 비선형 변환을 거쳐 변형하여 사용한다는 아이디어다.
변형 후의 거리에 대한 척도를 바꾸는 방법으로 사용하게 될 비선형 변환을 결정하는 것이다. 거리 계산이 쉬우며, 까다로운 비선형 변환을 직접 도입하지 않고 장점만을 누릴 수 있다.
희소(Sparse)
중요도가 떨어지는 특징값의 가중치를 0으로 만들어 특징값을 학습에 고려하지 않을 수 있다. 중요하지 않은 특징값을 0으로 만들었을 때, 요소 대부분이 0인 상태를 희소하다라고 한다.
희소 모델(Sparse Modeling)
희소한 상태를 만들기 위한 방법을 말한다.
볼츠만 머신(Boltzmann Machine)
어떤 자리에는 어떤 색이 자주 나오고, 어떤 색 픽셀 주변에는 어떤 색이 자주 나오는 경향이 있다. 이렇게 위치에 따른 관계성을 학습해서 이미지를 만들어 낼 수 ㅣㅇㅆ는 모형을 말한다.
볼츠만 머신러닝
볼츠만 머신에 이미지 데이터를 입력하고 데이터와 모형을 부합시키면 실제 이미지의 특징, 관계성의 경향을 학습하는 것을 말한다.
우도(Likelihood)
그럴듯함
앞먹임 신경망(Feedforward Neural Network)
일단 입력이 들어가면 출력을 향해 한쪽으로만 정보가 전달되는 것이다.
양방향 신경망(Bidirectional Neural Network)
입력이 양쪽방향으로 전달되면서 학습되는 것이다.
마르코프 체인 몬테카를로(Markov Chain MonteCarlo, MCMC)
마르코프 연쇄의 구성에 기반한 확률 분포로부터 원하는 분포의 정적 분포를 갖는 표본을 추출하는 알고리즘의 한 부류이다.
평균장 근사(Mean Field Approximation)
신뢰전파(Belief Propagation)
제약 볼츠만 머신(Restricted Boltzmann Machine, RBM)
DBN이라고 하는 딥러닝의 일종인 심층신뢰신경망을 구성하는 기본적인 요소이다.
대조적 발산(Contrastive Divergence)
RBM을 학습하기 위한 알고리즘이다.
딥 볼츠만 머신(Deep Boltzmann Machines, DBM)
차원축소(Dimensionality Reduction)
특징값의 수를 줄이는 방법
전이학습(Transfer Learning)
※ 설명을 남기지 않은 부분은 음.. 책만으로 이해하기 어려워서 나중에 다시 깊이 정리해보려고 한다.
파라미터 값으로 영역이 나뉘어질 때, 나눠지는 영역의 경계를 나타낸 것이다.
퍼셉트론(Perceptron)
분리 초평면을 움직이면서 공간을 나누는 모형을 말한다. 1950년대에 프랭크 로젠블랫(Frank Rosenblatt)이 사람의 뇌를 모방하여 만든 것으로, 학습을 통해 자율적으로 식별하기 위한 방법으로 고안되었다.
서포트 벡터 머신(Support Vector Machine)
마진이 가능한 한 커지도록 분리 초평면을 설정한느 방법을 말한다. 이 기법은 퍼셉트론보다 조금 늦은 1960년대 블라디미르 바프닉(Vladimir Vapnik)에 의해 고안되었다.
분리 대상이 되는 데이터 점과 분리 초평면의 거리를 고려에 넣어 분리 초평면을 결정한다. 다층 신경망을 이용하여 분리가 잘 되는 비선형 변환을 찾기 위한 최적화 문제를 푸는 것이다.
커널법(Kernel Method)
특징값을 있는 그대로 사용하는 대신, 비선형 변환을 거쳐 변형하여 사용한다는 아이디어다.
변형 후의 거리에 대한 척도를 바꾸는 방법으로 사용하게 될 비선형 변환을 결정하는 것이다. 거리 계산이 쉬우며, 까다로운 비선형 변환을 직접 도입하지 않고 장점만을 누릴 수 있다.
희소(Sparse)
중요도가 떨어지는 특징값의 가중치를 0으로 만들어 특징값을 학습에 고려하지 않을 수 있다. 중요하지 않은 특징값을 0으로 만들었을 때, 요소 대부분이 0인 상태를 희소하다라고 한다.
희소 모델(Sparse Modeling)
희소한 상태를 만들기 위한 방법을 말한다.
볼츠만 머신(Boltzmann Machine)
어떤 자리에는 어떤 색이 자주 나오고, 어떤 색 픽셀 주변에는 어떤 색이 자주 나오는 경향이 있다. 이렇게 위치에 따른 관계성을 학습해서 이미지를 만들어 낼 수 ㅣㅇㅆ는 모형을 말한다.
볼츠만 머신러닝
볼츠만 머신에 이미지 데이터를 입력하고 데이터와 모형을 부합시키면 실제 이미지의 특징, 관계성의 경향을 학습하는 것을 말한다.
우도(Likelihood)
그럴듯함
앞먹임 신경망(Feedforward Neural Network)
일단 입력이 들어가면 출력을 향해 한쪽으로만 정보가 전달되는 것이다.
양방향 신경망(Bidirectional Neural Network)
입력이 양쪽방향으로 전달되면서 학습되는 것이다.
마르코프 체인 몬테카를로(Markov Chain MonteCarlo, MCMC)
마르코프 연쇄의 구성에 기반한 확률 분포로부터 원하는 분포의 정적 분포를 갖는 표본을 추출하는 알고리즘의 한 부류이다.
평균장 근사(Mean Field Approximation)
신뢰전파(Belief Propagation)
제약 볼츠만 머신(Restricted Boltzmann Machine, RBM)
DBN이라고 하는 딥러닝의 일종인 심층신뢰신경망을 구성하는 기본적인 요소이다.
대조적 발산(Contrastive Divergence)
RBM을 학습하기 위한 알고리즘이다.
딥 볼츠만 머신(Deep Boltzmann Machines, DBM)
차원축소(Dimensionality Reduction)
특징값의 수를 줄이는 방법
전이학습(Transfer Learning)
※ 설명을 남기지 않은 부분은 음.. 책만으로 이해하기 어려워서 나중에 다시 깊이 정리해보려고 한다.
댓글 없음:
댓글 쓰기