옳은 길로..

이번에는 https://projector.tensorflow.org/ Embedding projector - visualization of high-dimensional data Visualize high dimensional data. projector.tensorflow.org 에서 임베딩 결과를 시각화해보도록 한다. 임베딩 프로젝터에서 시각화를 하려면 임베딩 모델에서 별도의 tsv 파일을 생성해야 한다. python -m gensim.scripts.word2vec2tensor --input word2vec --output word2vec 위의 명령을 실행하면 2개의 tsv 파일이 생성된다. 여기서 --input과 --output 옵션 뒤에 word2vec은 임베딩모델을 저장한 파일명이 되겠다. 그럼..

이번에는 이전 글에서 생성한 Word2Vec의 결과를 시각화하여 보려고 한다. PCA와 t-SNE을 통해 고차원 데이터를 차원 축소하고 시각화를 할 수 있다. 이들은 비지도 학습의 종류 중 하나인 비지도 변환의 일종으로 데이터를 새롭게 표현하여 사람이나 다른 머신러닝 알고리즘이 원래 데이터보다 쉽게 해석할 수 있도록 만드는 알고리즘이라고 할 수 있다. 차원 축소 분야에서 많이 사용하며 데이터를 구성하는 단위나 성분 찾기에도 사용한다. PCA(주성분 분석)은 특성들이 통계적으로 상관관계가 없도록 데이터셋을 회전시키는 기술로서 특성들의 상관관계가 가장 큰 방향(분산이 가장 큰 방향)을 찾고 그 방향과 직각인 방향 중에서 가장 많은 정보를 담은 방향을 찾아낸다. PCA는 주성분의 일부만 남기는 차원 축소 용도..