임베딩 - FastText (한글 자소 분리)
한글로된 코퍼스를 자소 분리하여 FastText의 입력으로 전달함으로 각각의 하나의 문자에 대하여 n-gram을 하도록 할 수도 있다. 이와 같이 사용하려면 학습 전 준비단계에서 해야 하는 일 한가지와 테스트시 해야 하는 일 두가지만 추가하면 된다. 1. (준비단계) 자소분리된 코퍼스 준비 2. (테스트) 테스트를 위한 문자를 자소로 분리하여 전달 3. (테스트) 결과로 나온 단어들의 자소를 합쳐 원래 단어로 변경 그럼 자소로 분리하는 것부터 하도록 한다. 코드 import util.utils as util from tqdm import tqdm def process_jamo(tokenized_corpus_fname, output_fname): toatal_lines = sum(1 for line in ..
ML&DL
2020. 8. 16. 23:26
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- 트리플 변환
- sparql
- 사이퍼
- Neo4j
- LOD
- 트리플
- TopBraid Composer
- 장고
- TDB
- django
- 스프링부트
- TBC
- neosemantics
- stardog
- RDF
- 지식그래프
- 그래프 데이터베이스
- 지식 그래프
- 온톨로지
- 타임리프
- Thymeleaf
- networkx
- Linked Data
- RDF 변환
- pyvis
- cypher
- Ontology
- rdfox
- Knowledge Graph
- property graph
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함