임베딩 - FastText (한글 자소 분리)
한글로된 코퍼스를 자소 분리하여 FastText의 입력으로 전달함으로 각각의 하나의 문자에 대하여 n-gram을 하도록 할 수도 있다. 이와 같이 사용하려면 학습 전 준비단계에서 해야 하는 일 한가지와 테스트시 해야 하는 일 두가지만 추가하면 된다. 1. (준비단계) 자소분리된 코퍼스 준비 2. (테스트) 테스트를 위한 문자를 자소로 분리하여 전달 3. (테스트) 결과로 나온 단어들의 자소를 합쳐 원래 단어로 변경 그럼 자소로 분리하는 것부터 하도록 한다. 코드 import util.utils as util from tqdm import tqdm def process_jamo(tokenized_corpus_fname, output_fname): toatal_lines = sum(1 for line in ..
ML&DL
2020. 8. 16. 23:26
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- Ontology
- 스프링부트
- property graph
- 사이퍼
- cypher
- 지식 그래프
- RDF
- 지식그래프
- Knowledge Graph
- pyvis
- neosemantics
- Linked Data
- django
- rdfox
- 트리플 변환
- sparql
- 그래프 데이터베이스
- RDF 변환
- stardog
- TBC
- TDB
- 타임리프
- TopBraid Composer
- LOD
- 장고
- Thymeleaf
- 트리플
- Neo4j
- networkx
- 온톨로지
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 | 31 |
글 보관함