임베딩 - FastText (한글 자소 분리)
한글로된 코퍼스를 자소 분리하여 FastText의 입력으로 전달함으로 각각의 하나의 문자에 대하여 n-gram을 하도록 할 수도 있다. 이와 같이 사용하려면 학습 전 준비단계에서 해야 하는 일 한가지와 테스트시 해야 하는 일 두가지만 추가하면 된다. 1. (준비단계) 자소분리된 코퍼스 준비 2. (테스트) 테스트를 위한 문자를 자소로 분리하여 전달 3. (테스트) 결과로 나온 단어들의 자소를 합쳐 원래 단어로 변경 그럼 자소로 분리하는 것부터 하도록 한다. 코드 import util.utils as util from tqdm import tqdm def process_jamo(tokenized_corpus_fname, output_fname): toatal_lines = sum(1 for line in ..
ML&DL
2020. 8. 16. 23:26
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- 트리플 변환
- 지식그래프
- rdfox
- Ontology
- 트리플
- 스프링부트
- LOD
- TBC
- neosemantics
- RDF 변환
- property graph
- 사이퍼
- TDB
- stardog
- 타임리프
- 지식 그래프
- 그래프 데이터베이스
- django
- networkx
- pyvis
- Neo4j
- sparql
- RDF
- Linked Data
- 장고
- 온톨로지
- Thymeleaf
- Knowledge Graph
- TopBraid Composer
- cypher
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
글 보관함