QA2 MRC(기계독해) 실습 1 : JSON 데이터셋 불러오기 (Groom Competition) 구름 자연어처리 과정 팀 미션 2번째 주제인 MRC를 시작했다. 확실히 단순하게 분류하여 Score만 측정했던 첫번째 주제보다 코드의 난이도부터 빡세서 어려웠다. 그래서 오늘 Baseline Code를 기반으로 JSON 데이터셋을 불러오는 연습을 해보았다. 필수 라이브러리를 후딱 설치해주고 1 2 3 4 from typing import List, Tuple, Dict, Any import json import random Colored by Color Scripter cs 먼저 JSON 데이터를 볼 수 있는 클래스를 만들었다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 .. 2022. 10. 6. NLP Roadmap 및 평가지표 간단 개념 정리 구름 자연어처리 수업에서 배웠던 내용을 정리해 보았다. 자연어처리 분야에서 문제를 정의하고 해결하는 과정을 나열해 보았는데 1) TASK 어떤 문제를 해결해야 하는지 2) Formulation 어떤 공식을 사용하여 문제를 해결할지 3) Model 어떤 모델을 통해 문제를 해결할지 4) Learning 어떤 방식으로 학습할지 (vanila는 randomly initialize한 뒤 scratch부터 다시하는 경우를 말함) Text classification의 경우 sequence 분류라고도 불리는데 many to one 방식이며 카테고리는 사전에 미리 정의해 둔다. ex) 스팸분류, article classifier Token classification의 경우 many to many 방식으로 text ta.. 2022. 9. 20. 이전 1 다음 반응형
