Study 88

인공지능 대화시스템 연구 (게임 관련)

본문은 "인공지능 대화시스템 연구" (고창수 외, 지식과 교양) 책 내용 중 연구에 필요한 내용을 발췌 및 정리하였음. 대화 참여자들이 참조하는 지식 체계는 (p.40) 1. 언어지식 : 문법지식과 어휘지식, 텍스트지식 등을 포함한 지식 2. 백과사전적 지식 : 전문 분야 지식이나 특정 정보와 관련된 지식 3. 상호작용에 대한 지식 : 사회적으로 개인의의도를 실현하기 위해 사용하는 도구와 수단 등을 포함한 지식 한 낱말의 사용이 그 사용이라는 관점으로 발화한 것은 곧 행하는 것, 활동, 행위라고 보는 견해와 관련된 체계임 예를 들어 "여기는 더운 것 같네."라는 발화는 화자와 청자의 관계가 수평적인 관계 시 : 단순히 화자의 발화를 진술로 해석 화자가 청자보다 나이가 많거나 지휘가 높은 사람으로 수직적 ..

한국어 임베딩 - 3.한국어 전처리

이 글은 이기창 님의 저서인 한국어 임베딩 내용을 라마인드 하기 위해 정리한 문서입니다. https://github.com/ratsgo/embedding/ 3. 한국어 전처리 (p.79~) 3.1 데이터 확보 (p.80~) 3.1.1 한국어 위키백과 (p.80~) 코드 3-1 한국어 위키백과 다운로드 (bash) (p.81) 코드 3-2 한국어 위키백과 전처리 (python) (p.81) 코드 3-4 사용자 정의, 한국어 위키 토크나이저 (python) (p.84) 코드 3-5 한국어 위키백과 전과정 자동 전처리 (bash) (p.85) wikiextractor : 위키백과 정제 라이브러리 https://github.com/attardi/wikiextractor 3.1.2 KorQuAD (p.86~) 한..

Study 2019.12.21

한국어 임베딩 - 2.벡터가 어떻게 의미를 가지고 되는가

이 글은 이기창 님의 저서인 한국어 임베딩 내용을 라마인드 하기 위해 정리한 문서입니다. https://github.com/ratsgo/embedding/ 2. 벡터가 어떻게 의미를 가지고 되는가 (p.57~) 2.1 자언어 계산과 이해 (p.58~) 표 2-1 임베딩을 만드는 세 가지 철학 (p. 58) 구분 백오브워즈 가정 언어 모델 분포 가정 내용 어떤 단어가 (많이) 쓰였는가 단어가 어떤 순서로 쓰였는가 어떤 단어가 같이 쓰였는가 대표 통계량 TF-IDF - PMI 대표 모델 Deep Averaging Network ELMo, GPT Word2Vec 백오브워즈(Bag of Words) 가정 어떤 단어가 많이 쓰였는지 정보를 중시 단어의 순서(order) 정보는 무시함 언어 모델(Language M..

Study 2019.12.14

한국어 임베딩 - 1.서론

이 글은 이기창 님의 저서인 한국어 임베딩 내용을 라마인드 하기 위해 정리한 문서입니다. https://github.com/ratsgo/embedding/ 1. 서론 (p.27~) 1.1 임베딩이란 (p.28~) 1.2 임베딩(embedding)의 역할 (p.30~) - 단어/문자 강 관련도 계산 - 의미적/문법적 정보 함축 - 전이 학습 임베딩 - 단어/문자 강 관련도 계산 단어 벡터들 사이의 유사도를 계산 가능 Word2Vec, FastText, NPLM, GloVe, Swivel t-SNE라는 차원 축소 기법으로 N(N>2)차원 이상의 단어 벡터들을 2차원으로 줄여 시각화 가능 임베딩 - 의미적/문법적 정보 함축 단어 벡터 간 덧셈/뺄셈을 통해 단어들 사이의 의미적, 문법적 관계를 도출 가능 (단어..

Study 2019.12.14

[JUPYTER] 주피터 노트북 실행 시 500 번 오류 (500: Internal Server Error)

Jupyter 노트북을 실행해서 notebook를 선택하니 아래와 같은 오류가 발생하였다. 에러 로그를 보니 아래와 같은 문구가 있었다.AttributeError: module 'tornado.web' has no attribute 'asynchronous'위와 같은 오류 메세지가 있다. tornado.web 모듈의 문제이다. 해당 문제를 처리하는 방법은 stackoverflow에 나와있다. Python 만 설치한 경우에는 pip install --upgrade nbconvertAnaconda 환경인 경우에는condcon upgrade nbconvert 와 같이 수행후 주피터 노트북을 재실행하면 된다.Ref. https://stackoverflow.com/questions/55013206/how-can-..

Study/Etc. 2019.03.26

[anaconda] anaconda 환경에서 jupyter 실행 시 kernel 목록에 env 목록이 보이지 않는 경우

아나콘다(anaconda) 환경에서 쥬피터(jupyter) 실행 시 커널(kernel) 목록에 conda enviroment 목록이 보이지 않는 경우 activate root 로 활성화conda install nb_conda_kernels대부분 이걸 설치했을 시점에 kernel 목록이 보이나 안보이는 경우 원하는 환경을 아래 코드로 추가python -m ipykernel install --user --name [env이름] --display-name "쥬피터커널이름"ex) conda env 이름이 "aistudy" 이고 jupyter에 kenel 이름으로 "Python 3.6 (aistudy)" 추가하려는 경우ex) python -m ipykernel install --user --name aistudy..

Study/Etc. 2019.03.05

[GIT] GIT 내용 정리 (지옥에서 온 GIT on 생활코딩)

https://opentutorials.org/course/2708code -> stage (commit 전 대기) -> repository (commit 후)https://git-scm.com/https://git-scm.com/book/ko/v2한글 매뉴얼 지원 프로젝트(레파지토리) 폴더 생성git initgit statusgit add [관리할파일명] git config --global user.name [유저이름]git config --global user.email [이메일]이걸 하지 않고 진행하는 경우 --global to set the identity only in this repository 매세지가 보이게됨 git commit만약 윈도우10에서 git commit 실행시 vim으로 실행 ..

Study/Etc. 2019.03.04

[Windows 10] AMD RAID 미인식 (인식 불가) 문제 및 해결

1. 문제 설명추가로 연결한 SSD 250GB 2개를 SATA로 연결 후 정상적으로 BIOS와 Windows 10에서 인식된 것을 확인 후BIOS에서 SATA를 AHCI에서 RAID로 변경 후 연결된 2개의 SSD 250GB 를 RAID 0으로 통합함정상적으로 BIOS에서 보이는 것을 확인 후 Windows에서 디스크 추가시 보이지 않는 문제 2. 현재 컴퓨터 상황현재 사용 중인 컴퓨터는 CPU : AMD 2700XMB : ASUS X470RAM : 32GBDISK : NVMe 500GB (기 사용 중인 저장장치)여기에 추가로 SSD 250GB 2개를 RAID 0으로 연결하여 사용하려고 했다. 3. 해결 과정인터넷 검색 결과 AMD의 경우 RAID로 묶은 디스크에 Windows 10을 설치 시에 AMD ..

Study/Etc. 2019.01.07

[파이썬 Python] glob.glob로 가져올 때 정렬(sort)하기

glob.glob 함수를 통해 특정 디렉토리(폴더)로 부터 디렉토리 및 파일 목록을 가져와서 리스트를 보면 정렬되지 않는 경우,filst = glob.glob('*') for fname in filst: pass 아래와 같이 코드를 추가하면 파일명으로 정렬됨 filst = sorted(glob.glob('*')) for fname in filst: pass 만약 다른 조건으로 정렬하려면 다음과 같은 코드들을 입력하면 됨filst = sorted(glob.glob('*'), key=os.path.getctime) # 파일 생성일 for fname in filst: pass filst = sorted(glob.glob('*'), key=os.path.getatime) # 파일 최근 접근일 for fname ..

Study/Programming 2018.04.09