빨간당무 마을

본문은 "인공지능 대화시스템 연구" (고창수 외, 지식과 교양) 책 내용 중 연구에 필요한 내용을 발췌 및 정리하였음. 대화 참여자들이 참조하는 지식 체계는 (p.40) 1. 언어지식 : 문법지식과 어휘지식, 텍스트지식 등을 포함한 지식 2. 백과사전적 지식 : 전문 분야 지식이나 특정 정보와 관련된 지식 3. 상호작용에 대한 지식 : 사회적으로 개인의의도를 실현하기 위해 사용하는 도구와 수단 등을 포함한 지식 한 낱말의 사용이 그 사용이라는 관점으로 발화한 것은 곧 행하는 것, 활동, 행위라고 보는 견해와 관련된 체계임 예를 들어 "여기는 더운 것 같네."라는 발화는 화자와 청자의 관계가 수평적인 관계 시 : 단순히 화자의 발화를 진술로 해석 화자가 청자보다 나이가 많거나 지휘가 높은 사람으로 수직적 ..

이 글은 이기창 님의 저서인 한국어 임베딩 내용을 라마인드 하기 위해 정리한 문서입니다. https://github.com/ratsgo/embedding/ 3. 한국어 전처리 (p.79~) 3.1 데이터 확보 (p.80~) 3.1.1 한국어 위키백과 (p.80~) 코드 3-1 한국어 위키백과 다운로드 (bash) (p.81) 코드 3-2 한국어 위키백과 전처리 (python) (p.81) 코드 3-4 사용자 정의, 한국어 위키 토크나이저 (python) (p.84) 코드 3-5 한국어 위키백과 전과정 자동 전처리 (bash) (p.85) wikiextractor : 위키백과 정제 라이브러리 https://github.com/attardi/wikiextractor 3.1.2 KorQuAD (p.86~) 한..

이 글은 이기창 님의 저서인 한국어 임베딩 내용을 라마인드 하기 위해 정리한 문서입니다. https://github.com/ratsgo/embedding/ 2. 벡터가 어떻게 의미를 가지고 되는가 (p.57~) 2.1 자언어 계산과 이해 (p.58~) 표 2-1 임베딩을 만드는 세 가지 철학 (p. 58) 구분 백오브워즈 가정 언어 모델 분포 가정 내용 어떤 단어가 (많이) 쓰였는가 단어가 어떤 순서로 쓰였는가 어떤 단어가 같이 쓰였는가 대표 통계량 TF-IDF - PMI 대표 모델 Deep Averaging Network ELMo, GPT Word2Vec 백오브워즈(Bag of Words) 가정 어떤 단어가 많이 쓰였는지 정보를 중시 단어의 순서(order) 정보는 무시함 언어 모델(Language M..

이 글은 이기창 님의 저서인 한국어 임베딩 내용을 라마인드 하기 위해 정리한 문서입니다. https://github.com/ratsgo/embedding/ 1. 서론 (p.27~) 1.1 임베딩이란 (p.28~) 1.2 임베딩(embedding)의 역할 (p.30~) - 단어/문자 강 관련도 계산 - 의미적/문법적 정보 함축 - 전이 학습 임베딩 - 단어/문자 강 관련도 계산 단어 벡터들 사이의 유사도를 계산 가능 Word2Vec, FastText, NPLM, GloVe, Swivel t-SNE라는 차원 축소 기법으로 N(N>2)차원 이상의 단어 벡터들을 2차원으로 줄여 시각화 가능 임베딩 - 의미적/문법적 정보 함축 단어 벡터 간 덧셈/뺄셈을 통해 단어들 사이의 의미적, 문법적 관계를 도출 가능 (단어..

Jupyter 노트북을 실행해서 notebook를 선택하니 아래와 같은 오류가 발생하였다. 에러 로그를 보니 아래와 같은 문구가 있었다.AttributeError: module 'tornado.web' has no attribute 'asynchronous'위와 같은 오류 메세지가 있다. tornado.web 모듈의 문제이다. 해당 문제를 처리하는 방법은 stackoverflow에 나와있다. Python 만 설치한 경우에는 pip install --upgrade nbconvertAnaconda 환경인 경우에는condcon upgrade nbconvert 와 같이 수행후 주피터 노트북을 재실행하면 된다.Ref. https://stackoverflow.com/questions/55013206/how-can-..

아나콘다(anaconda) 환경에서 쥬피터(jupyter) 실행 시 커널(kernel) 목록에 conda enviroment 목록이 보이지 않는 경우 activate root 로 활성화conda install nb_conda_kernels대부분 이걸 설치했을 시점에 kernel 목록이 보이나 안보이는 경우 원하는 환경을 아래 코드로 추가python -m ipykernel install --user --name [env이름] --display-name "쥬피터커널이름"ex) conda env 이름이 "aistudy" 이고 jupyter에 kenel 이름으로 "Python 3.6 (aistudy)" 추가하려는 경우ex) python -m ipykernel install --user --name aistudy..

https://opentutorials.org/course/2708code -> stage (commit 전 대기) -> repository (commit 후)https://git-scm.com/https://git-scm.com/book/ko/v2한글 매뉴얼 지원 프로젝트(레파지토리) 폴더 생성git initgit statusgit add [관리할파일명] git config --global user.name [유저이름]git config --global user.email [이메일]이걸 하지 않고 진행하는 경우 --global to set the identity only in this repository 매세지가 보이게됨 git commit만약 윈도우10에서 git commit 실행시 vim으로 실행 ..

1. 문제 설명추가로 연결한 SSD 250GB 2개를 SATA로 연결 후 정상적으로 BIOS와 Windows 10에서 인식된 것을 확인 후BIOS에서 SATA를 AHCI에서 RAID로 변경 후 연결된 2개의 SSD 250GB 를 RAID 0으로 통합함정상적으로 BIOS에서 보이는 것을 확인 후 Windows에서 디스크 추가시 보이지 않는 문제 2. 현재 컴퓨터 상황현재 사용 중인 컴퓨터는 CPU : AMD 2700XMB : ASUS X470RAM : 32GBDISK : NVMe 500GB (기 사용 중인 저장장치)여기에 추가로 SSD 250GB 2개를 RAID 0으로 연결하여 사용하려고 했다. 3. 해결 과정인터넷 검색 결과 AMD의 경우 RAID로 묶은 디스크에 Windows 10을 설치 시에 AMD ..

[와사비망고] UHD430 REAL4K HDMI Slim HDR DUAL DP i20/109cm 펌웨어 업데이트nvidia 그래픽카드 드라이버를 업데이트(416.34) 한 후 와사비망고 모니터에 연결한 nvidia 1070와 nvidia titan xp 모델에서 화면 왼쪽에 수직으로 세로줄이 쳐지는 문제가 발생했다. 단 60Hz까지는 정상이나 그 이상에서 발생하는 문제였다. 해결을 위해 와사비망고로 부터 펌웨어 파일을 받아 직접 펌웨어 업데이트를 수행하였다. 안내해 준 메일과는 다소 다른 점이 있어 차후 업데이트를 위해 기록해 둔다. 펌웨어를 저장할 USB가 필요한데 필수로 FAT로 포멧되어야 함. FAT32로 진행하였을 때 업데이트가 0에서 진행되지 않았음. 펌웨어 업데이트 순서는 아래와 같다. 1. ..