Study/Etc.

AR, UI, AT

빨간당무 2010. 6. 15. 19:58
■ AR (Augment Reality; 증강 현실)
├ User Interface (UI)
└ Authoring Technique (저작 기술(제작 기술))


■ 증강 현실(Augmented Reality, AR)은 가상 현실(Virtual Reality)의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
다르게 설명하자면 "사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 하나로 합쳐 영상을 보여주는 가상현실"이다.

아즈마의 정의에 따르면 증강 현실 시스템이란, 
  • 현실(Real-world elements)의 이미지와 가상의 이미지를 결합한 것.
  • 실시간으로 인터랙션(interaction)이 가능한 것.
  • 3차원의 공간 안에 놓인 것. (Azuma, 1997)

관련 장치 및 기술
  1. 위치 인식 : 공간 추적 장치, 사용자 센서 감지, 환경 인식
  2. 생체 인식 : 동작 인식 미세 조작, 사용자 전자기 감지
  3. 인공 지능 : 다양한 SW 반응, 성장 시스템, Profile 분석
  4. 오감 구현 : HMD, 3D audio, 하프틱, 전자코, DataGlove
  5. 모바일 기술 : 모바일 증강 현실에서 사용됨 - Wimax / LTE /MARS / DWARF 등


■ User Interface (UI; 사용자 인터페이스)
사람(사용자)과 사물 또는 시스템, 특히 기계, 컴퓨터 프로그램 등 사이에서 의사소통을 할 수 있도록 일시적 또는 영구적인 접근을 목적으로 만들어진 물리적, 가상적 매개체를 뜻한다. 사용자 인터페이스는 사람들이 컴퓨터와 상호 작용하는 시스템이다. 사용자 인터페이스는 물리적인 하드웨어와 논리적인 소프트웨어 요소를 포함한다. 사용자 인터페이스는 크게 다음과 같은 수단을 사용한다. 

입력: 사용자가 시스템을 조작할 수 있게 한다.
출력: 시스템이 사용자가 이용한 것에 대한 결과를 표시한다.

사용자 인터페이스를 판단하는 기준으로 사용성이 있다. 좋은 사용자 인터페이스는 심리학 생리학에 기반하여, 사용자가 필요한 요소를 쉽게 찾고 사용하며 그 요소로부터 명확하게 의도한 결과를 쉽게 얻어 낼 수 있어야 한다.


위 그림은 영화<마이너리티 리포트>에 나오는 장면으로, 센서가 부착된 장갑을 착용하고 공간내에서 손가락으로 정보를 다루는 포스처(Posture) 기법입니다. 이보다 진보된 형태로는 영화<아이언맨>에 주인공이 로봇팔을 설계하고 만들때 입체영상을 손에 아무것도 부착하지 않은 상태로 다루는 모습을 볼수 있습니다. 아래 그림.





UI를 고려할 때 중요한 개념이 사용성(Usability)이 있다.
사용자의 사용환경을 면밀히 관찰하여 우선 불편한 점, 문제점을 찾아내고 이를 체계적으로 개선하여 감동시키는 것이 필요합니다.
그리고 모든 디자인영역에 걸쳐 UX (User eXperience; 사용자 경험)가 관여한다.


= 시각용 AR 인터페이스 사례
① PC 등의 디스플레이, ② 휴대폰, ③ 안경 형태의 디스플레이인 HMD(Head Mounted Display), 그리고 ④ 프로젝터의 크게 네 가지로 나눌 수 있다. 모두 카메라를 센서로 이용하며, 일정 수준 이상의 화상 처리기능을 갖추고 있다.
① 디스플레이는 향후에는 각 가정의 화장대 역할을 겸하게 될 지도 모른다. 도쿄대학대학원 정보학환의 주니치 레키모토(Junichi Rekimoto) 교수는 "디스플레이는 AR 기능을 갖춘 일종의 거울로 이용할 수 있다. 자신의 모습에 가공 정보를 겹쳐 표시함으로써 예컨대 메이크업과 의상이 어울리는지 여부를 시뮬레이션 해보거나 타이거 우즈의 골프 스윙 자세와 자신의 자세를 비교해 볼 수도 있다"고 설명했다. 

② 휴대폰은 현재 가장 보급 가능성이 높은 AR 인터페이스이다. 고기능 제품 중에는 카메라와 GPS 기능, 지자기 센서, 가속도 센서를 탑재한 제품도 등장한 상태인데, 최근에는 GPS 정보를 기반으로 네트워크상의 각종 정보를 이러한 휴대폰 단말기의 디스플레이에 표시할 수 있도록 하는 소프트웨어 개발이 계속되고 있다.

= AR로 하드웨어를 대체한 사례
HMD(③)와 프로젝터(④) 같은 AR 인터페이스가 보급되면 디스플레이(①)와 휴대폰(②) 이상으로 생활에 커다란 변화가 일어날 가능성이 있다

= VeinViewer(베인뷰어): technology on varicose veins treatment
- 적외선 카메라를 이용하여 정맥 영상을 화상처리한 후 인체에 겹쳐 보이게 함
- 장치 : PC, 적외선 카메라, 빔프로젝트
- 입력 : 적외선 동영상
- 출력 : 동영상 (빔프로젝트 이용)


= Mini Augmented Reality
- 마커를 이용하여 3D 구현 - 잡지 -
- 장치 : PC, 캠
- 입력 : 동영상, 마커(각도에 따른 영상 처리)
- 출력 : 3D 영상
http://www.youtube.com/watch?v=HTYeuo6pIjY&feature=player_embedded


= iQ Toyota Augmented Reality Tech
- 마커를 이용한 3D 구현 - 마커의 각도에 따른 이벤트 발생으로 3D 영상 컨트롤
- 장치 : PC, 캠
- 입력 : 동영상, 마커(각도에 따른 영상 처리)
- 출력 : 3D 영상

= Speed portrait in iPhone Brushes app
- 멀티 터치를 이용한 그림 그리기
- 장치 : 스마트폰
- 입력 : 멀티 터치
- 출력 : 그림
http://www.youtube.com/watch?v=5iv5dDGjUXI&feature=player_embedded


= AR Portal AR Vidieo-in-Video effects
- Video 변환?
- 장치 : PC, 캠
- 입력 : 동영상, 마커(각도에 따른 영상 처리)
- 출력 : 동영상
http://www.youtube.com/watch?v=kd0rCu3teb8&feature=player_embedded


= Gizmondo Augmented Reality Game
 - 증강현실을 이용한 게임, 마크 이용, 사용자 입력(버튼)에 대한 방법은 알 수 없음
- 장치 : PC, 캠
- 입력 : 동영상, 마커(각도에 따른 영상 처리), 손가락 입력(명확하지 않음? 오른쪽 하단 메뉴를 엄지손가락을 이용함)
- 출력 : 동영상

http://www.youtube.com/watch?v=Lfp8id6bpDU&feature=player_embedded

= iPhone Augmented Reality navigation
- 아이폰 어플리케이션 증강현실 네이게이션, 캠으로 이동할 위치 입력, 음성과 영상으로 사용자에게 정보 전달
- 장치 : 스마트폰
- 입력 : 사진, 동영상, 멀티 터치, GPS
- 출력 : 동영상, 3D 혹은 2D, 음성, 텍스트

http://www.youtube.com/watch?v=rgXzdUb_fug&feature=player_embedded

= Nearest Tube Augmented Reality App for iPhone 3GS from acrossair
- 스마트폰에 입력되는 화면에 거리의 정보를 보여줌, 캠과 영상으로 사용자에게 정보전달
- 장치 : 스마트폰
- 입력 : 동영상, 멀티 터치, GPS, G센서
- 출력 : 동영상, 2D, 텍스트

http://www.youtube.com/watch?v=U2uH-jrsSxs&feature=player_embedded

= 에그몬(Eggmon)
- 바코드 인식 기술을 이용하여 상품의 정보, 최저가 목록, 북마킹 목적으로 사용되는 앱
- 장치 : 스마트폰
- 입력 : 동영상, 멀티 터치
- 출력 : 텍스트

스캔서치(Scansearch)
- 지역정보 서비스
- 장치 : 스마트폰
- 입력 : 동영상, 멀티 터치, GPS, G센서
- 출력 : 동영상, 2D, 텍스트, 지도

아이니드커피(iNeedCoffee) / 가까운 약국 정보(arpharm) / WorkSnug
- 가까운 커피전문점/약국/일할수있는장소에 대한 정보와 위치와 방향,
- 장치 : 스마트폰
- 입력 : 동영상, 멀티 터치, GPS, G센서
- 출력 : 동영상, 2D, 텍스트, 지도
ar_006.jpg
http://www.youtube.com/watch?v=0z_Q3yl4NjM&feature=player_embedded

Funny Tour Ganghwado / Beijing Discovery AR
- 여행 정보 서비스 (지역 정보 서비스와는 조금 차이가 있음)
- 장치 : 스마트폰
- 입력 : 동영상, 멀티 터치, GPS, G센서
- 출력 : 동영상, 2D, 텍스트, 지도

ar_007.jpg

Hidden Park
- 주변의 실제 공원을 찾아가는 중에 생기는 모험을 다룬 유아용 게임
- 장치 : 스마트폰
- 입력 : 동영상, 멀티 터치, GPS
- 출력 : 동영상, 2D, 텍스트

= 빈폴진 AR
- 빈폴진에서 제작한 양방향성(Interactive)한 AR 프로그램 (마커를 자체 로고로 사용함)
- 장치 : PC, 캠
- 입력 : 동영상, 마커(마커 각도 및 특정 마커를 가림으로써 사용자에게 별도 입력을 처리함)
- 출력 : 동영상, 3D
http://www.youtube.com/watch?v=2DtR7GlY6Y0&feature=player_embedded

= 아디다스 AR
- 아디다스 제작한 AR 프로그램 - 정보 전달과 게임 (신발에 마커를 부착함)
- 장치 : PC, 캠
- 입력 : 동영상, 마커(각도에 따른 영상 처리)
- 출력 : 동영상, 3D


= AR 사례 조사 (일본 웹)
- 가장 많은 내용을 모아 두지 않았나 싶다. (일본어에 약한 분은 구글 번역기를 이용)
- 내가 봤을 때만 하더라도 69개의 AR 사례 조사 내용이 있었음

= ARToolKit (참고사항)

■ Authoring Technique (저작 기술(제작 기술))
Authoring Techniques for Device Independence
Authoring Scenarios for Device Independence
Authoring Tool Accessibility Guidelines 2.0
A Single-Authoring Technique for Building Device-Independent Presentations
An Authoring Tool for Mobile Phone AR Environments
AMIRE authoring mixed reality - 플랫폼
Graphical Tangible User Interface for a AR Authoring Tool in Product Design Environment
User Interface Markup Language (UIML) Specification
Immersive Authoring of Tangible Augmented Reality Applications
Tiles: A Mixed Reality Authoring Interface
Authoring Mixed Reality once, run it anywhere

The Reality of Augmented Reality

Live From ISMAR ’08: Augmented Reality Demo Round Up



■ VR(Virtual Reality)? AV(Augmented Viruality)? AR(Augmented Reality)? MR(Mixed Reality)?
- AR이란 도대체 무엇인가? 인간이 실제로 보고, 듣고, 만질 수 있는 정보에 컴퓨터로 가공 처리한 정보를 실시간으로 합성해 인간의 감각을 확장 또는 증강하거나 작업을 돕는 기술을 말한다.
- VR이 실제 정보, 예컨대 시각 정보를 모두 컴퓨터 그래픽 등의 가상 정보로 대체하려고 하는데 반해, AR은 현실 정보를 기반으로 하고 여기에 가상 정보를 추가할 뿐이다. 그만큼 가상 정보의 비율이 낮다. 


■ 가상 현실 (Virtual Reality)
컴퓨터를 이용하여 만들어낸 가공의 상황이나 환경을 사람의 감각기관을 통해 느끼게 하여 사용자가 몰입감을 느끼고 상호작용하게 하는 기술을 말한다.
세 가지 요소 : 3차원의 공간성, 실시간의 상호작용성, 자기 투사성
인터페이스 : 주로 시각, 청각 이용하지만, 촉각, 힘의 감각, 전정 감각 등, 다양한 인터페이스(멀티모덜 인터페이스)를 이용함


■ 멀티모덜 인터페이스
시청각 이외의 커뮤니케이션 모드를 이용한 사용자 인터페이스를 가리킨다. 촉각이나 힘의 감각, 전정 감각, 후각 등이 이용된다. 컴퓨터 조작이라는 특별한 환경에서는 키보드마우스 이외의 인터페이스를 이와 같이 부른다. 가상현실에서는 시청각 이외의 인터페이스 모드가 적극적으로 이용된다.


■ 복합현실 (mixed-reality)
위 사진은 가까이 가서 만지고 얘기를 걸 수 있는 가상 휴머노이드다. 즉, 복합현실 시스템을 지닌 한 쌍의 동기화된 로봇 아바타다. 특수 머리 부착형 디스플레이 HMD를 통해 로봇위에 덧씌워진 아바타를 볼 수 있으며 마치 살아있는 컴퓨터상의 인물처럼 보인다. 
http://www.youtube.com/watch?v=s-hg4qCaR74&feature=player_embedded


■ TUI (Tangible User Interface) 
'Tangible'이란 '만질 수 있다'는 의미로, TUI는 손가락 등의 움직임을 다양하게 이용한 직감적인 사용자 인터페이스의 개발을 목표로 한 개념이다. MIT 미디어 랩의 히로시 이시이(Hiroshi Ishii) 교수가 처음 제창했다.
위 사진의 하단은 메스의 끝 부분에 광센서를 부착하여 달걀의 흰자와 노른자의 경계를 인식하는 장면


 QR 코드
QR코드(QR code)는 흑백 격자 무늬 패턴으로 정보를 나타내는 매트릭스 형식의 이차원 바코드이다.