강좌 / 팁

기 타 빅데이터 개념과 공부 방법? 필수적으로 알아둬야 할것 같아요

2020.12.26 21:58

elios 조회:1767 추천:2

안녕하세요 (몇장 없는 이미지가 복붙으로 넣었더니 저장될때 사라져서 파일로 다시 첨부합니다.)

 

강좌라기 보다는 팁에 가까운 글로 봐주시면 좋을 것 같습니다.

 

--

우선 재미있는 영상이 있어서 링크 할께요.

 

[인공지능 스피커 비교]

 

https://www.youtube.com/watch?v=EBfOfylYfu0

 

 

--

2020 년은 인공지능 시대!

 
인공지능까지는 알겠는데... 딥러닝(Deep Learning), 머신러닝(Machine Learning) 도대체 뭐야?
 
먼저 머신러닝을 한마디로 정의한다면 인공지능을 구현하는 구체적 접근 방식이라 할 수 있습니다.
기본적으로 알고리즘을 이용해 데이터를 분석하고, 분석을 통해 학습하며 학습한 내용을 기반으로 판단이나 예측을 합니다. 
따라서 의사결정 기준에 대한 구체적인 지침을 소프트웨어에 직접 코딩해 넣는 것이 아닌, 대량의 데이터와 알고리즘을 통해 컴퓨터 자체에 '학습'시켜 잡업 수행 방법을 익히는 것입니다.
 
딥러닝은 머신러닝의 한 분야로 불과 8 년 전에 개발된 새로운 패러다임입니다.
machine learning 과 deep learning 은 컴퓨터가 스스로 학습한다는 점에서는 동일하지만 과정에서는 완전히 차이가 있습니다.
deep learning 은 인간 두뇌 신경망 구조를 모방한 인공신경망에 바탕을 둔 기술입니다. 인간의 뇌는 신경세포 집합으로 수 만개로 연결된 신경세포(뉴런)끼리 신호를 주고받으며 사물을 인식하고 정보를 처리합니다. 
즉, 인간의 뇌 구조를 모방한 인공신경망을 이용해 수많은 데이터에서 패턴을 발견하고 구분합니다.
 
01.jpg

 

machine learning 과 deep learning 의 개념 비교 / 출처: 한국 과학기술기획평가원 
 
머신러닝은 데이터 특징에 대한 정보를 사람이 직접 제공해 주지만 딥러닝은 특징을 스스로 파악해 분류합니다. 
 
예를 들어 고양이와 개 사진을 구분해야 할 때 머신러닝은 고양이와 개를 각각 표시해 사진 또는 영상 데이터를 제공하지만, 딥러닝은 전혀 표시가 없는 사진 또는 영상을 분석해 무엇이 고양이 또는 개인지 스스로 판단할 수 있습니다.
 
딥러닝의 적용 분야는?
 
Deep Learning 기술은 다양한 산업 분야에 적용, 활용됩니다. 
특히 이미지 인식 분야에서 두각을 나타냅니다. 페이스북은 2014 년부터 이 기술을 적용한 딥페이스 서비스를 선보였습니다. 페이스북 사용자가 과거에 올린 사진과 태그를 학습해 새로운 사진을 올리면 유사한 얼굴을 인식, 이를 알려주는 서비스를 제공합니다. 이 기술을 이용한 이미지 인식률은 97.35%로 사람의 평균 인식률 97.5% 수준까지 발전했습니다. 
그리고 다양한 서비스 추천 기능에도 사용됩니다. 
 
인터넷 쇼핑몰 사이트에 이 기술을 적용해 상품 추천 서비스를 만듭니다. 애플뮤직,스포티파이 등 음악 서비스도 마찬가지입니다.  
개인화된 음악 추천 서비스, 라디오 서비스가 이 기술을 활용해 탄생했습니다. 
금융 분야에서도 아주 유용한 기술입니다. 미국 온라인 결제 서비스 페이팔은 이상 금융거래 탐지시스템(FDS)에 기술을 적용해 온라인 결제 패턴을 분석한 후 범죄 여부까지 분류합니다. 대량의 데이터를 분석해 주가나 기업 부도까지 예측 가능합니다. 
 
인간 고유의 영역으로 생각되는 창작 분야에도 이 기술이 적용됩니다. 
구글 딥드림은 이 기술을 이용해 추상적 그림을 그려내는 생성기 서비스를 만들었습니다.
 
작곡이나 음악 창작 분야에도 Deep learning 기반 알고리즘을 이용해 코드 진행이나 리듬 패턴 등을 만들 수 있습니다. 
앞으로 딥러닝은 지금보다 더 많은 분야에서 활용될 것으로 예상됩니다. 
전문가들은 수 년 내 이미지나 숫자가 아닌 음성과 촉감 등 다양한 인식 기술이 발달하면서 인간과 커뮤니케이션 하거나 손님 접대 업무까지 수행하는 로봇이 등장한다고 예상합니다.  
가사, 간병, 감정노동 서비스 분야에서도 이 기술을 적용한 로봇 등장 가능성이 높습니다. 
2025 년 이후에는 대화의 상황 판단과 문화적 맥락 등에 대한 이해가 넓어지면서 통번역 서비스가 지금보다 월등히 좋아질 것으로 예상됩니다. 2030 년 이후에는 인간 지식에 대한 이해와 판단 능력이 보다 향상되면서, 교육, 화이트칼라 직업 등 인간 고유 업무 영역까지도 딥러닝과 AI 기술이 확산될 것으로 예상됩니다.
 
--
 
2020년 현제 우리나라 빅데이터에 사용되는 프로그래밍 언어는 실무에서는 R 을 주로 사용 하고 있다고 알고 있어요.
 
그리고 구글에서 파이썬(python)을 밀고 있어서 파이썬도 함께 공부를 해둬야 하는 것 같습니다.
 
언어 프로그램도 그렇고, 빅데이터 소스도 개인이 사용 할 때 무료로 제공 되기 때문에 좋은데요 위 두 프로그램도 그렇습니다.
 
동국대 교수님이 기본 문법에 대해서 사이트에 강좌를 올려두신게 있으니 링크 해드립니다.
 
파이썬 -> http://bigdata.dongguk.ac.kr/www/lectures/Python/_book/
 
R -> http://bigdata.dongguk.ac.kr/www/lectures/R/_book/
 
  R 동영상 강좌 -> https://www.youtube.com/watch?v=Vy0Z_dKvwvI&list=PLaqQvlCBe8vL739pc-jESsucndheGmQIZ
--
 
Tips.
 
빅데이터 분석에서 핵심은 featuring 이라고 알고 있습니다.
 
대표적?인 분석 절차를 보면
 
파이썬에서 데이터 분석 절차는
1. Domain Understanding - 대상 분야 이해
2. Data Understanding - 데이터 이해
3. Data Exploration - 데이터 탐색
4. Data Preparation - 데이터 준비
5. Model Planning - 모델 기획
6. Model Building - 모델 수립
7. Communicate Results - 결과 토의
8. Operationalize - 사내 시스템 적용
 
순으로 되고요, 
 
R에서 주로 사용 되는 데이터 분석 절차로는
02.jpg

 

방식으로 분석을 하는데요

 
적절한 데이터를 찾아서(또는 기존 데이터를 가공해서) 적용해야 신뢰성있는 데이터를 뽑아낼 수 있기 때문이죠.
(이 작업의 반복을 거치고 거쳐서 나온 결과에 대해서 토의를 하고 적용을 합니다.)
 
그 단계가 바로 피쳐링(featuring)이라고 합니다.
 
쉽게 주위에서 볼 수 있는건 음악에서 feat.아무개 라고 볼 수 있는데 여기서 feat가 피쳐링이죠.
 
--
참..
 
저도 빅데이터 속성과정으로 들은거라(3주 과정에서 하루 남았는데 파이썬 느릿으릿 따라간다 싶었는데 R 과정에서는 더 바보된듯 헷깔리게 돼서)
초보입니다.
 
한참 전부터 프로그래밍도 대부분 오픈소스 방식이라지만 학원에서 배우고 싶으신 분은 국비지원 무료 과정으로 가르쳐주는 곳도 많은데요,
학원에서 배우시려면 원래 학원을 잘 선택 하셔야 해요.
https://windowsforum.kr/lecture/14952116 홈으로 위로 목록
홈으로 위로 목록
번호 제목 글쓴이 조회 추천 등록일
[공지] 강좌 작성간 참고해주세요 gooddew - - -
3823 모 바 일| [Tip] 자급제 단말기 맥 주소 등록하세요 [11] asklee 4680 7 12-30
3822 기 타| [인공지능 - Ai] ANN, DNN, CNN, RNN 개념과 차이 [3] elios 1956 4 12-29
» 기 타| 빅데이터 개념과 공부 방법? 필수적으로 알아둬야 할것 같아요 [5] elios 1767 2 12-26
3820 기 타| [2020년 12월 25일] 29가지-기간 한정 새로운 무료 udemy 과정 VₑₙᵤₛG 1588 3 12-26
3819 소프트웨어| Ventoy 대용량 usb/외장하드 부팅 문제 해결 [17] suk 4183 22 12-25
3818 기 타| [2020년 12월23일] 22가지-기간 한정 새로운 무료 udemy 과정 [1] VₑₙᵤₛG 1789 3 12-24
3817 윈 도 우| Hex 비교 및 수정 스크립트 V1.60 (bincmp) [3] 히이이잌 837 8 12-24
3816 윈 도 우| PE 설치 스크립트 V7.31 [13] 히이이잌 3046 22 12-22
3815 윈 도 우| PE 업데이트 스크립트 V1.30 [12] 히이이잌 2626 31 12-20
3814 윈 도 우| PE 수정 스크립트 V3.87 [12] 히이이잌 2686 27 12-20
3813 윈 도 우| 윈도우10 ISO 파일 지원 [4] 번개 2644 2 12-20
3812 기 타| 2021년부터 바뀌는 전기 관련 시행규칙(전압, 전선 색) [11] asklee 2940 7 12-17
3811 윈 도 우| 명령어로 윈도우 모니터 '진짜로' 끄기 [13] 만수무강 3138 11 12-17
3810 윈 도 우| winver.exe 없이 윈도우 버전보기 [6] 네트워크빌 2654 12 12-13
3809 윈 도 우| PC모델명 인식 뒤 드라이버 자동설치 [15] Greinke 3857 15 12-10
3808 기 타| 유튜브 볼륨 컨트롤을 마우스로 편하게 (업데이트) [8] 오호라7 2585 7 12-07
3807 기 타| 자신의 음악성향에 맞게 EQ(이퀼라이저) 설정하기 [10] UCLA 5910 18 12-02
3806 윈 도 우| 기본 앱 브라우저 자동으로변경 [3] Greinke 2591 4 12-02
3805 윈 도 우| 바탕화면에 여러 창으로 가득차 있을때 막 흔들어 주세요 !!! [19] 하늘소 3105 9 12-01
3804 윈 도 우| 한글 윈도우에서의 Cortana의 흔적 [3] 레덕후 2477 0 11-30
홈으로 위로 목록
XE1.11.6 Layout1.4.8