강좌 / 팁

기 타 빅데이터 개념과 공부 방법? 필수적으로 알아둬야 할것 같아요

2020.12.26 21:58

elios 조회:1716 추천:2

안녕하세요 (몇장 없는 이미지가 복붙으로 넣었더니 저장될때 사라져서 파일로 다시 첨부합니다.)

 

강좌라기 보다는 팁에 가까운 글로 봐주시면 좋을 것 같습니다.

 

--

우선 재미있는 영상이 있어서 링크 할께요.

 

[인공지능 스피커 비교]

 

https://www.youtube.com/watch?v=EBfOfylYfu0

 

 

--

2020 년은 인공지능 시대!

 
인공지능까지는 알겠는데... 딥러닝(Deep Learning), 머신러닝(Machine Learning) 도대체 뭐야?
 
먼저 머신러닝을 한마디로 정의한다면 인공지능을 구현하는 구체적 접근 방식이라 할 수 있습니다.
기본적으로 알고리즘을 이용해 데이터를 분석하고, 분석을 통해 학습하며 학습한 내용을 기반으로 판단이나 예측을 합니다. 
따라서 의사결정 기준에 대한 구체적인 지침을 소프트웨어에 직접 코딩해 넣는 것이 아닌, 대량의 데이터와 알고리즘을 통해 컴퓨터 자체에 '학습'시켜 잡업 수행 방법을 익히는 것입니다.
 
딥러닝은 머신러닝의 한 분야로 불과 8 년 전에 개발된 새로운 패러다임입니다.
machine learning 과 deep learning 은 컴퓨터가 스스로 학습한다는 점에서는 동일하지만 과정에서는 완전히 차이가 있습니다.
deep learning 은 인간 두뇌 신경망 구조를 모방한 인공신경망에 바탕을 둔 기술입니다. 인간의 뇌는 신경세포 집합으로 수 만개로 연결된 신경세포(뉴런)끼리 신호를 주고받으며 사물을 인식하고 정보를 처리합니다. 
즉, 인간의 뇌 구조를 모방한 인공신경망을 이용해 수많은 데이터에서 패턴을 발견하고 구분합니다.
 
01.jpg

 

machine learning 과 deep learning 의 개념 비교 / 출처: 한국 과학기술기획평가원 
 
머신러닝은 데이터 특징에 대한 정보를 사람이 직접 제공해 주지만 딥러닝은 특징을 스스로 파악해 분류합니다. 
 
예를 들어 고양이와 개 사진을 구분해야 할 때 머신러닝은 고양이와 개를 각각 표시해 사진 또는 영상 데이터를 제공하지만, 딥러닝은 전혀 표시가 없는 사진 또는 영상을 분석해 무엇이 고양이 또는 개인지 스스로 판단할 수 있습니다.
 
딥러닝의 적용 분야는?
 
Deep Learning 기술은 다양한 산업 분야에 적용, 활용됩니다. 
특히 이미지 인식 분야에서 두각을 나타냅니다. 페이스북은 2014 년부터 이 기술을 적용한 딥페이스 서비스를 선보였습니다. 페이스북 사용자가 과거에 올린 사진과 태그를 학습해 새로운 사진을 올리면 유사한 얼굴을 인식, 이를 알려주는 서비스를 제공합니다. 이 기술을 이용한 이미지 인식률은 97.35%로 사람의 평균 인식률 97.5% 수준까지 발전했습니다. 
그리고 다양한 서비스 추천 기능에도 사용됩니다. 
 
인터넷 쇼핑몰 사이트에 이 기술을 적용해 상품 추천 서비스를 만듭니다. 애플뮤직,스포티파이 등 음악 서비스도 마찬가지입니다.  
개인화된 음악 추천 서비스, 라디오 서비스가 이 기술을 활용해 탄생했습니다. 
금융 분야에서도 아주 유용한 기술입니다. 미국 온라인 결제 서비스 페이팔은 이상 금융거래 탐지시스템(FDS)에 기술을 적용해 온라인 결제 패턴을 분석한 후 범죄 여부까지 분류합니다. 대량의 데이터를 분석해 주가나 기업 부도까지 예측 가능합니다. 
 
인간 고유의 영역으로 생각되는 창작 분야에도 이 기술이 적용됩니다. 
구글 딥드림은 이 기술을 이용해 추상적 그림을 그려내는 생성기 서비스를 만들었습니다.
 
작곡이나 음악 창작 분야에도 Deep learning 기반 알고리즘을 이용해 코드 진행이나 리듬 패턴 등을 만들 수 있습니다. 
앞으로 딥러닝은 지금보다 더 많은 분야에서 활용될 것으로 예상됩니다. 
전문가들은 수 년 내 이미지나 숫자가 아닌 음성과 촉감 등 다양한 인식 기술이 발달하면서 인간과 커뮤니케이션 하거나 손님 접대 업무까지 수행하는 로봇이 등장한다고 예상합니다.  
가사, 간병, 감정노동 서비스 분야에서도 이 기술을 적용한 로봇 등장 가능성이 높습니다. 
2025 년 이후에는 대화의 상황 판단과 문화적 맥락 등에 대한 이해가 넓어지면서 통번역 서비스가 지금보다 월등히 좋아질 것으로 예상됩니다. 2030 년 이후에는 인간 지식에 대한 이해와 판단 능력이 보다 향상되면서, 교육, 화이트칼라 직업 등 인간 고유 업무 영역까지도 딥러닝과 AI 기술이 확산될 것으로 예상됩니다.
 
--
 
2020년 현제 우리나라 빅데이터에 사용되는 프로그래밍 언어는 실무에서는 R 을 주로 사용 하고 있다고 알고 있어요.
 
그리고 구글에서 파이썬(python)을 밀고 있어서 파이썬도 함께 공부를 해둬야 하는 것 같습니다.
 
언어 프로그램도 그렇고, 빅데이터 소스도 개인이 사용 할 때 무료로 제공 되기 때문에 좋은데요 위 두 프로그램도 그렇습니다.
 
동국대 교수님이 기본 문법에 대해서 사이트에 강좌를 올려두신게 있으니 링크 해드립니다.
 
파이썬 -> http://bigdata.dongguk.ac.kr/www/lectures/Python/_book/
 
R -> http://bigdata.dongguk.ac.kr/www/lectures/R/_book/
 
  R 동영상 강좌 -> https://www.youtube.com/watch?v=Vy0Z_dKvwvI&list=PLaqQvlCBe8vL739pc-jESsucndheGmQIZ
--
 
Tips.
 
빅데이터 분석에서 핵심은 featuring 이라고 알고 있습니다.
 
대표적?인 분석 절차를 보면
 
파이썬에서 데이터 분석 절차는
1. Domain Understanding - 대상 분야 이해
2. Data Understanding - 데이터 이해
3. Data Exploration - 데이터 탐색
4. Data Preparation - 데이터 준비
5. Model Planning - 모델 기획
6. Model Building - 모델 수립
7. Communicate Results - 결과 토의
8. Operationalize - 사내 시스템 적용
 
순으로 되고요, 
 
R에서 주로 사용 되는 데이터 분석 절차로는
02.jpg

 

방식으로 분석을 하는데요

 
적절한 데이터를 찾아서(또는 기존 데이터를 가공해서) 적용해야 신뢰성있는 데이터를 뽑아낼 수 있기 때문이죠.
(이 작업의 반복을 거치고 거쳐서 나온 결과에 대해서 토의를 하고 적용을 합니다.)
 
그 단계가 바로 피쳐링(featuring)이라고 합니다.
 
쉽게 주위에서 볼 수 있는건 음악에서 feat.아무개 라고 볼 수 있는데 여기서 feat가 피쳐링이죠.
 
--
참..
 
저도 빅데이터 속성과정으로 들은거라(3주 과정에서 하루 남았는데 파이썬 느릿으릿 따라간다 싶었는데 R 과정에서는 더 바보된듯 헷깔리게 돼서)
초보입니다.
 
한참 전부터 프로그래밍도 대부분 오픈소스 방식이라지만 학원에서 배우고 싶으신 분은 국비지원 무료 과정으로 가르쳐주는 곳도 많은데요,
학원에서 배우시려면 원래 학원을 잘 선택 하셔야 해요.
번호 제목 글쓴이 조회 추천 등록일
[공지] 강좌 작성간 참고해주세요 gooddew - - -
4309 윈 도 우| 윈도우 업데이트 다운로드 및 설치 오류 조치 [6] 미스라 3604 5 02-17
4308 소프트웨어| (ver 0.2.3, url 파일기능) 크롬/엣지에서 URL 드래그 드롭... [7] 메리아 2863 10 02-16
4307 모 바 일| 뉴진스 음악에서 보컬만 추출하기? 이거 하나면 끝!!! | mp... toz21 1884 0 02-14
4306 윈 도 우| IE 강제 실행 스크립트 + 탭 여러개 열기 [6] 녹색조각 2592 14 02-14
4305 기 타| 파이어 폭스 무설치 만들기 [17] 슈머슈마 1547 9 02-12
4304 윈 도 우| 향상된 윈도우 자동 로그인 On/Off 스크립트 [6] zerojiddu 2704 13 02-11
4303 소프트웨어| 현존 최강 무료 동영상 편집기 소개 및 활용법 안내 | 이게... [13] toz21 2648 7 02-11
4302 소프트웨어| Pecmd.ini 위치를 Windows폴더로 이동 [6] 카멜 745 10 02-10
4301 소프트웨어| (ver 0.2) 크롬/엣지에서 URL 드래그 드롭으로 제목 얻기 [11] 메리아 1030 12 02-08
4300 윈 도 우| 파일을 디펜더가 차단할때, 파워쉘로 허용시키기 [7] zerojiddu 1720 14 02-06
4299 윈 도 우| 강제로 Internet Explorer 열기 스크립트 [13] 사랑이7 2801 20 02-05
4298 윈 도 우| 윈도우11 $OEM$소스 및 WinNTSetup 응용 설치! [40] 무월 3441 49 02-03
4297 윈 도 우| 윈도우 부팅시 신용카드 정보를 요구할때 넘어가기 [5] 고장난우주 2398 1 02-01
4296 윈 도 우| 감춰진 모든 고급 전원옵션 표시하기 [4] zerojiddu 2120 13 01-30
4295 윈 도 우| 특정 폴더 내 임의 파일/폴더 선택 배치 함수 [10] 지후빠 684 16 01-29
4294 윈 도 우| 프로그램 필요없이, 윈도우 설치 USB 만들기 [16] zerojiddu 5641 27 01-18
4293 기 타| CMD BAT 를 UTF8 모드로 사용 [13] 입니다 1649 22 01-16
4292 윈 도 우| 폴더 깊이 제한하여 파일,폴더 찾기 배치 함수 [11] 지후빠 1263 15 01-12
4291 윈 도 우| 배치파일 명령어 > nul 2>&1 해석 [6] 컨피그 1226 12 01-11
4290 윈 도 우| BCD 백업 및 복구 프로그램 입니다 [14] 지룡자 2767 41 01-10
XE1.11.6 Layout1.4.8