BOX

(1편)tensorflow, keras 내 맘대로 이미지 딥러닝![스마트인재개발원] 현재 교육을 듣고 있는 학원에 프로젝트에 딥러닝을 사용해야 하는 상황이 생겼고 대학교 4학년때 혼자 이상하게 모델을 학습하고 사용했던 기억을 되집어 보며 새로운 마음으로 이미지 딥러닝 rspring41.tistory.com 1편에 이어서 계속 진행 해보았다!! 마지막쯤에 예전에 사용했던 코드를 가져와서 오류가 나는 부분을 고치고 실행 해봤는데 간단한 CNN모델을 적용해서 학습 해보았는데 학습 그래프가 이상하다!!! 띠옹 1. 학습 결과 그래프가 이상해! - 사용된 CNN층 구성도 - 학습 결과 그래프 위에서 학습 결과 그래프를 살펴보면 학습 데이터(train accy)는 파란색, 검증데이터(val acc)는 초록색으로 최..

현재 교육을 듣고 있는 학원에 프로젝트에 딥러닝을 사용해야 하는 상황이 생겼고 대학교 4학년때 혼자 이상하게 모델을 학습하고 사용했던 기억을 되집어 보며 새로운 마음으로 이미지 딥러닝을 시작해본다!! 1. 환경 구성 1. tensorflow 설치 이게 제일 화나고 짜증나고 어렵고 힘들었던 기억이 있다. 라이브러리마다 버전이 있고 서로 버전이 맞아야 하며 우분투 버전도 신경써야한다. 이번에는 새로운 마음으로 우분투20.04를 설치했고 파이썬 3.8환경에서 진행해보려고한다. 4학년 프로젝트때와 동일하게 tensorflow에 keras를 사용하기 위해 tensorflow 2.3버전을 설치했다. (keras는 tensorflow 몇 버전에서 통합된걸로 알고있다.) 2. 내컴퓨터는 GPU가 있다구욧!! 모델 학습..

주어진 특성과 결정 값 데이터에 기반하여, 학습을 통해 최적의 회귀 계수(W, b)를 찾아내는 것 - 어떤게 더 정확한지 비용함수를 이용하여 비교한다. - 선형회귀를 평가하는데 2가지 방법이 사용된다 . RMSI역으로 돌리는 확인 하는것 - 평균제곱오차 계산 (1 / 데이터 개수) * 시그마(실제값 - 예측값)^2 1. 파란색 선 : 1/3 * ((1 - 1)^2 * (2 - 2)^2 * (3 - 3)^2) = 0 2. 빨간색 : 1/3 * ((1 - 0.5)^2 * (2 - 1)^2 * (3 - 1.5)^2) 1/3 (0.25 + 1 + 2.25) = 1.167 Linear Model 장점 - 결과예측 속도가 빠르다 - 대용량 데이터에도 충분히 활용 가능하다 - 특성이 많은 데이터 세트라면 훌륭한 성능..

Decision Tree Ensemble (결정 트리 앙상블) 배깅(Bagging)과 부스팅(Boosting) 배깅 : 평행적인 앙상블 모델 부스팅 : 순차적인 앙상블 모델 RandomForest - 서로 다른 방향으로 과대적합된 트리를 많이 만들고 평균을 내어 일반화 시키는 모델 - 다양한 트리를 만드는 방법 두 가지 -> 트리를 만들 때 사요하느 ㄴ데이터 포인트 샘플을 무작위로 선택한다 -> 노드 구성시 기준이 되느 특성을 무작위로 선택하게 한다. 파이썬에서 매개변수 - 생성할 트리의 개수 : n_estimators - n개의 데이터 부트스트랩 생플 구성 (n개의 데이터 포인트 중 무작위로 n횟수만큼 반복, 추출, 중복된 데이터가 들어 있을 수 있다.) - 무작위로 선택될 후복 특성의 개수 : max..

Decision Tree(결정트리) - Tree를 만들기 위해 예/아니오 질문을 반복하며 학습한다. - 다양한 앙상블(ensemble)모델이 존재한다 (RandomForest, GradentBoosting, XGBoost, LighGBM) (앙상블 : 여러 개의 분류기를 생성하고, 그 예측을 결합하여 정확한 더욱 좋은 예측을 도출하는 기법) - 분류와 회귀에 모두 사용 가능 - 타킷 값이 한 개인 리프 노드를 순수 노트라고 한다. - 모든 노드가 순수 노드가 될 때 까지 학습하면 복잡해지고 과대적합이 된다. - 새로운 데이터 포인트가 들어오면 해당하는 노드를 찾아 분류라면 더 많은 클래스를 선택하고, 회귀라면 평균을 구한다. 장단점 및 주요 매개변수 - 트리의 최대 깊이 : max_depth (값이 클수..

재현율 : classification_report 정밀도 정확도 : metrics 라이브러리 score 학습 모델 생성시 하이퍼파라미터는 K(근접점) 개수 이다. from sklearn.neighbors import KNeighborsClassifier knn = KNeighborsClassifier(n_neighbors = 4) K가 적을수록 모델이 복잡해지고 높을수록 단순해진다.

▶ 머신러닝 - 기계학습 1. 설명 - 데이터 기반 학습 - 인공지능의 한 분야. 컴퓨터가 학습할 수 있도록 알고리즘, 기술 개발 - 통계, 데이터 마이닝, 컴퓨터 통계 2. 종류 - 지도학습 : 데이터 + 답을 이용해서 규칙을 찾는다 - 비지도학습 : 데이터만 가지고 규칙을 찾는다. - 강화학습 : 결과에 따라 점수 부여 - 이진 분류, 다중 분류(숫자) ▶ 지도학습 1. 분류 : 미리 정의된 정답 중 예측 -> 입력 ( 속성), 출력 -> 클래스 값 2. 회귀 : 연속적인 숫자 예측 예측값의 작은 차이가 주요하지 않다. ▶ 머신러닝 단계 1. 닭 볶음탕(문제 정의) 2. 데이터 수진(닭 볶음탕) 3. 데이터 전처리 (재료 손질) 4. DEA(탐색전 데이터 분석, 시각화) 5. 모델(알고리즘 `=. 머..

▶ AI란 - 기계가 인간처럼 판단하고 행동하도록 인간을 모방하는 기술 ▶ 머신러닝 - AI를 구현하기 위해 특성(데이터)과 라벨(답)을 각각 입력과 출력으로 주어서 입출력간에 규칙, 수식을 기계가 찾아내게 하는것 - > 수학적 도구(거리단계단, 방정식, 확률, 통계식 등등) 특성들 --> why --> 라벨 (x) (수식, 규칙) (y) - 특성 데이터(x) : 입력 데이터 -> 범주형 데이터 : 크기를 갖지 않는 숫자(기호, 문자) -> 수치형 데이터 : 크기를 찾는 숫자 -> 범주형 데이터의 값이외 종류 - 라벨데이터(y) : 출력데이터 ▶ 딥러닝 - 신경망을 활용, 선형회귀 + 로지스틱회귀 - 학습 : 규칙, 수식을 찾는 과정 - 모델 : 찾아진 규칙, 수식 - 추론 : 모델을 이용해서 새로운 입..

지도, 비지도, 강화 머신러닝 종류 - 수치형(연산가능, 연속성) - 번주형(문자, 숫자) 라벨이 회귀분석 : 수치형 데이터 분류 분석 : 범주형 데이터로

▶ Big Data란 ▷ 양, 속도, 종료에 3가지 요소(3v)를 가지고 있으며 정형데이터와 비정형데이터로 나누어져 있다. - 정형데이터 : 양, 크기 등에 어떠한 기준으로 정리되어 있는데이터 (수치, 표...) - 비정형데이터 : 정리되어 있지 않은 데이터 (노래, 영상..) - 반정형데이터 : -생략- ▶ Big Data 분석 ▷ 자료를 분석하여 결과를 도출한 다음 이 결과를 이용하여 예측 또는 판단하여 어떠한 행위를 하게 하는것, 기존 데이터베이스 관리도구의 능력을 넘어 대량의 정형+비정형 데이터에서 가치를 추출하고 결과를 분석하는 기술 - 데이터 마이닝 : 데이터를 분석하여 가치를 추출하는것 - 텍스트 마이닝 : 텍스트 데이터를 분석하여 가치를 추출한것 ▶ Reportion & ▷데이터 전처리 -..