삶은 계란

밑바닥부터 시작하는 딥러닝 GitHub 저장소 딥러닝 기초 부수기 게시글에 있는 모든 코드는 한빛미디어 출판사의 '밑바닥부터 시작하는 딥러닝(저자: 사이토 고키)' GitHub 저장소에 있는 것을 참고하였다. GitHub 저장소 링크는 아래와 같다. https://github.com/WegraLee/deep-learning-from-scratch GitHub - WegraLee/deep-learning-from-scratch: 『밑바닥부터 시작하는 딥러닝』(한빛미디어, 2017) 『밑바닥부터 시작하는 딥러닝』(한빛미디어, 2017). Contribute to WegraLee/deep-learning-from-scratch development by creating an account on GitHub. ..

딥러닝 기초 부수기 - 합성곱 신경망(CNN) 본 게시글은 한빛미디어 출판사의 '밑바닥부터 시작하는 딥러닝(저자: 사이토 고키)' 도서 내용을 바탕으로 작성하였습니다. 1. 서론 이미지 인식 분야에서 딥러닝을 활용한 기법은 합성곱 신경망(convolutional neural network, CNN)을 기초로 한다. CNN은 이미지 인식과 음성 인식 등 다양한 곳에 사용된다. 2. CNN 전체 구조 지금까지 본 신경망은 계층의 모든 뉴런과 결합되어 있는 완전연결(fully-connected) 형태이다. 이렇게 완전하게 연결된 계층을 Affine 계층으로 구현할 수 있다. CNN은 합성곱 계층(convolutional layer)과 풀링 계층(pooling layer)이 추가된다. 그리고 CNN으로 이미지 ..

딥러닝 기초 부수기 - 학습 관련 기술들 본 게시글은 한빛미디어 출판사의 '밑바닥부터 시작하는 딥러닝(저자: 사이토 고키)' 도서 내용을 바탕으로 작성하였습니다. 1. 서론 신경망 학습에서는 가중치 매개변수의 최적값을 찾는 작업을 수행한다. 이러한 작업에는 여러 최적화 방법이 사용될 수 있다. 이번 게시글에서는 학습과 관련된 기술들에 대해 정리해볼 것이다. 2. 매개변수 갱신 매개변수의 최적값을 찾는 것을 최적화(optimization)라고 한다. 가중치 매개변수의 최적값을 탐색하는 다양한 최적화 기법이 존재한다. 최적화 기법마다 장점과 단점이 존재하므로, 풀고자 하는 문제에 맞게 사용하는 것이 좋다. (1) 확률적 경사 하강법(SGD) 매개변수의 기울기를 구해 기울어진 방향으로 매개변수 값을 갱신하는 ..

딥러닝 기초 부수기 - 오차역전파법(backpropagation) 본 게시글은 한빛미디어 출판사의 '밑바닥부터 시작하는 딥러닝(저자: 사이토 고키)' 도서 내용을 바탕으로 작성하였습니다. 1. 서론 수치 미분은 계산 시간이 오래 걸린다는 단점이 있다. 이러한 단점을 개선한 것이 오차역전파법(backpropagation)이다. 이번 게시글은 이 오차역전파법에 대해 정리한 내용을 담고 있다. 2. 계산 그래프 계산 그래프(computational graph)는 계산 과정을 나타낸 그래프이다. 노드(node)와 에지(edge, 노드 사이 직선)로 표현된다. 예시를 들어 계산 그래프를 표현해보겠다. 1개에 1000원인 물건을 3개 구매했다고 하자. 소비세는 10% 부과된다. 이때의 지불 금액을 구하는 과정을 계..

딥러닝 기초 부수기 - 신경망 학습 본 게시글은 한빛미디어 출판사의 '밑바닥부터 시작하는 딥러닝(저자: 사이토 고키)' 도서 내용을 바탕으로 작성하였습니다. 1. 서론 전 게시글에서는 신경망(neural network)에 대해 알아보았다. 이번에는 신경망 학습에 대해 정리해보겠다. 학습의 의미는 훈련 데이터로부터 가중치 매개변수의 최적값을 스스로 획득하는 것이다. 여기서 학습의 지표로 손실 함수를 사용하는데, 이 손실 함수의 결과값을 가장 작게 하는 가중치 매개변수 값을 찾는 것이 신경망 학습의 목표이다. 2. 신경망 학습의 기본 개념 MNIST 데이터셋은 손글씨 숫자 이미지를 담고 있는 데이터셋이다. 사람은 해당 숫자 이미지의 특징(feature)을 기계한테 알려줘야 한다. 기계는 사람이 알려준 특징을..

딥러닝 기초 부수기 - 신경망(neural network) 본 게시글은 한빛미디어 출판사의 '밑바닥부터 시작하는 딥러닝(저자: 사이토 고키)' 도서 내용을 바탕으로 작성하였습니다. 1. 서론 이전 글에서 보았던 퍼셉트론은 가중치를 사람이 직접 설정해야 한다는 단점이 존재한다. 이를 해결하기 위해 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 신경망(neural network)이 등장한다. 참고로, 신경망은 다층 퍼셉트론이라고 말할 수 있다. 이번 글에서는 신경망의 개념과 처리 과정에 대해 정리해보겠다. 2. 퍼셉트론과 신경망 퍼셉트론에서 신호를 전달하는 방법을 복습하고 신경망과 퍼셉트론(단층 퍼셉트론)의 차이를 알아보자. (1) 신경망(neural network)의 예 위 그림은 2층 신경..