23강 - 순차 데이터와 순환 신경망

23강 - 순차 데이터와 순환 신경망

학습 로드맵

순차 데이터

텍스트 데이터 - 순서가 의미가 있음.

순환 신경망

순환되는 고리 존재.

앞 샘플의 출력을 재사용할 수 있음.

처리 단계 - 타임 스택

셀 - 순환층. 앞 정보를 기억하고 있다는 의미로 셀이라 함. 하나의 큰 덩어리로 표현.

출력 - 은닉상태라고 함. 이전 타임스택의 샘플을 처리할 때 재사용됨.

활성화함수 - 일반적으로 tanh 사용. tanh를 시그모이드라고 하기도 하는데, S 모양 그래프라 시그모이드!

타임스텝으로 펼친 신경망

완전연결신경망, 합성곱신경망 모두 입력 * 가중치 = 출력

합성곱신경망은 입력의 일부에만 곱해져서 적은 가중치 효율적으로 사용함. 

가중치를 공유한다고 함.

 

타임스택으로 펼침.

타임스택에 따라 가중치 공유함.

 

 

순환 신경망의 가중치

뉴런 - 완전연결신경망

순환층 - 다른 뉴런에도 완전연결

개수가 많아지면 감당불가라 하나의 셀로 표현.

순환 신경망의 입력

샘플 하나라 배치 차원 1, 4개 단어라 4, 3개의 벡터로 표현해서 3

순환층을 통과하면 셀의 뉴런 개수만큼 출력 개수 정해짐.

다층 순환 신경망

마지막 타임스택의 은닉상태만 출력됨.

타임스택이 쌓인다면 이전의 모든 은닉상태가 출력됨.

순환 신경망을 사용한 예측

20개 타임스택, 100개의 단어로 표현.

은닉층 뉴런 개수만큼 출력.

참고 자료

https://www.youtube.com/watch?v=QCh_FqPWEsk&list=PLVsNizTWUw7HpqmdphX9hgyWl15nobgQX&index=23