질문 있습니다. 동영상 내용중에 RNN의 출력 y와 다음 타임스텝으로 가는 히든 state ht 가 동일하다고 하셨는데, y 와 ht는 다른 값이 아닌가요? 김성 교수님의 RNN 설명에서는RNN 출력 y를 구하기 위해 Wyh 가중치가 있는 걸로 봐서요.. 그래서 RNN 출력 y와 hidden state ht는 다른 값이 될 것 같은데... 제가 잘못 이해 한건가요?
영상 감사합니다. 궁금한게 있는데 RNN의 특성상 Whh의 값을 일정하게 해주는 것은 이해가 갔습니다. 그런데 인풋 x1, x2, x3가 들어가는 레이어의 각각의 가중치(Wxh)는 다르게 조절돼있어야 하는거 아닌가요?ㅠㅠ CNN같은 경우에도 컨볼루션 필터마다 가중치들을 다르게해서 classification하기에 여쭤봅니다.
RNN은 셀 하나를 가지고 재사용하는 것이라 한개의 Wxh만 가지고 있어요. 입력값 x1, x2, x3를 공통된 가중치로 계산하는 것은 단순히 현재 입력값을 동일한 함수로 처리한다는 의미로 받아들이시면 될 거 같습니다. 물론 입력값 곱하기 Wxh의 값은 입력값이 다르기 때문에 다 다릅니다.
설명 너무 좋네요.. 다른 곳에서의 rnn 설명에 심히 지쳐가고 있었는데 사이다같은 강의입니다.. 한가지 의문이 있습니다. Whh는 time step마다 값이 변하는거죠? (즉 I를 처리한 후와 work를 처리한 후의 Whh는 값이 다르지 않냐는 겁니다. 그래프에도 그리되어져 있고 또 그래야 이전 상태를 전달할 수 있으니...) 만약 그렇다면 파라메터를 공유한다는 의미가 퇴색되는 것 같기도 한데요... 조언 부탁드립니다. 감사합니다
분류할 항목이 2개인 문제는 모두 binary classification입니다. 2개 이상으로 분류해야 할 경우는 다중 분류(multi class classification)입니다. 좋다/나쁘다의 loss가 약해보이시면 다른 방법도 연구해보시는 것도 참 좋은 방법입니다. loss가 약할 시 요새 트렌드인 멀티 태스크 러닝도 한번 생각해보시면 좋을 것 같습니다.
좋네요. 두가지 질문, 1) back-propagation though time을 할 때 미분치를 어떻게 계산하는 건가요? 특히 센티멘트 분석과 같이 몇차례 forward 를한후에 한번 back-propgation을 하면 중간값은 어찌 되나요? forward 하면서 값이 변화 될 텐데. 미분값이 달라져야하지 않나요? 2) hidden 변수는 실제로는 Vector 인가요? 입력도 실제로는 on-hot encoding 벡터 이 구요? 그러면 W와 b가 모두 매크릭스와 벡터가 되야하는데. 그런설명이 없네요. hidden 벡터의 크기는 얼마 정도가 되나요?
미분 계산은 아래 링크에서 설명했는데 도움이 될 거 같습니다. 1:30 정도입니다. th-cam.com/video/bX6GLbpw-A4/w-d-xo.html 중간값들 모두 벡터이며, 벡터의 사이즈는 구현자가 결정합니다. 입력값 역시 구현자가 원 핫 인코딩을 아니면 다른 이미 학습된 임베딩을 쓸지 결정합니다.
항상 좋은 강의 감사합니다!! 보다가 궁금한점이 생겨서 혹시 몇 가지 질문드려도 괜찮을까요? 1. cell = hidden state = hidden layer라고 생각해도 괜찮을까요? 2. 1번이 맞다면 CNN처럼 hidden state 안에 여러 노드들이 들어있는 건가요? 3. CNN에서 hidden layer를 추가하는 행위가 RNN에서 hidden state를 추가하는 것과 같은건가요? 감사합니다!
Hidden state는 셀의 리턴값입니다. 셀 안에는 hidden state를 출력하기 위해 가중치, 편향값, 활성화함수 등이 있습니다. Hidden layer는 여러개의 cell로 구성됩니다. CNN에서 히든 레이어를 추가하는 것은 rnn에서 히든 레이어를 추가하는 것과 비교 할 수 있어요.
![[딥러닝] LSTM 쉽게 이해하기](http://i.ytimg.com/vi/bX6GLbpw-A4/mqdefault.jpg)
![[딥러닝] LSTM 쉽게 이해하기](/img/tr.png)
![[핵심 머신러닝] Recurrent Neural Networks and Attention (Introduction)](http://i.ytimg.com/vi/pjw7yfpk2jc/mqdefault.jpg)
![[Legend 13] ResNet의 Skip-connection 제대로 이해하기!](http://i.ytimg.com/vi/Fypk0ec32BU/mqdefault.jpg)
논문 읽다가 RNN이 뭔지 알고자 검색했는데 진짜 쉽고 간결하게 자세히 설명해주셔서 이해가 잘 됐네요 정말 감사합니다.
분명 1년전 처음 들었을때 어렵다고 생각했었데 공부후에 다시 들어보니 정말 너무 쉽게 잘 설명해주신다는걸 알게되었습니다.
강의를 들으면서 이해가 잘 되어서 행복한 경험은 처음인것 같아요, 너무 좋은 강의 감사합니다. ㅠㅠ
와 진짜 설명이 너무 쉽고 좋아요 감사합니다
설명 깔끔해서 너무 좋네요!
감사합니다.
좋은 영상 감사합니다.
예제가 정말 와닿네요. ㅎㅎ
좋은 강의 감사합니다
이시대의 현자. 감사합니다
딥러닝 관련 영상 더 많이 올려주세요ㅠㅠ
RNN은 딥러닝이 아니라는 주장도 있습니다. 실제로 RNN은 신경망에 콘볼루션이 쓰이기 훨씬 전부터 존재했던 기술이죠. 어찌 생각하시나요?
좋은 영상 감사합니다!
감사합니다...
질문 있습니다. 동영상 내용중에 RNN의 출력 y와 다음 타임스텝으로 가는 히든 state ht 가 동일하다고 하셨는데, y 와 ht는 다른 값이 아닌가요? 김성 교수님의 RNN 설명에서는RNN 출력 y를 구하기 위해 Wyh 가중치가 있는 걸로 봐서요.. 그래서 RNN 출력 y와 hidden state ht는 다른 값이 될 것 같은데... 제가 잘못 이해 한건가요?
두개의 값은 동일합니다. 실제 텐서플로로 구현하셔서 두개의 값이 같은 걸 확인하실 수 있어요. 아래 영상과 거기에 연결된 코랩 실습코드로 실습하시면 도움되실거 같습니다.
th-cam.com/video/esrv7bahlng/w-d-xo.html
그 교수님 설명에 있는 RNN은 RNN cell 다음에 출력층이 하나 더 있는 모델이 아닐까요?
혹시 이 강의 슬라이드 자료도 있나요?ㅎㅎ 너무 이해하기 좋아서요!!
감사합니다.
슬라이드는 회원님들이 웹상에서 조회할 수 있도록 공유되어 있어요.
다운로드는 무단도용 방지를 위해 불가합니다.
th-cam.com/users/TheEasyoungmembership
소프트맥스를 하는데 output도 굳이 tanh를 적용해 주는 이유가 있나요? (다음 cell로 보내는 것만 tanh를 적용하면 안되는건지..) 소프트맥스 영상에서는 리니어 레이어에 적용했던 것 같아서요. 감사합니다!
Tanh를 썼더라도, 마지막 아웃풋들의 합이 1이 되게 하기 위해서 softmax가 필요합니다.
@@TheEasyoung 감사힙니다..근데 제 질문은 softmax 필요 여부가 아니라 output cell로 보내지기 전에 꼭 tanh를 적용해야 하는 것인가 입니다. 다음 유닛으로 보내지는 부분만 tanh를 쓰면 안되는건가요?
Sandy L 꼭 필요한 것은 아니지만, 텐서플로는 둘 다 tanh를 최종 아웃풋 전에 사용합니다. 아무래도 노드의 아웃풋은 기본적으로 활성화 함수를 사용하기 때문에 tanh를 적용하는 것으로 보입니다.
Minsuk Heo 허민석 아 그렇군요. 답변 감사드려요!
3분6초쯤 편향값을 가짐으로써 딥러닝의 학습이 좀더 수월해진다는게 어떤 뜻인가요 ? ㅠㅠ
학습이 빨라진다로 이해하시면 됩니다 ㅎ
영상 감사합니다. 궁금한게 있는데 RNN의 특성상 Whh의 값을 일정하게 해주는 것은 이해가 갔습니다. 그런데 인풋 x1, x2, x3가 들어가는 레이어의 각각의 가중치(Wxh)는 다르게 조절돼있어야 하는거 아닌가요?ㅠㅠ CNN같은 경우에도 컨볼루션 필터마다 가중치들을 다르게해서 classification하기에 여쭤봅니다.
RNN은 셀 하나를 가지고 재사용하는 것이라 한개의 Wxh만 가지고 있어요. 입력값 x1, x2, x3를 공통된 가중치로 계산하는 것은 단순히 현재 입력값을 동일한 함수로 처리한다는 의미로 받아들이시면 될 거 같습니다. 물론 입력값 곱하기 Wxh의 값은 입력값이 다르기 때문에 다 다릅니다.
@@TheEasyoung 아 정말 감사합니다!!
설명 너무 좋네요.. 다른 곳에서의 rnn 설명에 심히 지쳐가고 있었는데 사이다같은 강의입니다..
한가지 의문이 있습니다.
Whh는 time step마다 값이 변하는거죠? (즉 I를 처리한 후와 work를 처리한 후의 Whh는 값이 다르지 않냐는 겁니다. 그래프에도 그리되어져 있고 또 그래야 이전 상태를 전달할 수 있으니...) 만약 그렇다면 파라메터를 공유한다는 의미가 퇴색되는 것 같기도 한데요...
조언 부탁드립니다. 감사합니다
감성 분석을 할 때요, binary classification으로 하게 되면 학습이 잘될까요? 좋다/나쁘다로만의 오차로만 학습되는거라 loss가 약해보여서요~
분류할 항목이 2개인 문제는 모두 binary classification입니다. 2개 이상으로 분류해야 할 경우는 다중 분류(multi class classification)입니다. 좋다/나쁘다의 loss가 약해보이시면 다른 방법도 연구해보시는 것도 참 좋은 방법입니다. loss가 약할 시 요새 트렌드인 멀티 태스크 러닝도 한번 생각해보시면 좋을 것 같습니다.
네 좋다 나쁘다 말고 이거를 호감의 좋고나쁨을 수치로 학습하는건 좀 더 정확하지 않을까 해서요~ 한번도 이쪽으론 해본적이 없어서 호기심이 생기네요 ^^ 아 그리고 멀티 태스크 러닝 한번 찾아볼게요~
좋네요. 두가지 질문, 1) back-propagation though time을 할 때 미분치를 어떻게 계산하는 건가요? 특히 센티멘트 분석과 같이 몇차례 forward 를한후에 한번 back-propgation을 하면 중간값은 어찌 되나요? forward 하면서 값이 변화 될 텐데. 미분값이 달라져야하지 않나요? 2) hidden 변수는 실제로는 Vector 인가요? 입력도 실제로는 on-hot encoding 벡터 이 구요? 그러면 W와 b가 모두 매크릭스와 벡터가 되야하는데. 그런설명이 없네요. hidden 벡터의 크기는 얼마 정도가 되나요?
미분 계산은 아래 링크에서 설명했는데 도움이 될 거 같습니다. 1:30 정도입니다.
th-cam.com/video/bX6GLbpw-A4/w-d-xo.html
중간값들 모두 벡터이며, 벡터의 사이즈는 구현자가 결정합니다. 입력값 역시 구현자가 원 핫 인코딩을 아니면 다른 이미 학습된 임베딩을 쓸지 결정합니다.
최고다 미쳣다
안녕하세요 깔끔한 설명 너무 감사합니다ㅠ!!
혹시 제가 고등학생인데 학교 과학시간에 슬라이드 3장정도 캡처해서 발표자료로 써도 될까요?
네, 자료 인용 시 출처 밝혀주시고요, 발표 성공적으로 잘하시기 바래요!
항상 좋은 강의 감사합니다!! 보다가 궁금한점이 생겨서 혹시 몇 가지 질문드려도 괜찮을까요?
1. cell = hidden state = hidden layer라고 생각해도 괜찮을까요?
2. 1번이 맞다면 CNN처럼 hidden state 안에 여러 노드들이 들어있는 건가요?
3. CNN에서 hidden layer를 추가하는 행위가 RNN에서 hidden state를 추가하는 것과 같은건가요?
감사합니다!
Hidden state는 셀의 리턴값입니다. 셀 안에는 hidden state를 출력하기 위해 가중치, 편향값, 활성화함수 등이 있습니다. Hidden layer는 여러개의 cell로 구성됩니다. CNN에서 히든 레이어를 추가하는 것은 rnn에서 히든 레이어를 추가하는 것과 비교 할 수 있어요.
답변 감사합니다!! 그러면 cell=node라고 생각해도 괜찮을까요?? 그리고 03:23의 그림은 하나의 히든 레이어에 4개의 cell이 존재한다고 보면 될까요??
네 맞습니다.
좋은 강의 항상 감사드립니다!!
traffic ticket fine -> unhappy
traffic is fine -> happy
과정이 어떻게 결과로 되는지 이해가 안되요
Loon Valentine 소프트맥스와 역전파를 통해 실제 정답과 비교해 가며 최적의 모델 파라미터를 찾은 후 입력을 넣으면 저런 식으로 출력을 받을 수 있습니다. 감사합니다.
좋은 영상 감사합니다.