8:20 - 뒤집을 때 좌우, 상하 모두 뒤집어야 합니다. 10:00 - 이 예시에서는 5x5로 오히려 늘어나겠네요! (필터가 3x3 이었다면 출력이 4x4로 크기 유지) -------------------- 혹시 이 강의가 조금 어렵게 느껴지시나요? 그동안 갈고닦은 강의력으로 4년 만에 새로운 딥러닝 강의를 올리게 되었습니다! 지금 보고 계신 영상보다 훨씬 더 쉽고, 더 꼼꼼하게 전달하는 강의니까 아래 재생목록 저장해두고 딥러닝 공부 시작해 보세요! < Easy! 딥러닝 재생목록 > th-cam.com/play/PL_iJu012NOxdw1jc3KEo8Mq5oD5SXKhLu.html -------------------- 📢 혁펜하임의 딥러닝 마스터 커리큘럼! LEVEL 1 - Easy! 딥러닝 hyukppen.modoo.at/?link=2n1a6p7t LEVEL 1 - 인스톨! 파이토치 hyukppen.modoo.at/?link=131k3k7g LEVEL 2 - Legend 13 hyukppen.modoo.at/?link=5db82s6p LEVEL 2 - TTT: To The Transformer hyukppen.modoo.at/?link=21c4dj8y LEVEL 3 - ATT: After The Transformer hyukppen.modoo.at/?link=2mcbufeg
안녕하십니까 박사님. 또 뵈게 되어 영광입니다. 오늘도 질문이 있습니다. 2D이미지를 flatten해서 fully connected layer에 그대로 입력하면 연산량이 많아지고 overfitting이 나타나는 반면, convolution 계층을 거쳐서 2D이미지를 보다 작은 사이즈의 feature map으로 추린 다음 fully connected layer에 입력하면 처리해야할 정보량이 보다 적어지고 overfitting이 안 일어난다고 이해했는데요. 정보량의 차이는 이해가 갑니다만, 정보가 많냐 적냐로 overfitting이 일어나냐 안 일어나냐를 어떻게 판단하신 건가요? overfitting은 training data에 대해 학습을 너무 많이 시켰을 때 발생한다고 알고 있습니다.
쓸데없는 정보에 집중해서 분류하게 된다는 점에서 overfitting을 떠올렸습니다. 여러가지 overfitting이 일어날 원인들이 있을 것이고, 생각하신 너무 학습을 많이 시켰을 때도 overfit이 일어나기도 하죠~ 전 최근 강의에서는 overfitting을 motivation으로 CNN을 설명하진 않고 있습니다. 말씀하신대로 오버피팅은 워낙 다양한 원인이 있기 때문에, 좀 헷갈릴 수 있겠더라구요 CNN을 사용해도 데이터가 적으면 당연히 또 overfit은 일어나기 땜에.. 제 현장 강의 DeepAIday 에서는 “융통성 있는 사고” 를 하는 AI를 만드는 것을 도입으로 CNN을 설명하고 있습니다. ㅎㅎ
처음 컨볼루젼이 뭔지 용도나 원리가 이해가 잘 안 되어서 신호처리를 찾아봤네요. δ[n] = { 1(n=0), 0(n!=0) }인 임펄스에 대해서 임의의 입력 신호 x[n]을 수식으로 표현하면 임펄스 신호의 특징 상, k = n일 때 δ[n-k] = 1이므로 x[n] = ... + x[-1]δ[n+1] + x[0]δ[n+0] + x[1]δ[n-1] + x[2]δ[n-2] + ... 으로 나타낼 수 있고 이는 x[n] = Sigma(-inf, inf) x[k]δ[n-k]로 표현이 가능하다. 시스템 F에 대해서 y1[n] = F(x1[n]), y2[n] = F(y2[n])일 때, F(a1x1[n] + a2x2[n]) = a1F(x1[n]) + a2F(x2[n]) = a1y1[n ] + a2y2[n]이며 (선형적, 중첩 원리 만족) y[n] = F(x[n])일 때, y[n - n0] = F(x[n-n0])인 (시간 불변성, Shift) 경우 선형적이며 시간 불변적인 시스템이라 하고, 이를 LTI 시스템이라고 한다. LTI 시스템 F에 임펄스 δ[n]을 입력으로 가하면 출력 h[n] = F(δ[n])으로 표현가능하고 시스템이 LTI를 만족하기 때문에 h[n-n0] = F(δ[n-n0])을 만족한다. δ[n]에 대해 임의의 입력 신호 x[n]을 위와 같이 표현할 수 있고, 시스템이 선형이며 시불변이기 때문에 식은 다음과 같이 변형할 수 있다. y[n] = F(Sigma(-inf, inf)x[k]δ[n-k]) = Sigma(-inf, inf)x[k]F(δ[n-k]) = Sigma(-inf, inf)x[k]h[n-k] 여기서의 y[n]을 h[n] Convolution x[n]이라고 정의하고, 이는 시스템의 임펄스 반응과 입력의 컨볼루젼이라고 한다. 이렇게 이해했습니다. 이게 맞을까요?
오버피팅에 대해서 한 가지 질문 사항이 있습니다. 1분 7초에서, 'hidden layer의 개수를 늘려 deep하게 만들 수록, 예측 함수 모델의 모형을 어느 고차함수로 만들 수 있다.'라고 설명하셨습니다.
여기서 한 가지 의문사항이 있습니다. 어떤 함수의 모형이 매우 구불구불하려면, 해당 함수가 '고차함수'여야 하지않습니까? 그런데 모든 hidden layer층에 대한 activation 함수를 ReLU로 설정하고 해당 모델의 입력층에 'x'를 넣어 보면, 결과값이 x에 대한 1차함수로 나오는 것 같습니다. 즉, 예측 함수 모델의 최고차항이 1인 것 같습니다. 가중합을 ReLU activation함수를 통과시키면 그 결과가 0 아니면 원래 가중합의 값이 나오게 되어, 예측 함수 모델이 고차함수로 도출되지 않는 것 같습니다. 이에 따라 어떤 이유로 hidden layer의 개수가 많아질수록 예측 함수의 모델의 모형이 구불구불해지게 되는지 모르겠습니다. 자세한 답변 부탁드립니다.
입력에 x node 한개만 존재한다면 말씀하신대로 고차함수를 fitting하기는 쉽지 않겠네요! 하지만 1,x,x^2을 입력 node로 삼는다면 hidden layer 없이, ReLU없이, linear activation만으로도 x에 대한 2차함수의 형태로 data를 fit할 수 있죠. (이는 activation이 linear하면 무조건 linear regression만 가능한 것으로 생각하실까봐 적었습니다.) 만약 hidden layer가 존재하고 ReLU를 사용한다면 더욱 non-linear한 함수도 나타낼 수 있을 것으로 보입니다. 입력에 x node 한개만 존재한다고 했을 때는 hidden layer의 node수를 키우고 deep하게 하면 고차함수도 표현할 수 있을 것으로 느껴집니다. (정확하진 않아요) 이렇게 생각한 까닭은, ReLU는 polynomial이 아닐뿐더러 더욱이 1차함수도 아니기 때문입니다. non-linear 함수입니다. 구불구불함고차 polynomial 함수 가 아님을 한번 고려해주세요.
![[딥러닝] 7-2강. CNN의 효율성: Stride와 Max pooling](http://i.ytimg.com/vi/sPf0iaOzYaY/mqdefault.jpg)
![[딥러닝] 7-2강. CNN의 효율성: Stride와 Max pooling](/img/tr.png)
![예수의 기적은왜 현대에는 일어나지 않는가? f.김학철 연세대학교 학부대학 교수 [더 릴리전]](http://i.ytimg.com/vi/ojiToZD30U8/mqdefault.jpg)
![[UNCUT] “บอสณวัฒน์” ลากไส้!! ใครหนุนหลัง "แม่ตั๊ก ป๋าเบียร์" I คนดังนั่งเคลียร์ I 30 ก.ย. 67](http://i.ytimg.com/vi/QlD7mU2KKRk/mqdefault.jpg)
!['500억 한방에: 속여,먹다' 영양제의 거짓말 [풀영상] | 481회 (KBS 24.10.01)](/img/n.gif)
8:20 - 뒤집을 때 좌우, 상하 모두 뒤집어야 합니다.
10:00 - 이 예시에서는 5x5로 오히려 늘어나겠네요! (필터가 3x3 이었다면 출력이 4x4로 크기 유지)
--------------------
혹시 이 강의가 조금 어렵게 느껴지시나요?
그동안 갈고닦은 강의력으로 4년 만에 새로운 딥러닝 강의를 올리게 되었습니다!
지금 보고 계신 영상보다 훨씬 더 쉽고, 더 꼼꼼하게 전달하는 강의니까 아래 재생목록 저장해두고 딥러닝 공부 시작해 보세요!
< Easy! 딥러닝 재생목록 >
th-cam.com/play/PL_iJu012NOxdw1jc3KEo8Mq5oD5SXKhLu.html
--------------------
📢 혁펜하임의 딥러닝 마스터 커리큘럼!
LEVEL 1 - Easy! 딥러닝
hyukppen.modoo.at/?link=2n1a6p7t
LEVEL 1 - 인스톨! 파이토치
hyukppen.modoo.at/?link=131k3k7g
LEVEL 2 - Legend 13
hyukppen.modoo.at/?link=5db82s6p
LEVEL 2 - TTT: To The Transformer
hyukppen.modoo.at/?link=21c4dj8y
LEVEL 3 - ATT: After The Transformer
hyukppen.modoo.at/?link=2mcbufeg
강아지 그림 ㅋㅋㅋ 초인공지능도 강아지로 인식 못할것 같아요 ㅋㅋ
설명 진짜 잘하시네요... 정말 감사히 잘 들었습니다.
"소벨 필터는 커널의 중심에서 멀어질수록 엣지 방향성의 정확도가 떨어집니다." 라는데 이게 무슨 말인가요? 커널의 중심에서 멀어진다는게 뭔 말이죠?
좀더 맥락을 봐야 알 거 같긴한데, '커널의 중심'이라 함은 3x3 사이즈를 가지는 커널의 2 행 2열 (중앙) 을 의미하는 것 같습니다!
혁펜하이님 !! 내용 너무 쉽게 잘 설명해주시네요. 감사합니다.
감사합니다 cnn에 대해서 쉽게 이해할 수 있었습니다!
댓글 처음 달아봅니다... 설명을 정말 직관적으로 잘하시는 것 같아요 도움 많이 되었습니다
잘보겠습니다. 13:25 보니까...우와! 생각이 드네요. 정말 고맙습니다.
Nonlinear한 모델과 polynomial모델을 같은거라고 생각해도 될까요? 머리속에서는 아닌거같은 명확히 구분점을 못찾겠습니다
어떤 모델의 결과 = 상수*변수 + 상수 꼴이되면 linear 한 모델이죠. (중요한건 변수가 weight라는 것이죠) 즉, 1차 다항함수는 linear 하므로 polynomial이 nonlinear하다고 할 수는 없겠습니다~
2차부터 nonlinear 하지요
와 대박이네요
명강의입니다.
CNN이 overfitting을 어떤 원리로 막는 것인가요? 이 영상에서는 그 부분에 대한 설명이 누락되어있는 것 같습니다.
아마 7-3에서 나오는 것 같습니다 노드 전체를 연결하지 않고 일부만 연결해서 모델이 단순해졌고 그걸 통해 overfitting이 완화되었다고 생각합니다
용어의 이름은 드롭아웃
좋은 강의 감사합니다.
크게되실분이다 감사합니다
설명을 너무 잘하시네요. 감사합니다.
재미있고 쉽게 잘 설명하시는것 같아요. 감사합니다.
좋은강의 감사합니다
외 너무 좋은 설명 감사합니다!!!
좋은 강의 감사합니다..
천재다..
convolution 하는 과정에서 filter 로 mask 할때 dot product한다는 영상도 본것 같은데, dot product가 더 좋은가요??
곱하고 더하는거니까 똑같은거에용
좋은 강의 감사합니다
직접 학원을 다니면서 배우고 싶은데.. 정보 알 수 있나요?
딥러닝 관련 강의하는 학원이 혹시 없는가 여쭤보신 건가요?? 잘 모르겠습니다 ㅠㅠ 인공지능 쪽은 온라인 강의가 많은 것 같아요
@@hyukppen 감사합니다. 근데 혁펜하임님께 직접 들을 수 있는 수업 정보는 알 수 없나요?
@@lifejin7594 앗 제가 본업이 강사가 아니라서 이 영상들이 유튜브를 위해서 찍은 영상이에요~
혹시 직접 질문을 하고 싶으신거면 댓글 달아주셔도 좋고 제 채널 메인 페이지 보면 오픈 카톡 질문방 링크 걸려있으니 거기 들어오셔서 자유롭게 질문하셔도 됩니다! ㅎㅎ
어떤 과목인가요?
딥러닝 입니다!ㅎㅎ
감사합니다
안녕하십니까 박사님. 또 뵈게 되어 영광입니다. 오늘도 질문이 있습니다.
2D이미지를 flatten해서 fully connected layer에 그대로 입력하면 연산량이 많아지고 overfitting이 나타나는 반면, convolution 계층을 거쳐서 2D이미지를 보다 작은 사이즈의 feature map으로 추린 다음 fully connected layer에 입력하면 처리해야할 정보량이 보다 적어지고 overfitting이 안 일어난다고 이해했는데요. 정보량의 차이는 이해가 갑니다만, 정보가 많냐 적냐로 overfitting이 일어나냐 안 일어나냐를 어떻게 판단하신 건가요? overfitting은 training data에 대해 학습을 너무 많이 시켰을 때 발생한다고 알고 있습니다.
쓸데없는 정보에 집중해서 분류하게 된다는 점에서 overfitting을 떠올렸습니다.
여러가지 overfitting이 일어날 원인들이 있을 것이고, 생각하신 너무 학습을 많이 시켰을 때도 overfit이 일어나기도 하죠~
전 최근 강의에서는 overfitting을 motivation으로 CNN을 설명하진 않고 있습니다. 말씀하신대로 오버피팅은 워낙 다양한 원인이 있기 때문에, 좀 헷갈릴 수 있겠더라구요 CNN을 사용해도 데이터가 적으면 당연히 또 overfit은 일어나기 땜에..
제 현장 강의 DeepAIday 에서는 “융통성 있는 사고” 를 하는 AI를 만드는 것을 도입으로 CNN을 설명하고 있습니다. ㅎㅎ
@@hyukppen overfitting에 다양한 원인들이 존재하는군요! 나중에 현장강의 꼭 들으러 가겠습니다. 빠른 답변 감사합니다.
와 ㄹㅈㄷ 설명 ㄱㅅㅎㄴㄷ
처음 컨볼루젼이 뭔지 용도나 원리가 이해가 잘 안 되어서 신호처리를 찾아봤네요.
δ[n] = { 1(n=0), 0(n!=0) }인 임펄스에 대해서 임의의 입력 신호 x[n]을 수식으로 표현하면 임펄스 신호의 특징 상, k = n일 때 δ[n-k] = 1이므로
x[n] = ... + x[-1]δ[n+1] + x[0]δ[n+0] + x[1]δ[n-1] + x[2]δ[n-2] + ... 으로 나타낼 수 있고 이는 x[n] = Sigma(-inf, inf) x[k]δ[n-k]로 표현이 가능하다.
시스템 F에 대해서
y1[n] = F(x1[n]), y2[n] = F(y2[n])일 때, F(a1x1[n] + a2x2[n]) = a1F(x1[n]) + a2F(x2[n]) = a1y1[n ] + a2y2[n]이며 (선형적, 중첩 원리 만족)
y[n] = F(x[n])일 때, y[n - n0] = F(x[n-n0])인 (시간 불변성, Shift) 경우 선형적이며 시간 불변적인 시스템이라 하고, 이를 LTI 시스템이라고 한다.
LTI 시스템 F에 임펄스 δ[n]을 입력으로 가하면 출력 h[n] = F(δ[n])으로 표현가능하고
시스템이 LTI를 만족하기 때문에 h[n-n0] = F(δ[n-n0])을 만족한다.
δ[n]에 대해 임의의 입력 신호 x[n]을 위와 같이 표현할 수 있고, 시스템이 선형이며 시불변이기 때문에 식은 다음과 같이 변형할 수 있다.
y[n] = F(Sigma(-inf, inf)x[k]δ[n-k]) = Sigma(-inf, inf)x[k]F(δ[n-k]) = Sigma(-inf, inf)x[k]h[n-k]
여기서의 y[n]을 h[n] Convolution x[n]이라고 정의하고, 이는 시스템의 임펄스 반응과 입력의 컨볼루젼이라고 한다.
이렇게 이해했습니다. 이게 맞을까요?
너무나 맞습니다!!
정리 감사합니다 ㅎㅎ
Rnn이랑 lstm도 혹시 시간되시면.. 부탁드립니당!
오버피팅에 대해서 한 가지 질문 사항이 있습니다.
1분 7초에서, 'hidden layer의 개수를 늘려 deep하게 만들 수록, 예측 함수 모델의 모형을 어느 고차함수로 만들 수 있다.'라고 설명하셨습니다.
여기서 한 가지 의문사항이 있습니다. 어떤 함수의 모형이 매우 구불구불하려면, 해당 함수가 '고차함수'여야 하지않습니까?
그런데 모든 hidden layer층에 대한 activation 함수를 ReLU로 설정하고 해당 모델의 입력층에 'x'를 넣어 보면, 결과값이 x에 대한 1차함수로 나오는 것 같습니다. 즉, 예측 함수 모델의 최고차항이 1인 것 같습니다.
가중합을 ReLU activation함수를 통과시키면 그 결과가 0 아니면 원래 가중합의 값이 나오게 되어, 예측 함수 모델이 고차함수로 도출되지 않는 것 같습니다.
이에 따라 어떤 이유로 hidden layer의 개수가 많아질수록 예측 함수의 모델의 모형이 구불구불해지게 되는지 모르겠습니다.
자세한 답변 부탁드립니다.
입력에 x node 한개만 존재한다면 말씀하신대로 고차함수를 fitting하기는 쉽지 않겠네요!
하지만 1,x,x^2을 입력 node로 삼는다면 hidden layer 없이, ReLU없이, linear activation만으로도 x에 대한 2차함수의 형태로 data를 fit할 수 있죠.
(이는 activation이 linear하면 무조건 linear regression만 가능한 것으로 생각하실까봐 적었습니다.)
만약 hidden layer가 존재하고 ReLU를 사용한다면 더욱 non-linear한 함수도 나타낼 수 있을 것으로 보입니다.
입력에 x node 한개만 존재한다고 했을 때는 hidden layer의 node수를 키우고 deep하게 하면 고차함수도 표현할 수 있을 것으로 느껴집니다. (정확하진 않아요)
이렇게 생각한 까닭은, ReLU는 polynomial이 아닐뿐더러 더욱이 1차함수도 아니기 때문입니다. non-linear 함수입니다.
구불구불함고차 polynomial 함수
가 아님을 한번 고려해주세요.
@@hyukppen 아... 제가 순간 '함수 = 다항 함수'라고 착각했었네요... 함수의 종류에는 다항 함수 말고도 다른 것들이 존재하는데, 이 부분을 간과하였네요... 답변 정말 감사합니다ㅎㅎ
@@beenzino1152 네넵 감사합니다!