이해하기 쉽게 자동완성과 스프레드시트로 설명하였지만 이러한 llm의 뒤에는 매우 큰 인공신경망과 그로 이루어진 Self-attention-layer가 있다는 것을 생각하지 않으면 안됩니다. 그냥 인공지능이 자동완성 알고리즘으로 이루어져 있다면 이렇게 큰 각광을 받지 못했겠지요, 인공지능의 논리력과 사고력의 대부분은 인공신경망에서 나오고 이는 llm의 성능에 매우 큰 영향을 미칩니다.
2019년 전까진 생성형 인공지능의 패러다임이 seq2seq + attention layer 였는데, seq2seq 모델은 Encoder 층과 Decoder 층으로 이루어진 lstm입니다. 쉽게 말해서 번역이나 요약을 해주는 모델이라고 보시면 됩니다. 문제는 seq2seq모델은 문장이 길어지면 이해를 못한다는 점이었는데, 이에 전체 Input의 Embedding을 여러 수치로 압축해서 각 layer에 넣어주는 attention layer라는게 만들어져서 이게 또 seq2seq 모델의 성능을 비약적으로 상승시켜줍니다. 그런데 2019년에 구글에서 Attention is all you need 라는 논문을 발표하는데요, 여기에서는 아예 attention-layer 을 개조해서 전체 문맥을 보고 뒤에 나올 Embedding(단어)를 예측하는 self-attention-layer라는 것을 개발해서 그것만으로 전체 신경망을 구성합니다. 이에 bert, gpt-1 등 여러 모델들이 나오다가 2020년 gpt-3 모델이 나오면서 모델의 크기를 단순히 키우는 것 만으로 인공지능이 더 많은 상황에 대처할 수 있다는 사실이 밝혀졌죠. 그때 생각하면 아직도 가슴이 떨리네요. 요즘 트랜드는 모델의 크기가 너무 커져서 크기를 줄이고 최적화 하는 편이긴 합니다. 여기까지 오신 분들 제 부족한 식견 봐주셔서 너무 감사합니다.
오늘도 정말 유익하네요. GPT 3에서 4로 넘어갈때 조금 더 기계적인 느낌을 받았었는데, 이게 GPT4는 유료 구독한 개발자 등등의 활용을 염두에 두고 개발해서 Temperature 값을 낮춘것으로 개념적으로 이해할 수 있을것 같네요, 물론 이 뒤엔 정말 수많은 알고리즘이 있겠지만요 ㅎㅎ
LLM 이 하는 것 - 데이터 상에서 가장 많은 빈도를 찾아주기 (LOOKUP 함수) 온도 : 가중치를 반영한 랜덤 (차가운 머리 vs 따뜻한 심장 사이의 어딘가) 파인튜닝 : 출력교정 (글, 그림, 소리, 동작, 3D모델 등등 표현 가능한 모든 형식과 분야로 확장&진화중. . . ) 강화학습 : 라벨러(선생님)에 의한 현장교육, 실전학습
GPT와 스테이블 디퓨전이라는 가장 유명한 두 AI가 사실 원래 목적과 다르게 사용된다는게 좀 신기하죠. GPT는 원래 자동완성 AI였지만 대화형 AI로 사용중이고 스테이블 디퓨전은 원래 단순히 이미지 화질을 높이거나 모자이크를 제거하는 AI였지만 그림을 새로 그려내는 AI로 사용중이죠.
📌 니꼬쌤과 코딩 시작하기 (*무료*)
nomadcoders.co/courses#free?
이해하기 쉽게 자동완성과 스프레드시트로 설명하였지만 이러한 llm의 뒤에는 매우 큰 인공신경망과 그로 이루어진 Self-attention-layer가 있다는 것을 생각하지 않으면 안됩니다. 그냥 인공지능이 자동완성 알고리즘으로 이루어져 있다면 이렇게 큰 각광을 받지 못했겠지요, 인공지능의 논리력과 사고력의 대부분은 인공신경망에서 나오고 이는 llm의 성능에 매우 큰 영향을 미칩니다.
2019년 전까진 생성형 인공지능의 패러다임이 seq2seq + attention layer 였는데, seq2seq 모델은 Encoder 층과 Decoder 층으로 이루어진 lstm입니다. 쉽게 말해서 번역이나 요약을 해주는 모델이라고 보시면 됩니다. 문제는 seq2seq모델은 문장이 길어지면 이해를 못한다는 점이었는데, 이에 전체 Input의 Embedding을 여러 수치로 압축해서 각 layer에 넣어주는 attention layer라는게 만들어져서 이게 또 seq2seq 모델의 성능을 비약적으로 상승시켜줍니다. 그런데 2019년에 구글에서 Attention is all you need 라는 논문을 발표하는데요, 여기에서는 아예 attention-layer 을 개조해서 전체 문맥을 보고 뒤에 나올 Embedding(단어)를 예측하는 self-attention-layer라는 것을 개발해서 그것만으로 전체 신경망을 구성합니다. 이에 bert, gpt-1 등 여러 모델들이 나오다가 2020년 gpt-3 모델이 나오면서 모델의 크기를 단순히 키우는 것 만으로 인공지능이 더 많은 상황에 대처할 수 있다는 사실이 밝혀졌죠. 그때 생각하면 아직도 가슴이 떨리네요. 요즘 트랜드는 모델의 크기가 너무 커져서 크기를 줄이고 최적화 하는 편이긴 합니다. 여기까지 오신 분들 제 부족한 식견 봐주셔서 너무 감사합니다.
좋은 부가정보 감사합니다 :)
@@gpt_rule_the_world상당한 이해수준을 가지신 분이라는 것이 경험적으로 느껴집니다. 많은 분들이 이 내용을 이해하진 못하시더라도 큰 틀을 잡으셨으면 긍정적이겠습니다👍
@@gpt_rule_the_world 좋은 설명 감사합니다 :)
@@gpt_rule_the_world
그러니깐 임베딩을 압축해서 파라미터 조정에 쓰고, 모델에 넣을 데이터의 크기가 다르다.
제가 잘 이해한게 맞나요?
사고력이나 논리력은 어떻게 구현하는지 궁금하네요. 연역적 추론이 가능하다는건지 단순히 계산만 가능하다는건지
오늘도 정말 유익하네요. GPT 3에서 4로 넘어갈때 조금 더 기계적인 느낌을 받았었는데, 이게 GPT4는 유료 구독한 개발자 등등의 활용을 염두에 두고 개발해서 Temperature 값을 낮춘것으로 개념적으로 이해할 수 있을것 같네요, 물론 이 뒤엔 정말 수많은 알고리즘이 있겠지만요 ㅎㅎ
LLM 이 하는 것 - 데이터 상에서 가장 많은 빈도를 찾아주기 (LOOKUP 함수)
온도 : 가중치를 반영한 랜덤 (차가운 머리 vs 따뜻한 심장 사이의 어딘가)
파인튜닝 : 출력교정 (글, 그림, 소리, 동작, 3D모델 등등 표현 가능한 모든 형식과 분야로 확장&진화중. . . )
강화학습 : 라벨러(선생님)에 의한 현장교육, 실전학습
요즘 신기하게 관심 있는 주제만 골라서 영상으로 올라옴ㅋㅋ 잘 보고 있습니다
항상 감사합니다
Great as always!!! 😁
Thanks again!
쉽고 좋은 설명이네여. 감사합니다
GPT 원리 이해하려면 한 1~2 시간은 집중해서 공부해야 할 줄 알았는데, 이 영상 하나로 이해가 됐어요 ㅎㅎ
제가 너무너무너무너무너무너무너무너무 원했던 주제의 영상입니다 🥹🥹🥹
3:39 '주의력만 있으면 된다' -> '어텐션만 있으면 된다'
어텐션이 기술적 용어이므로 이 번역이 좀 더 자연스러운 것 같습니다.
앗 참고하겠습니다~~
ㅇㅈ
저처럼 주의력이란 번역을 더 좋아하는 사람도 있답니다. 니꼬쌤 건강하세요!@@nomadcoders
선생님들 gpt로 공통점이 있는 정보들 한번에 끌어모으는 거 가능한가요? 정보수집을 잘하고 싶어요. 가능한것만 알면 공부해보겠습니다
1년전에 트랜스포머와 gpt 2버전에 대해 배웠지만 3.0이 나오면서부터 모든게 급성장해버린..
전혀 모르겠지만 똑똑해지는 기분이에요!
쉽고 빠른 설명!👍
시청해 주셔서 감사합니다 😊
구글이 Transform 논문을 발표할 때, 이 정도로 큰 기술적 영향력을 미칠지 상상했을까..?
❤
AI가 이번 전쟁 좀 막아줬으면...
미사일은 막고 있다네요~
전쟁! 절대 전쟁!
오늘 길가다가 봤는데
혹시 나중에 마주치면 인사드려도 될까요?
GPT와 스테이블 디퓨전이라는 가장 유명한 두 AI가 사실 원래 목적과 다르게 사용된다는게 좀 신기하죠.
GPT는 원래 자동완성 AI였지만 대화형 AI로 사용중이고
스테이블 디퓨전은 원래 단순히 이미지 화질을 높이거나 모자이크를 제거하는 AI였지만 그림을 새로 그려내는 AI로 사용중이죠.
그런 편협한 용도로 개발된 기술들은 아닙니다. 언어 모델은 기본적으로 다양한 언어 문제를 다룰 수 있게 하는게 목적이고, 디퓨전은 데이터를 특정 조건에 따라 생성하는 생성 모델을 만드는게 목적이죠. 오히려 목적에 맞게 잘 발달한 셈입니다.
엑셀시트까진 설명이 좋았는데 트랜스포머 설명할땐 점프가 많이 되어서 아쉽
오
수상할정도로 한국에 친숙한 외국인 코딩 아저씨
고마워요
난 내가 배속을 켜놓을 줄 알았다.
llm의 컨셉 자체는 한 10년 전부터 나왔던 word2vec의 훈련 방식들하고 일맥상통하네요
아직까지 정말 '지능적인 인공지능'이라고 부를만한 인공지능은 없는듯..
지능이라는걸 어떻게 정의해야할 모르겠지만..
지능을 수많은 데이터에 의한 통계 작업이라고 정의한다면 llm 개념에서 AGI까지 갈 수 도 있지 않을까요?
뉴럴넷이면 다 똑같죠.. 여전히 연금술임
제목을 인간이 생각하는 방법으로 바꿔도 이질감 모를거야 ㅋㅋ
창의성은 모델 앞에 1-2개만 더 두면 됨. “야 확률말고 개소리 해봐. 그래도 말이 되는거로”, “이거 말 되는거나?” , “되면 문장으로 만들어”
봐도 나만 이해안가나
형을 열린음악회에서 본거같은데
😱?!
@@nomadcoders 인천 다녀오셨나요?🤔🤔🤔
'Attention Is All You Need' 는 어텐션 메커니즘의 논문이죠!
ㄴㄴ transformer논문 맞아요 어텐션 메커니즘은 한참 전에 나왔어요
Attention is All You Need 논문은 Transformer 논문이 맞습니다! Transformer라는 개념또한 결국 필요한건 Attention메커니즘이다라는걸 재치있게 표현한 제목이라고 볼수있어요:D
한국정부가 cloudflare를 차단했다네요
도대체 이번정권 들어와서 왜이렇게 잡음도 많고 지멋대로 하는게 많은지 모르겠는데.. 임기전에 뭔가 사단이 나도 날것같다. 에브리바디가 힘들고 혼란스러움
정치병 환자
이정도면 지능적 민주당 안티 아님? 하나같이 개멍청한 소리만 하네 ㄷㄷ.
오