o1 preview때부터 써왔는데 확실히 코딩에서 버그 찾기나 복잡한 문제를 해결할 땐 o1모델이 좋았습니다. 예를 들면 서로 다른 기능을 가진 몇백줄의 별개 코드덩어리를 하나의 코드덩어리로 충돌이나 중복, 오류 없이 깔끔히 합쳐줄 때 유용했습니다. 또는 깊이 숨은 복잡한 버그의 원인을 찾아낼 때도 유용했구요. 개인적인 생각인데 영상에 나온 "콘텐츠 아이디어 만들어줘" 와 같은 간단하거나 창의성을 요하는 질문들은 4o가 더 적합하다고 생각합니다. 간단한 질문에 o1을 쓰면 오히려 불필요한 추론때문에 4o보다 만족스럽지 못한 결과가 나오기도 하더라구요. o1은 추론 시간이 길어질수록 그 진가를 발휘하는 것 같습니다.
좋은 영상 감사합니다. 카페 가입도 했고요! 질문이 몇 가지 있어 댓글 드립니다. O1 으로 하다보니 질문의 갯수가 제한적이더라고요. 앞으로 5번의 질문만ㄷ ㅓ 할 수 있다고 하고, 15일 이후에 초기화가 된다고 안내를 받았습니다. 이런 경우 PRO로 업그레이드를 해야 되는건지... 4O 모델을 잠시 써야되는지 궁금해서 댓글드립니다!
plus 요금제 사용중인데 오늘 처음으로 이용한도에 도달했다고 떴네요. pro 모델 사용할 생각이 전혀 없었는데요. 꽤 적은 양을 집에서 사용 중인데도 이렇게 제한이 뜬다면 전문가가 아니어도 pro 모델을 사용하라는 간접적 강요 일까요. 당황스럽습니다 ㅜㅜ 다들 어떠신지
지금 님이 말씀하시는건 상용 LLM 서비스를 말하는 것 같지가 않은데요? 요즘은 모델 자체 알고리즘을 연구하는 것도 적고 기존부터 하던 연구소들이나 연구비 받아서 적자내며 만드는데다 돈이 많이들어서 국내에서는 몇몇 대기업에서나 하다 그마저도 포기하는 상황입니다. 그리고 정확한 데이터로 성능을 향상시킨다고 하셨는데 지금 현재 나온 LLM 모델이 학습하는 내용이나 그 원리는 알고 말하시는거죠..? 무슨 전처리 말하는 것도 아니고 405B 모델을 학습시킨다던가 12시간, 24시간 학습이라던가 이런말 하고 계신데... 간단한 테스크에 대해서 강화학습 몇번에도 12시간 걸리는걸 405B 모델에 들어가는 수십조 토큰에 대해서 정확한 데이터입력, 알고리즘 변경을 한다는게 말이 안되는데요..? 애초에 다운받아 올리는것만 몇시간입니다... 로컬에서 동급성능을 굴린다는 이야기는 지금 GPT4랑 동급인 LLama3.1 70B int8 모델을 GPU에 올려서 쓰려해도 H100(96GB) 3장은 필요합니다. 다른거 다 제외하고요 405B는 님이 말하는거보니 파인튜닝까지 상정하는 것 같은데 그러면 70개는 필요합니다. 그리고 개인이 405B짜리 라마3.1 아무리 열심히 로컬에서 만져봐도 GPT에서 제공하는 o1의 대학원 레벨의 깊은 추론은 고사하고 그마나 체인릿 같은 서비스 먹여서 챗봇처럼 쓸 수 있어도 4o 수준에 가까운 멀티모달 성능은 확보 못합니다. huggingface.co/spaces/Vokturz/can-it-run-llm 여기들어가면 볼 수 있고요 원하시는 모델 허깅페이스에서 링크 복사해서 넣어보십쇼 RnD비용 제외하고 당장 상용 모델 로컬에서 텍스트 모델로만 쓰고싶어도 수억은 기본으로 나가는 상황인데 여기에 깊은 추론이 가능한 모델은 장기기억메모리 알고리즘이나 입력 컨텍스트 길이 등등 여러부분에서 완전히 다른 모델에 멀티모달이나 여러가지 기능까지 포함하는걸 생각하면 멀티모달 챗봇에 3만원, 연구실급 멀티모달 추론에 30만원에 돈독이 올랐니 뭐니 못하죠 ㅋㅋ심지어 그거 네트워크로 서비스하면서 여러가지 디바이스에 대응하고 편의 서비스까지 제공하는데 뭐가 돈독입니까 ㅋㅋ 모델 성능 상승폭이 줄었는데 가격이 올랐으니 돈독이다? 일반인이 쓰는 챗봇은 3만원 유지고, 기업이나 연구실에서 쓸만한 여러가지 기능이 들어간 모델에 대해서 30만원인데 이러한 환경 특성상 개인이 비용을 감당하는 경우보다는 법인나 기관에서 감당하고 그들은 큰 이익을 추구하기 때문에 GPT뿐만 아니라 다른 기업에서도 엔터프라이즈 제품군은 몇배 비싸게 받습니다. 그럼에도 생산성을 올려주니깐 사는거구요. GPT 가격정책 당장 300으로 올려도 기업이나 연구실에서 쓸거구요 실험해보기 귀찮았는데 -> 부터 수준이 보입니다. 당장 님이 어디 기업 연구실의 최신분야에 기여하는 실험실 운영자가 아닌이상 기껏해야 8B 모델, 3090, 4090 두장 넣고 최소 단위 맞춰서 70B (int4)올려도 HBM도 아닌걸로 성능도 상용 챗GPT 발끝도 못따라가 볼텐데 뭘 실험을 해요 실험을 하긴 ㅋㅋㅋㅋ 정 그리 궁금하시면 GCP 환경에서 405B 올려서 파인튜닝을 하시든 뭐 님이 말한대로 재학습을 하든 알고리즘을 개조해보든 해보세요~ LoRA 파인튜닝 기준으로 최소 64개, 님 말하는건 데이터셋, 알고리즘 변경하고 가중치값 초기화해야하니깐 수배는 필요할 겁니다. cloud.google.com/products/calculator?hl=ko&dl=CjhDaVJtWWpKbE5tVmlZUzB6WmpRd0xUUm1NVEV0T1dNelppMHpZamcyWm1ObFl6TTFZV0VRQVE9PRAQGiQ4REY4OTFEMS1CRkJBLTQwMkEtOTFBNC1DMkMxMDRCQTY0MTQ 들어가서 vram 96짜리 gpu서버 64개 때려박고 님이 말한대로 라마3.1 405b 파인튜닝하고 실험좀 하면 얼마나오는지 보세요. 순수하게 궁금하니 뭐니 하면서 거들먹거리면서 말씀하시니 구체적으로 말씀드렸고요. 저도 제가 올려본건 3.1 70b GPU 두장으로 경우 최소조건만 만족시켜서 체인릿 통해 올려본거 LLM 파인튜닝하고 다른 모델이랑 결과값 대조해서 목적에 맞게 활용해보려 잠시 프로젝트 해본게 다입니다. 그 과정에서 GPT 정도면 싸다고 생각한거고요 가격유지하고 지금 전세계가 GPT와 제미나이 업뎃에 열광하는데 진짜 의미를 모르는 것 같아 단 한마디에 아는 척하고 답글을 기다린다니 1000자를 쓸 수 있으니 구체적으로 수치와 출처, 설명을 요구하시는게 그냥 중고학생이 이제 막 입문해서 아는 척하는 수준으로 보이네요 ㅋㅋ
12월 31일까지 55% 할인 진행합니다.
bit.ly/3VbW3e3
o1 preview때부터 써왔는데 확실히 코딩에서 버그 찾기나 복잡한 문제를 해결할 땐 o1모델이 좋았습니다. 예를 들면 서로 다른 기능을 가진 몇백줄의 별개 코드덩어리를 하나의 코드덩어리로 충돌이나 중복, 오류 없이 깔끔히 합쳐줄 때 유용했습니다. 또는 깊이 숨은 복잡한 버그의 원인을 찾아낼 때도 유용했구요.
개인적인 생각인데 영상에 나온 "콘텐츠 아이디어 만들어줘" 와 같은 간단하거나 창의성을 요하는 질문들은 4o가 더 적합하다고 생각합니다. 간단한 질문에 o1을 쓰면 오히려 불필요한 추론때문에 4o보다 만족스럽지 못한 결과가 나오기도 하더라구요. o1은 추론 시간이 길어질수록 그 진가를 발휘하는 것 같습니다.
꿀팁이네요! 저도 같은 이유로 o1 preview는 잘 안 썼습니다. 사실 일반 사용자 입장에서 복잡한 문제를 해결해야 할 일이 딱히 없더라구요;; ㅎㅎ 근데 이번 o1에서 이런점이 일정 부분 개선된 것 같아서 차근차근 테스트 해봐야겠어요!
오늘 처음 알게된 채널인데, 너무 유용하네요!
12일동안 쭉 따라가겠습니다~~
좋은 영상 감사합니다. 카페 가입도 했고요!
질문이 몇 가지 있어 댓글 드립니다.
O1 으로 하다보니 질문의 갯수가 제한적이더라고요. 앞으로 5번의 질문만ㄷ ㅓ 할 수 있다고 하고, 15일 이후에 초기화가 된다고 안내를 받았습니다.
이런 경우 PRO로 업그레이드를 해야 되는건지... 4O 모델을 잠시 써야되는지 궁금해서 댓글드립니다!
plus 요금제 사용중인데 오늘 처음으로 이용한도에 도달했다고 떴네요. pro 모델 사용할 생각이 전혀 없었는데요. 꽤 적은 양을 집에서 사용 중인데도 이렇게 제한이 뜬다면 전문가가 아니어도 pro 모델을 사용하라는 간접적 강요 일까요. 당황스럽습니다 ㅜㅜ 다들 어떠신지
Plus 두개 쓰면 됩니다 ㅎㅎ
1:00 프롬포트 영상 올라올 때까지 숨 참을게요 흡!!!!
숨 쉬세요!! ㅋㅋㅋㅋㅋ
라고 적혀있는데요?
o1-pro는 사용해보지 못했지만 o1 보다 clauda 3.5 sonnet이 코딩하는데 더 나은 것 같습니다. 두 개다 구독하고 있지만 앞으로 claude만 구독하기로 했습니다.
챗gpt로 영상만들기는 프로부터 가능한가요?
지피티 개발자 대단하다 진짜
음성 속도를 너무 빠르게 돌려서 올리신 것 같아요 듣기가 조금 불편했습니다. 속도 줄이기를 하면 음성이 깨져서 그것 또한 불편하네요. 기존에 업로딩한 영상속도 빠르기를 조금 낮추면 더 좋을 것 같습니다.
다음부터는 조금 느리게 해볼게요 ㅜ
수동으로 조절가능. 전 딱 듣기좋네요 오히려 2배속버튼도 계속 누름.
o1 프로 출시후, 기본 o1 모델의 컨텍스트 윈도우가 128000에서 32000으로 줄었다는데 진짠가요..?ㅠㅠ
만세ㅜㅜㅜㅜ
chat gpt 진짜 호들갑 겁나 떨다가
제미나이에게 밀리게 생겼는데?
gpt5 또 밀렸네...
기존 20달러가 말이 안되게 싼 가격
비영리단체 맞누?
그냥 맨날 똑같은 모델 반복이고 돈독만 올랐다 이 말이네요 요약하면
ㅋㅋㅋㅋ 4o에서 o1은 유의미한 변화 같은데, o1 pro는...흠... 잘 모르겠네요 ㅎㅎ
그 미세한 차이가 얼마나 중요한지 모루시나보네요… 로컬에서 동급성능 굴릴라면 얼마 써야하는지 몰라서 돈독이라 하는 것 같은데 ㅋㅋㅋㅋ음
@@Kokokoko-kj2eg 알려주실 수 있나요? 궁금합니다 ㅎㅎ
o1은 실수 정말 적어져서 쓸만하더라고여
지금 님이 말씀하시는건 상용 LLM 서비스를 말하는 것 같지가 않은데요?
요즘은 모델 자체 알고리즘을 연구하는 것도 적고 기존부터 하던 연구소들이나 연구비 받아서 적자내며 만드는데다 돈이 많이들어서 국내에서는 몇몇 대기업에서나 하다 그마저도 포기하는 상황입니다. 그리고 정확한 데이터로 성능을 향상시킨다고 하셨는데 지금 현재 나온 LLM 모델이 학습하는 내용이나 그 원리는 알고 말하시는거죠..? 무슨 전처리 말하는 것도 아니고 405B 모델을 학습시킨다던가 12시간, 24시간 학습이라던가 이런말 하고 계신데... 간단한 테스크에 대해서 강화학습 몇번에도 12시간 걸리는걸 405B 모델에 들어가는 수십조 토큰에 대해서 정확한 데이터입력, 알고리즘 변경을 한다는게 말이 안되는데요..? 애초에 다운받아 올리는것만 몇시간입니다...
로컬에서 동급성능을 굴린다는 이야기는 지금 GPT4랑 동급인 LLama3.1 70B int8 모델을 GPU에 올려서 쓰려해도 H100(96GB) 3장은 필요합니다. 다른거 다 제외하고요
405B는 님이 말하는거보니 파인튜닝까지 상정하는 것 같은데 그러면 70개는 필요합니다. 그리고 개인이 405B짜리 라마3.1 아무리 열심히 로컬에서 만져봐도 GPT에서 제공하는 o1의 대학원 레벨의 깊은 추론은 고사하고 그마나 체인릿 같은 서비스 먹여서 챗봇처럼 쓸 수 있어도 4o 수준에 가까운 멀티모달 성능은 확보 못합니다.
huggingface.co/spaces/Vokturz/can-it-run-llm 여기들어가면 볼 수 있고요 원하시는 모델 허깅페이스에서 링크 복사해서 넣어보십쇼
RnD비용 제외하고 당장 상용 모델 로컬에서 텍스트 모델로만 쓰고싶어도 수억은 기본으로 나가는 상황인데 여기에 깊은 추론이 가능한 모델은 장기기억메모리 알고리즘이나 입력 컨텍스트 길이 등등 여러부분에서 완전히 다른 모델에 멀티모달이나 여러가지 기능까지 포함하는걸 생각하면 멀티모달 챗봇에 3만원, 연구실급 멀티모달 추론에 30만원에 돈독이 올랐니 뭐니 못하죠 ㅋㅋ심지어 그거 네트워크로 서비스하면서 여러가지 디바이스에 대응하고 편의 서비스까지 제공하는데 뭐가 돈독입니까 ㅋㅋ
모델 성능 상승폭이 줄었는데 가격이 올랐으니 돈독이다? 일반인이 쓰는 챗봇은 3만원 유지고, 기업이나 연구실에서 쓸만한 여러가지 기능이 들어간 모델에 대해서 30만원인데 이러한 환경 특성상 개인이 비용을 감당하는 경우보다는 법인나 기관에서 감당하고 그들은 큰 이익을 추구하기 때문에 GPT뿐만 아니라 다른 기업에서도 엔터프라이즈 제품군은 몇배 비싸게 받습니다. 그럼에도 생산성을 올려주니깐 사는거구요. GPT 가격정책 당장 300으로 올려도 기업이나 연구실에서 쓸거구요
실험해보기 귀찮았는데 -> 부터 수준이 보입니다. 당장 님이 어디 기업 연구실의 최신분야에 기여하는 실험실 운영자가 아닌이상 기껏해야 8B 모델, 3090, 4090 두장 넣고 최소 단위 맞춰서 70B (int4)올려도 HBM도 아닌걸로 성능도 상용 챗GPT 발끝도 못따라가 볼텐데 뭘 실험을 해요 실험을 하긴 ㅋㅋㅋㅋ 정 그리 궁금하시면 GCP 환경에서 405B 올려서 파인튜닝을 하시든 뭐 님이 말한대로 재학습을 하든 알고리즘을 개조해보든 해보세요~ LoRA 파인튜닝 기준으로 최소 64개, 님 말하는건 데이터셋, 알고리즘 변경하고 가중치값 초기화해야하니깐 수배는 필요할 겁니다.
cloud.google.com/products/calculator?hl=ko&dl=CjhDaVJtWWpKbE5tVmlZUzB6WmpRd0xUUm1NVEV0T1dNelppMHpZamcyWm1ObFl6TTFZV0VRQVE9PRAQGiQ4REY4OTFEMS1CRkJBLTQwMkEtOTFBNC1DMkMxMDRCQTY0MTQ
들어가서 vram 96짜리 gpu서버 64개 때려박고 님이 말한대로 라마3.1 405b 파인튜닝하고 실험좀 하면 얼마나오는지 보세요.
순수하게 궁금하니 뭐니 하면서 거들먹거리면서 말씀하시니 구체적으로 말씀드렸고요. 저도 제가 올려본건 3.1 70b GPU 두장으로 경우 최소조건만 만족시켜서 체인릿 통해 올려본거 LLM 파인튜닝하고 다른 모델이랑 결과값 대조해서 목적에 맞게 활용해보려 잠시 프로젝트 해본게 다입니다. 그 과정에서 GPT 정도면 싸다고 생각한거고요 가격유지하고 지금 전세계가 GPT와 제미나이 업뎃에 열광하는데 진짜 의미를 모르는 것 같아 단 한마디에
아는 척하고 답글을 기다린다니 1000자를 쓸 수 있으니 구체적으로 수치와 출처, 설명을 요구하시는게 그냥 중고학생이 이제 막 입문해서 아는 척하는 수준으로 보이네요 ㅋㅋ