ฝัง
- เผยแพร่เมื่อ 25 เม.ย. 2024
- 🌐 LM Studio 다운로드
lmstudio.ai/
💻 로컬모델 서빙(LangServe) 영상
• 🔥성능이 놀라워요🔥 무료로 한국어🇰🇷 파...
🤖 디스코드 채널
/ discord
📘 랭체인 튜토리얼 무료 전자책(wikidocs)
wikidocs.net/book/14314
✅ 랭체인 한국어 튜토리얼 코드저장소(GitHub)
github.com/teddylee777/langch...
⭐️ 강의 홍보 ⭐️
LangChain + ChatGPT + Streamlit 강의(VOD 강의)
아래에 사전 등록을 하시면 강의 오픈 후 알림을 발송해 드릴 예정이며, 할인 쿠폰도 같이 제공해 드립니다.
📍 LangChain + ChatGPT + Streamlit 강의 사전알림 신청 🙏🙏
링크: forms.gle/buoXoiey7YHrVXVq9
#lmstudio #langchain
---
📘 랭체인 한국어 튜토리얼(무료 전자책): wikidocs.net/book/14314
📝 테디노트(깃헙 블로그) : teddylee777.github.io
💻 GitHub 소스코드 저장소: github.com/teddylee777
🍿 LLM 프로젝트: llm.teddynote.com
![[LangChain 디스코드 봇 신규기능] !fix 내코드를 수정해줘🙏🙏🙏](http://i.ytimg.com/vi/AoYk2YpzWEQ/mqdefault.jpg)
![[LangChain 디스코드 봇 신규기능] !fix 내코드를 수정해줘🙏🙏🙏](/img/tr.png)
고급정보 감사합니다.
아이고오...... 이런 큰돈을🥹 감사합니다 맛난거 사먹겠습니다🫡 더 고급 정보가 뭐 있나 더 뒤적여 봐야 겠네요😊 앞으로도 열심히 업로드 하겠습니다~🙏
이번에도 좋은 소개 감사합니다~:)
시청 감사해욧!!!🙏🙏
너무 좋은 영상 감사합니다!!!
감사감사합니다🙏🙏
너무 좋은 영상 입니다. 저두 꼭 써보겠습니다. ㅎ 감사해요 선생님 ^^
항상 시청해 주셔서 감사드립니다👍
감사합니다
너무 좋은 영상입니다
도움이 되셨으면 좋겠습니다 감사해요!🫡
좋은 강좌 감사합니다.
감사합니닷!🙌🙌
왜이렇게 부지런하세요 테디님😂
열심히 콘텐츠 공장 돌리고 있습니다🔥🔥
좋은 영상 감사합니다!!
감사합니다🫡🫡
감동적인 영상입니다.
감사합니다😭😭
와 영상 너무 좋은데요.!
감사합니다🙏🙏
영상 감사합니다 !😸
감사합니다^^
어제 보니까 버미님께서 파인튜닝 해놓은 것을 gguf파일을 만들어놓으신 것을 미리 봤었는데 이 영상을 위한 것이었군요!
큰 그림이었습니다! 딱 알아보시네요 ㅎㅎ 감사합니다!!
옵시디언(Obsidian) 활용법은 댓글 남겨주신 이분 영상 좋습니다! 참고하십쇼🫡
감사합니다.
감사합니다🙏
감사합니닷!!
감사합니다~!!!🙏
사실 아직은 뭔 얘기인지 모르겠지만 찜해놓고 알 수 있는 그 날이 오면 다시 볼려구요
좋습니다~ 찬찬히 가시죠~ ㅎㅎ👍
영어 모델은 gpt-4-all도 쓰기 편하더라구요 ㅎㅎ gguf 모델 저도 애용하고 있는데, 아직 원인은 몰겠지만 답변이 중간에 끊기는 문제가 있네요 😂
그렇군요! gpt4all 도 써봐야겠네요~ 정보 감사합니다~ 간혹 gguf 중에서도 변환이 잘못된 파일은 오류도 있더라구요~
허깅페이스에 올려주신 llama3 ko 버전 템플릿 구성
시스템 prev suffix
user
Human: suffix
Assistant:
stop string , temp는 0으로 세팅했는데, 대화 끝에 가 계속 나오고 엉뚱한 대답이 나오는데 template 가 잘못됐을까요??
허깅페이스에 Ollama Template 도 공유 해놨어요. 공유한 Template 으로 한 번 적용해 보세요~!
@@teddynote FROM Llama-3-Open-Ko-8B-Q8_0.gguf
TEMPLATE """{{- if .System }}
{{ .System }}
{{- end }}
Human:
{{ .Prompt }}
Assistant:
"""
SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions."""
PARAMETER temperature 0
PARAMETER num_predict 3000
PARAMETER num_ctx 4096
PARAMETER stop
PARAMETER stop
이거 맞나요?
안녕하세요.
좋은 강좌 감사합니다.
공유해주신 Llama-3-Open-Ko-8B-Instruct-preview-gguf 모델과 Llama-3-Open-Ko-8B-gguf 둘다 적용해봤지만,,,
LLM에서 내 벹는 답변이 전부 이상하게 반응하는 것 같습니다.
프롬프트 템플릿도 알려주신 방법과 허깅페이스에 기재된 내용 모두 다 적용해서 각각 테스트 해봐도
잘 되다가 어떤 순간부터 이상한 답변을 하거나 아예 응답을 못하는 현상
또는
답변해주겠다고 하고서는 그 다음 답변이 나오지 않는 현상등이 발생하고 있습니다.
어떤 모델을 써야 정확히 테스트 해볼 수 있을 까요?
음 간혹 불안정한 대답을 하는 경우는 있을 수도 있습니다. 최근에 Instruct-Preview 모델은 Open-Ko-8B 모델이랑 템플릿과 stop token 을 좀 다르게 설정해야 되더라고요. 조정하니깐 확실히 나아졌습니다.
안녕하세요. 좋은 강의 감사합니다! 저는 윈도우에서 eeve q5로 ollma를 통해 테스트를 해봤는데 이게 답변이 너무 느리더라구요. cuda랑 cudnn도 설치된 상태인데도 불구하고 너무 느립니다.. 자원 사용도 모니터링 해보면 CPU만 겁나 쓰고 GPU는 쓰지를 않고 있구요. GPU는 1660super 모델을 사용하고 있는데 GPU를 사용하기엔 GPU 성능이 너무 부족해서 그런걸까요? 맥북 m1 pro 모델이 있긴 한데 이걸 쓰면 좀 나을지 혹은 cuda 세팅을 별도로 해야하는게 있는지 도움을 얻고 싶습니다 ㅠ
아마 1660모델은 딥러닝 모델을 돌리기 위한 cudnn을 지원하지 않는 것으로 봤던 것 같아요 nvidia 홈페이지에서 cuda 지원 gpu로 한 번 확인해 보시는 것이 정확할 것 같습니다!
@@teddynote 확인해보니 없네요 ㅠ 답변 감사합니다..! 맥으로 돌려야겠네요
로컬AI는 잘 다듬으면 업무자동화 편하게 할거같은데 쉽지않네요 ㅠ
질문이 있는데 Llama-3-Open-Ko-8B-Instruct-preview-Q8_0.gguf로
해보고 있는 중에 질문을 하면 답변을 계속 반복하면서 말합니다.
이것도 프롬프트로 막을 수 있나요?
don't repeat yourself. 라고 적어도 말을 안듣네요 ㅋㅋㅋ ㅠ
맞아요 저도 테스트 해봤더니 아직 instruct preview 모델은 원치 않는 답변이 나오드라구요 제가 템플릿 설정 잘못 했을 수도 있구요. 지금은 open ko 모델로 먼저 테스트 해보시고요~ instrcut 모델은 추후 안정화된 버전 나오면 다시 테스트 해보고 공유 드리겠습니다!!
한가지 또 추가로 질문이 있습니다.
모델마다 템플릿을 달리 적용해야 한다고 하셨는데..
모델에 따라 템플릿을 적용하는건 어떻게 알고 적용해야 하는걸까요?
미리 감사드립니다.
보통 저작자가 공개하기도 하고 제일 중요한 것은 저작자가 데이터를 학습할 때 사용한 Format 입니다. 이는 학습 데이터셋을 통해서 보통 확인하는 편이구요.
stop token 은 special_tokens_map.json 에 보통은 잘 정의되어 있어요.
@@teddynote 자세한 답변 정말 감사합니다. 도움이 되었습니다.
instruct-preview모델과 그냥 없는 모델의 차이점이 뭔가요??
instruct preview 모델은 beomi님 이 공개한 repository 의 내용에 의하면 chat vector 의 아이디어가 추가 되었다고 하더라고요! 저도 아직 자세한 차이점 까지는 모르겠어요 추후에 정식 모델이 공개되거나 관련하여 자세한 내용이 나오면 추가로 공유 드릴께요!
라마3 70b 모델 gguf 한글 파인튜닝 버전도 혹시 업로드 해주실 수 있으실까요? 그리고 혹시 지금은 LM - Studio에서 라마3 70b 모델을 더이상 다운로드 할 수 없는 건가요? 다운로드 매뉴에서 못찾겠네요 ㅜ
만들 수 있는데 돌릴 수 있는 자원을 가진 분들이 많이 안계실것 같아서 업로드는 안했거든요 ㅠ Q2 수준으로 양자화를 빡시게 해야 겨우 돌려볼 수 있는 수준인데... 출력도 많이 느리더라고요 ㅜ 시간되면 업로드 해서 공유해 보겠습니다. 공유하면 게시글에 공지사항 올릴께요!
오늘 보여주신 피씨(또는 서버) 에 사용되는 사양(CPU 와 그래픽카드가 뭘까요?
맥북M3 Max 기종입니다 애플 MPS GPU를 사용하였습니다^^
좋은 정보 고맙습니다. 그런데...
Llama-3-Open-Ko-8B와 llama-3-8b-it-ko-chang, EEVE-Korean-Instruct-10.8B-v1.0 모델들 각각의 차이는 뭘까요?
제가 아무 것도 모르는 초보라서요...^^;
ko 나 Korean 이 붙어 있으면 일단 한국어를 잘하는 모델로 튜닝되었다고 쉽게 생각하시면 됩니다. 그런데 다양한 모델이 있는 이유는 각각의 모델마다 학습한 데이터셋의 차이, 학습 방법, 베이스가 되는 모델의 차이에 따라 이름을 다르게 붙입니다. 자동차로 비유를 들자면, "쏘렌토", "싼타페", "제네시스 SUV" 가 있습니다. 모두 비슷한 체급의 자동차이지만 분명 차이가 있죠. 나열된 모델도 비슷한 개념입니다~^^
@@teddynote 아... 그렇군요!
친절한 답변 감사합니다!!!
그럼... 저 3가지 모델 중에서는 어느 게 가장 높은 체급이려나요? ^^;
제 노트북에서 왠만한 모델은 다 돌아간다고 나오길래 llama 모델 중 가장 좋은 성능의 대용량 모델을 받았으면 하는데 도통 모르겠어서요. ^^;;;
질문이 있습니다. os를 구동할때 마다 lm studio를 켜고 모델을 올리고 서버를 구동해야하는 것 같은데요.. 혹시 컴퓨터를 켜자마자 바로 사용할 수 있는 방법이 있을까요?
제가 LM studio 는 가능한지 모르겠습니다만 서버에 바로 구동이 목적이시라면 올라마로 모델 파일 만드신 후 start up 에서 스크립트로 올라마 실행하면 될 것 같습니다!
@@teddynote 유튜브에 링크가 담긴 댓글을 달리면 삭제가 되는 것 같으네요?.. 댓글 올렸는데 삭제가 두번이나.. github issue로 올렸는데 다음 버전에 해당 기능이 추가된다는 답변을 받았습니다. github issue를 링크로 올렸는데.. 댓글이 자동 삭제되는 것 같아서.. 다시한번 링크 없이 댓글 달아봅니다. 감사합니다.
@@blidkagaa 링크가 달리면 자동으로 삭제되는 경우가 있더라고요 예전에도 이렇게 말씀해 주신 분이 계셨던 것 같아요! 디스코드 채널(link.teddynote.com/discord) 에서 질문 주셔도 좋습니다~ issue 도 확인해 볼께요!
테디님~! LM 스튜디오에서 모델을 Load 했는데 아래와 같은 에러가 발생해요.
원인이 성능이 부족해서 일까요?
"(Exit code: 0). Some model operation failed. Try a different model and/or config."
{
"memory": {
"ram_capacity": "15.84 GB",
"ram_unused": "8.40 GB"
},
"gpu": {
"type": "NvidiaCuda",
"vram_recommended_capacity": "8.00 GB",
"vram_unused": "6.97 GB"
},
"os": {
"platform": "win32",
"version": "10.0.22631",
"supports_avx2": true
},
"app": {
"version": "0.2.21",
"downloadsDir": "C:\\Users\\Chris\\.cache\\lm-studio\\models\\"
},
"model": {}
}
테디님 그래픽카드 드라이버 업데이트하고 해결되었습니다^^;;
네 다행이네요!!! 👍👍👍
이게...GPTs action도 사용 가능한건가요?
GPTs action 은 사용 불가입니다 ㅜ
@@teddynote 음...그럼 action관 같은 중간처리 과정 만들기는 어려울까요?
@@JeongJaeWoo 세부 로직 처리하는건 langgraph 와 agent 로 처리 가능합니다~^^
preset 설정을 강의 따라가면서 변경했는데. 질문에 대한 답변 끝에 이 항상 붙네요. 이유가 뭘까요?
stop 토큰에 아마 빼먹고 를 추가해 주지 않으셨를 것 같아요~
@@teddynote 모델을 eeve가 아닌 llama3 모델을 선택해서 그랬네요. eeve 선택하니 제대로 나오네요
@@teddynote 해줬는데도 나오는 이유가 뭘까요? 테디님 llama3 kor 버전입니다.
@@user-eu4zt3rd3k llama3 는 형식이 달라요. 모델마다 템플릿과 stop token 이 다르기 때문에 각 모델에 맞는 템플릿과 stop token 을 적용해야 올바르게 동작합니다. 참고로, 템플릿과 stop token 도 공유해 놓았어요~
끝까지 봤는데... 어디다 써요?
무료 GPT 모델을 사용하고자 할 때 사용할 수 있어요. 과금이 전혀 되지 않고 인터넷이 없는 환경에서도 동작하죠!