API 예상 비용에 대해서 궁금하실 분들이 많으실 것 같아서 고정 댓글로 달아둡니다. API 비용은 사용하는 패턴에 따라서 달라질 수 있어서 정확히 답변드리기는 어렵지만 참고용으로만 봐주세요. (실제로는 Document 기능을 사용한다던가 Chat History 개수 세팅에 따라서도 Context window 사이즈가 달라질 수 있기 때문에 비용도 차이가 날 수 있습니다.) API 사용 비용은 input, output 비용이 별개로 측정되어서 비용을 각각 계산해주어야 합니다. - 입력에 사용된 토큰: 평균 5000 토큰 가정 (대략적으로 chat history 까지 감안한다면) - 응답에 사용된 토큰: 평균 1000 토큰 가정 ==================================== GPT-3.5 버전 사용시 1회 요청당 예상 요금 - input: 5000 * 0.0000005$ = 0.0025$ = 3원 - output: 1000 * 0.0000015$ = 0.0015$ = 2원 - 1회 요청당 비용: 5원 GPT-4o 버전 사용시 1회 요청당 예상 요금 (한국어 토큰 최적화 1.7배 적용) - input: 3000 * 0.000005$ = 0.015$ = 21원 - output: 600 * 0.000015$ = 0.009$ = 12원 - 1회 요청당 비용: 33원 ==================================== API 요금제 확인 openai.com/api/pricing/ 토큰수 계산 platform.openai.com/tokenizer
🎯 Key points for quick navigation: 00:00 *📊 ChatGPT 비용 절감 방법 소개* - ChatGPT 및 다른 LLM 모델 비용을 사용량에 맞게 지불하는 방법 소개, - AnythingLLM을 이용한 ChatGPT 대체 방법 안내, - Ollama를 통한 로컬에서의 생성형 AI 모델 실행 방법 소개. 00:58 *🖥️ AnythingLLM 설치 및 실행 방법 안내* - AnythingLLM 다운로드 및 설치하는 방법 설명, - 프로그램 실행 후 LLM 모델 선택 및 설정하는 방법 안내, - Open Settings에서 제공되는 설정 옵션 활용 방법 안내. 02:27 *🔑 OpenAI API Key 발급 방법* - OpenAI 플랫폼에서 API 키 발급 절차 설명, - API 키의 권한 설정 방법 안내, - 발급된 API 키의 안전 보관 및 관리 방법 소개. 09:55 *📚 학습되지 않은 데이터를 AnythingLLM에 업로드하고 학습시키는 방법* - AnythingLLM을 사용하면 ChatGPT가 학습하지 않은 데이터에 대해도 Document로 업로드하고 학습시킬 수 있습니다. - 업로드 가능한 파일 형식에는 PDF, 텍스트, 마크다운 등이 포함됩니다. - 업로드는 무제한으로 가능하며 개인정보 보호 문제도 로컬에서 자유롭게 처리할 수 있습니다. 10:54 *📊 유튜브 영상을 AnythingLLM에 연결하고 학습시키기* - 유튜브 영상을 AnythingLLM의 Data Connectors를 통해 연결하고 Transcript를 수집하여 워크스페이스로 이동시킵니다. - 학습된 데이터를 바탕으로 ChatGPT가 해당 유튜브 영상에 대해 질문에 답변할 수 있습니다. - ChatGPT가 원래 학습된 데이터에 없는 새로운 정보에 대해서도 학습하고 답변할 수 있도록 활용됩니다. 12:23 *🧠 AnythingLLM을 사용한 추가적인 학습과 RAG 기술 소개* - AnythingLLM을 이용해 RAG(Retriever-Aided Generation) 기술을 활용하여 대형 LLM 모델이 학습하지 않은 데이터를 추가적으로 학습시킬 수 있습니다. - 개인화된 ChatGPT나 다른 LLM 모델을 만들 수 있는 기회를 제공합니다. - AnythingLLM은 개인정보 보안 문제를 우회하고 로컬에서 학습된 모델을 활용할 수 있는 오픈소스 프로그램입니다. Made with HARPA AI
유익한 강의 감사합니다. 질문 3가지 드립니다. 1.OPENAI사의 API키를 받으면 AnythingLLM에서 모델을 다양하게 선택할수 있는거죠 ( 3.5 ,4 , 4O를 구분해 API를 각각 받는 것은 아니죠 ? ) 2.4이상 버젼에서는 첨부 파일을 올리거나 하는데 AnythingLLM 동일하게 지원 되나요 ? 3.각자의 파일을 올려 학습하는 것은 세팅에서 벡터DB를 선택하는 것으로 보아서, RAG 방식을 제 로컬안에서 취하도록 하는 것으로 이해 되었는데 맞는건가요? 늘 좋은 내용으로 지식을 공유해 주셔서 감사합니다.
1. 넵 OpenAI API 키를 발급받으면 해당 API 키로 3.5, 4, 4o 버전 모델을 사용할 수 있습니다. 2. ChatGPT 처럼 채팅 내부에서 첨부파일을 올리는 기능은 없지만 영상에서 설명드린 Document를 사용하면 가능합니다. 3. 말씀주신대로 RAG 방식을 로컬에서 동작하도록 해주는게 맞습니다~!
LLM 발전도 빠른데 이들을 활용하는 방법도 다채롭게 소개되고 있네요. 훌륭한 도구 알려주셔서 감사합니다. LLM 제공사 중 메타의 olla 를 선택해도 비용이 드는지, 또 olla를 로컬에 설치하고 anything LLM에 연결할 수 있는지, 그런경우 비용지불없이 쓸 수 있는건지요?
영상 잘 봤습니다. 한가지 문의 사항이 있는데요...LLM Provider를 chat GPT를 선택하지 않고 상단의 anythingLLM을 선택해도 OPEN AI에 가서 API키를 발급받아서 세팅을 해 줘야 하나요? 그리고 이 분야의 '6학년2반의 왕초보'(^^)라 anythingLLM에 대한 자세한 '가이드북' 같은 자료를 구할 수 있을까요? 물론 anythingLLM에도 도움자료 항목이 있는데 제가 궁금해 하는 부분에 대한 답변은 구할 수가 없어서요^^ 참고사이트 등을 알려 주셔도 감사하겠습니다~~
안녕하세요! 영상 잘 보았습니다. 질문 1) 만약 100GB 넘는 문서 파일(PDF 등)을 My Documents 로 업로드 하면, 이것을 학습하는 데에 매우 많은 비용이 발생하겠지요? 질문 2) 그런데 한번 학습한 것은 Vector DB 로 로컬에 저장되나요? 어디에 저장되나요? 질문 3) 한번 학습한 것은 누적되어 다시 학습할 필요가 없으니, 기존에 My Documents 에 업로드 한 것은 비용이 발생하지 않지요? 질문 4) 한번 저장한 Vector DB 로 Claude 와 같은 다른 서비스로 변경하여 사용할 수 있나요? 감사합니다 ^_^
영상 시청 감사드립니다! 질문 1) 문서 사이즈가 크면 그만큼 context가 많이 들기때문에 비용이 많이 발생할 수도 있습니다. 그리고 해당 LLM이 한 번에 수용 가능한 context window 사이즈도 검토해보셔야 할 것 같습니다. 질문 2) 말씀주신대로 한 번 학습한 데이터는 벡터 데이터베이스에 임베드 되는 형태입니다. 질문 3) 한 번 벡터 데이터베이스에 임베드된 문서는 다시 학습할 필요가 없습니다. 비용도 다시 발생하지 않습니다. 질문 4) 다른 LLM으로 전환해서 사용하는건 자유롭습니다.
질문에 대한 빠른 답변에 힘 입어 바로 실행을 해 보았습니다. GPT4 TURBO로 설정하고 질의해 보았고요. 답변에 대한 근거에 사용한 인터넷 URL을 달라고 질문해 보니 인터넷 서치권한은 없다며 답하지 않네요. 원래 API 서비스에서는 동일한 GPT4 터보를 사용하더라도, 답변에 근거인 링크를 제공해 주지는 않는건가요 ?
웹브라우징 기능은 GPT-4에서 지원하는 기능은 아니라서 링크를 제공해주지는 못합니다. 대신에 AnythingLLM에 Agent라는 기능을 활용하면 웹브라우징이 가능합니다. 채팅창에 @agent 를 입력하고 링크를 달라고 요청하시면 아마 agent가 링크를 가져다 줄거에요! Agent에 대한 부분은 영상에서 다루지 못했는데 자세한 사용 방법은 아래 링크를 참고해보시면 될 것 같습니다. docs.useanything.com/agent/usage
네 아직 AnythingLLM 데스크톱 애플리케이션이 업데이트가 되지 않아서 그렇습니다. Claude 버전 관련 코드는 이미 반영된 것으로 봐서 데스크톱 버전 배포도 곧 진행되지 않을까 생각됩니다! github.com/Mintplex-Labs/anything-llm/pull/1731
질문주신 내용이 생각나서 다시 찾아보니까 결제 금액에 따라서 tier가 나눠지는 것 같습니다. GPT-4o 모델을 사용하려면 Tier 1 이 되어야 사용가능한데 5$ 이상 충전하시면 보이게 될 것 같습니다! platform.openai.com/docs/guides/rate-limits/usage-tiers?context=tier-one
AnythingLLM 프로그램 자체는 무료로 사용하실 수 있고 실제 채팅에서 얼마나 많은 채팅을 하는지에 따라서 비용이 달라질 수 있어서 딱 얼마가 나온다라고는 말씀드리기가 힘듭니다. 대신 대략적으로 계산해보실 수 있도록 고정댓글에 달아두었으니 참고해주시면 될 것 같습니다~!
API 예상 비용에 대해서 궁금하실 분들이 많으실 것 같아서 고정 댓글로 달아둡니다.
API 비용은 사용하는 패턴에 따라서 달라질 수 있어서 정확히 답변드리기는 어렵지만 참고용으로만 봐주세요.
(실제로는 Document 기능을 사용한다던가 Chat History 개수 세팅에 따라서도 Context window 사이즈가 달라질 수 있기 때문에 비용도 차이가 날 수 있습니다.)
API 사용 비용은 input, output 비용이 별개로 측정되어서 비용을 각각 계산해주어야 합니다.
- 입력에 사용된 토큰: 평균 5000 토큰 가정 (대략적으로 chat history 까지 감안한다면)
- 응답에 사용된 토큰: 평균 1000 토큰 가정
====================================
GPT-3.5 버전 사용시 1회 요청당 예상 요금
- input: 5000 * 0.0000005$ = 0.0025$ = 3원
- output: 1000 * 0.0000015$ = 0.0015$ = 2원
- 1회 요청당 비용: 5원
GPT-4o 버전 사용시 1회 요청당 예상 요금 (한국어 토큰 최적화 1.7배 적용)
- input: 3000 * 0.000005$ = 0.015$ = 21원
- output: 600 * 0.000015$ = 0.009$ = 12원
- 1회 요청당 비용: 33원
====================================
API 요금제 확인
openai.com/api/pricing/
토큰수 계산
platform.openai.com/tokenizer
🎯 Key points for quick navigation:
00:00 *📊 ChatGPT 비용 절감 방법 소개*
- ChatGPT 및 다른 LLM 모델 비용을 사용량에 맞게 지불하는 방법 소개,
- AnythingLLM을 이용한 ChatGPT 대체 방법 안내,
- Ollama를 통한 로컬에서의 생성형 AI 모델 실행 방법 소개.
00:58 *🖥️ AnythingLLM 설치 및 실행 방법 안내*
- AnythingLLM 다운로드 및 설치하는 방법 설명,
- 프로그램 실행 후 LLM 모델 선택 및 설정하는 방법 안내,
- Open Settings에서 제공되는 설정 옵션 활용 방법 안내.
02:27 *🔑 OpenAI API Key 발급 방법*
- OpenAI 플랫폼에서 API 키 발급 절차 설명,
- API 키의 권한 설정 방법 안내,
- 발급된 API 키의 안전 보관 및 관리 방법 소개.
09:55 *📚 학습되지 않은 데이터를 AnythingLLM에 업로드하고 학습시키는 방법*
- AnythingLLM을 사용하면 ChatGPT가 학습하지 않은 데이터에 대해도 Document로 업로드하고 학습시킬 수 있습니다.
- 업로드 가능한 파일 형식에는 PDF, 텍스트, 마크다운 등이 포함됩니다.
- 업로드는 무제한으로 가능하며 개인정보 보호 문제도 로컬에서 자유롭게 처리할 수 있습니다.
10:54 *📊 유튜브 영상을 AnythingLLM에 연결하고 학습시키기*
- 유튜브 영상을 AnythingLLM의 Data Connectors를 통해 연결하고 Transcript를 수집하여 워크스페이스로 이동시킵니다.
- 학습된 데이터를 바탕으로 ChatGPT가 해당 유튜브 영상에 대해 질문에 답변할 수 있습니다.
- ChatGPT가 원래 학습된 데이터에 없는 새로운 정보에 대해서도 학습하고 답변할 수 있도록 활용됩니다.
12:23 *🧠 AnythingLLM을 사용한 추가적인 학습과 RAG 기술 소개*
- AnythingLLM을 이용해 RAG(Retriever-Aided Generation) 기술을 활용하여 대형 LLM 모델이 학습하지 않은 데이터를 추가적으로 학습시킬 수 있습니다.
- 개인화된 ChatGPT나 다른 LLM 모델을 만들 수 있는 기회를 제공합니다.
- AnythingLLM은 개인정보 보안 문제를 우회하고 로컬에서 학습된 모델을 활용할 수 있는 오픈소스 프로그램입니다.
Made with HARPA AI
유익한 강의 감사합니다. 질문 3가지 드립니다. 1.OPENAI사의 API키를 받으면 AnythingLLM에서 모델을 다양하게 선택할수 있는거죠 ( 3.5 ,4 , 4O를 구분해 API를 각각 받는 것은 아니죠 ? ) 2.4이상 버젼에서는 첨부 파일을 올리거나 하는데 AnythingLLM 동일하게 지원 되나요 ? 3.각자의 파일을 올려 학습하는 것은 세팅에서 벡터DB를 선택하는 것으로 보아서, RAG 방식을 제 로컬안에서 취하도록 하는 것으로 이해 되었는데 맞는건가요? 늘 좋은 내용으로 지식을 공유해 주셔서 감사합니다.
1. 넵 OpenAI API 키를 발급받으면 해당 API 키로 3.5, 4, 4o 버전 모델을 사용할 수 있습니다.
2. ChatGPT 처럼 채팅 내부에서 첨부파일을 올리는 기능은 없지만 영상에서 설명드린 Document를 사용하면 가능합니다.
3. 말씀주신대로 RAG 방식을 로컬에서 동작하도록 해주는게 맞습니다~!
LLM 발전도 빠른데 이들을 활용하는 방법도 다채롭게 소개되고 있네요. 훌륭한 도구 알려주셔서 감사합니다. LLM 제공사 중 메타의 olla 를 선택해도 비용이 드는지, 또 olla를 로컬에 설치하고 anything LLM에 연결할 수 있는지, 그런경우 비용지불없이 쓸 수 있는건지요?
말씀주신 것처럼 계속해서 좋은 툴들이 많이 나오는 것 같습니다ㅎ
그리고 질문에 답변 드린다면 Ollama로 provider 선택하고 메타에서 지원하는 모델을 로컬에서 돌린다면 아무런 비용 없이도 이용 가능합니다!
좋은 정보 정말 감사드립니다. 혹시 anythingLLM 내에서도 GPTs 사용할 수 있나요?
GPTs는 사용 불가합니다ㅠ
영상 잘 봤습니다. 한가지 문의 사항이 있는데요...LLM Provider를 chat GPT를 선택하지 않고 상단의 anythingLLM을 선택해도 OPEN AI에 가서 API키를 발급받아서 세팅을 해 줘야 하나요? 그리고 이 분야의 '6학년2반의 왕초보'(^^)라 anythingLLM에 대한 자세한 '가이드북' 같은 자료를 구할 수 있을까요? 물론 anythingLLM에도 도움자료 항목이 있는데 제가 궁금해 하는 부분에 대한 답변은 구할 수가 없어서요^^ 참고사이트 등을 알려 주셔도 감사하겠습니다~~
영상 시청 감사드립니다^^
Provider를 ChatGPT를 선택하지 않고 anythingLLM을 선택하셨다면 OpenAI에서 API 키를 발급받으실 필요가 없습니다!
좋은 영상 감사합니다. 파이썬으로 open api를 불러와서 사용하는것과 anything LLM과 기능적인 차이는 없나요?
네 anythingLLM에서도 동일 API를 사용하기 때문에 기능적인 차이는 없습니다!
안녕하세요! 영상 잘 보았습니다.
질문 1) 만약 100GB 넘는 문서 파일(PDF 등)을 My Documents 로 업로드 하면, 이것을 학습하는 데에 매우 많은 비용이 발생하겠지요?
질문 2) 그런데 한번 학습한 것은 Vector DB 로 로컬에 저장되나요? 어디에 저장되나요?
질문 3) 한번 학습한 것은 누적되어 다시 학습할 필요가 없으니, 기존에 My Documents 에 업로드 한 것은 비용이 발생하지 않지요?
질문 4) 한번 저장한 Vector DB 로 Claude 와 같은 다른 서비스로 변경하여 사용할 수 있나요?
감사합니다 ^_^
영상 시청 감사드립니다!
질문 1) 문서 사이즈가 크면 그만큼 context가 많이 들기때문에 비용이 많이 발생할 수도 있습니다. 그리고 해당 LLM이 한 번에 수용 가능한 context window 사이즈도 검토해보셔야 할 것 같습니다.
질문 2) 말씀주신대로 한 번 학습한 데이터는 벡터 데이터베이스에 임베드 되는 형태입니다.
질문 3) 한 번 벡터 데이터베이스에 임베드된 문서는 다시 학습할 필요가 없습니다. 비용도 다시 발생하지 않습니다.
질문 4) 다른 LLM으로 전환해서 사용하는건 자유롭습니다.
영상 잘봤습니다 ^^ 궁금한게 그럼 기존 구독하고 있던 챗지피티는 그대로 구독하는데 이걸 깔기만해도 기존 구독료에서 사용한만큼만 지불하게 바뀐다는건지요? 다른 설정없이 되는지 궁금합니다~
기존 챗GPT와는 별개로 API 키를 발급 받아서 사용해주셔야 합니다. (영상 03:02 부분 참고)
만약 이 프로그램으로 사용한만큼만 지불하도록 변경하시려면 기존 구독은 취소해주셔야지 비용이 이중으로 부과되지 않습니다!
질문에 대한 빠른 답변에 힘 입어 바로 실행을 해 보았습니다. GPT4 TURBO로 설정하고 질의해 보았고요. 답변에 대한 근거에 사용한 인터넷 URL을 달라고 질문해 보니 인터넷 서치권한은 없다며 답하지 않네요. 원래 API 서비스에서는 동일한 GPT4 터보를 사용하더라도, 답변에 근거인 링크를 제공해 주지는 않는건가요 ?
웹브라우징 기능은 GPT-4에서 지원하는 기능은 아니라서 링크를 제공해주지는 못합니다.
대신에 AnythingLLM에 Agent라는 기능을 활용하면 웹브라우징이 가능합니다.
채팅창에 @agent 를 입력하고 링크를 달라고 요청하시면 아마 agent가 링크를 가져다 줄거에요!
Agent에 대한 부분은 영상에서 다루지 못했는데 자세한 사용 방법은 아래 링크를 참고해보시면 될 것 같습니다.
docs.useanything.com/agent/usage
@@개발동생 역쉬 👍 감사합니다. ^^
각 Provider의 api 사용에 대한 충전만 해놓으면 유료구독을 하지않아도 AnythingLLM을 통해서 claude pro나 gpt4o 를 사용할 수 있다는 말인가요?
넵 정확합니다~!
Anything LLM에서 claude 3.5 가 선택이 안되는데 아직 업데이트가 안된건가요?
네 아직 AnythingLLM 데스크톱 애플리케이션이 업데이트가 되지 않아서 그렇습니다.
Claude 버전 관련 코드는 이미 반영된 것으로 봐서 데스크톱 버전 배포도 곧 진행되지 않을까 생각됩니다!
github.com/Mintplex-Labs/anything-llm/pull/1731
영상보고 하려고 하는데 LLM preference 안에서 openAI 에서 API key 입력하고 챗 모델 선택하려고 하는데 gpt-3.5만 나오는데 이유가 있을까요 돈 지불한 사람만 변경 가능한건가요? ㅠㅠ
영상에서 처럼 다양한 챗 모델이 보이지 않아 문의드립니다.
@@Lauragil-qb7mo 아마도 말씀 주신것처럼 API 비용을 일부 충전하고 해야지 나올수도 있을 것 같습니다!
질문주신 내용이 생각나서 다시 찾아보니까 결제 금액에 따라서 tier가 나눠지는 것 같습니다.
GPT-4o 모델을 사용하려면 Tier 1 이 되어야 사용가능한데 5$ 이상 충전하시면 보이게 될 것 같습니다!
platform.openai.com/docs/guides/rate-limits/usage-tiers?context=tier-one
AnythingLLM을 안드로이드폰에서 GPT4o API로 사용할 수 있는 방법이 있을까요?
아직은 모바일 앱은 나오지 않아서 힘들 것 같습니다🥲
음성 기능은 사용할 수 없나요??
네 음성 기능은 아직 지원되지 않습니다 🥲
비용이 얼마정도 되나요?
AnythingLLM 프로그램 자체는 무료로 사용하실 수 있고
실제 채팅에서 얼마나 많은 채팅을 하는지에 따라서 비용이 달라질 수 있어서 딱 얼마가 나온다라고는 말씀드리기가 힘듭니다.
대신 대략적으로 계산해보실 수 있도록 고정댓글에 달아두었으니 참고해주시면 될 것 같습니다~!