ฝัง
- เผยแพร่เมื่อ 4 มี.ค. 2024
- 📍 발표자료: aifactory.space/task/2719/dis...
📘 랭체인 튜토리얼 무료 전자책(wikidocs)
wikidocs.net/book/14314
✅ 랭체인 한국어 튜토리얼 코드저장소(GitHub)
github.com/teddylee777/langch...
⭐️ 강의 홍보 ⭐️
LangChain + ChatGPT + Streamlit 강의(VOD 강의)
아래에 사전 등록을 하시면 강의 오픈 후 알림을 발송해 드릴 예정이며, 할인 쿠폰도 같이 제공해 드립니다.
📍 LangChain + ChatGPT + Streamlit 강의 사전알림 신청 🙏🙏
링크: forms.gle/buoXoiey7YHrVXVq9
#rag #chatgpt
---
테디노트(깃헙 블로그) : teddylee777.github.io
머신러닝 혼자서 스터디 : github.com/teddylee777/machin...
LLM 프로젝트: llm.teddynote.com
00:00 인트로
01:03 RAG 프로세스
03:16 문서 전처리 단계
05:36 Document Loader
07:18 Document Loader 선택 시 고려사항
10:07 PDF Loader(1) fitz
11:27 PDF Loader(2) PyPDFLoader
11:58 PDF Loader(3) UnstructuredPDFLoader
13:16 PDF Loader(4) PDFPlumber ☆
14:11 Text Splitter (소제목 중요)
15:02 Text Splitter(1) CharacterTextSplitter
15:59 Text Splitter(2) RecursiveCharacterTextSplitter ☆
17:08 Text Splitter(3) TokenTextSplitter
18:05 Text Splitter(4) 오픈소스 토크나이저
18:48 Text Splitter(5) SemanticChunker ☆
19:35 Embedding
21:18 Embedding(1) OpenAIEmbedding ☆ (유료)
23:47 Embedding(2) CacheBackedEmbeddings ☆
25:30 Embedding(3) MTEB (허깅페이스)
26:50 Embedding 정리 오픈소스 vs OpenAI
27:48 VectorStore
28:58 Semantic Search
29:19 VectorStore(1) Faiss
29:51 전처리의 소중한 경험 공유 🎉
30:34 페이지 단위 분할
32:29 필요한 영역 Croping
33:05 문서의 다양한 형태 (열 분할)
34:45 표 추출
35:37 Chunk Overlap
36:22 이미지 추출 (fitz)
36:50 Retriever
37:01 Retriever(1) Multi-Query Retriever
38:18 Retriever(2) Ensemble Retriver ☆
39:33 Retriever(3) Long Context Reorder
40:50 Retriever(4) 그밖에...
41:11 Prompt Engineering
42:05 문서 요약 프롬프트
44:01 마무리
최고네요 감사합니다🙏🙏
정말 RAG 설명의 끝판왕입니다. 어렵고 힘들게 습득하신 경험과 지식을 공유해주셔서 감사드립니다. 복받으실겁니다^^
스타 꾹 누르고 다른 발표도 신청하겠습니다.
좋은 말씀 해주셔서 더 감사드립니다👍🙏🙏 앞으로도 더 많이 연구해서 질좋은 자료 만들겠습니다!!
함께 해주신 분들 너무 감사합니다. 이렇게 재미난 기능이 있는 줄 몰랐네요🎉 또 다뤘으면 하는 주제가 있다면 댓글 남겨 주세요~ 즐거운 밤 되세요🙏👍
많은 도움이 되었습니다. 감사합니다.
감사합니다~^^
도움이 많이되네요 감사드립니다!!
도움이 되셨다니 다행입니다 감사합니다👍👍
좋은 내용 감사합니다!
감사합니다🙏🙏🙏
감사합니다. 👍👍👍👍👍
저도 감사드립니다🙏🙏🙏🙏🙏
정말 궁금한거 다 설명 진심감사해요
시청해 주셔서 감사합니다🙏🙏
기다리던 강의가 올라왔네요. 감사합니다.
👍👍 오래기다리셨습니다~!!
테디님 덕에 잘 LLM도 잘 공부하고있습니다. 노하우를 공개한다는 얘기를 들으면서 어려운 결정이라는 감정을 느꼈는데요. 소중한 경험 공유 감사드리고 존경스럽습니다
아이코 큰 돈 보내주셨네요.. 감사합니다 🥹 맛있는 커피 사먹을께요!!
MLOps 엔지니어시면 저보다 훨씬 더 실력자 이신데 이미 다 아시는 내용일 것 같습니다~^^ 이 분야가 너무 넓고 내용이 방대하다보니 새로운 기술이나 논문이 나오고 배워서 써먹기도 너무 시간이 모자른 것 같습니다 댓글 남겨주신 분처럼 많은 고수분들께서 좋은 의견과 팁 공유해 주시면 저도 많이 배우겠습니다. 후원도 감사하고 좋은 격려 댓글도 감사드려요!! 행복한 하루 되세요🙏🙏
너무 재미있고, 유익했던 영상이었습니다. 감사합니다!
재미있게 봐주셔서 감사합니다!
좋은 강의 잘 들었습니다. 감사합니다.
시청해 주셔서 감사합니다 😊😊
감사합니다!!
감사합니다🤤🙏
감사합니다 너무너무 감사합니다 열심히 학습해보겠습니다!
너무너무너무 감사합니당🙏🙏
최고에요!
감사합니디🙏🙏
유익한 강의 정말 잘 들었습니다! 감사합니다.
감사합니다 다음에는 더 좋은 영상 만들겠습니다🤤
노하우와 팁을 아낌없이 공유해 주셔서 감사합니다.
앞으로도 더 쥐어짜내 보겠습니다👍👍
소중한 지식공유 감사합니다 많이 배웠습니다!
감사합니다🙏🙏
설명을 잘해주셔서 이해하는데 많은 도움이 되었습니다. 감사합니다.
영상이 길었는데요 시청해 주셔서 감사해요! 앞으로도 도움이 되는 영상 만들 수 있도록 최선을 다하겠습니다 좋은 말씀 남겨주셔서 감사해요🙏🙏
귀.....귀.....귀하다...... 감사합니다.
감사합니다~^^
너무 좋은 강의에요! 감사합니다!
감사합니다~🙌🙌
자료보고 놀랬는데 설명도 너무 잘하시는 것 같아요. 목소리도 좋으십니다. 공유해주셔서 감사합니다!
극찬 너무 감사합니다!! 아직 부족한 점도 많고 갈길도 멀지만 하나씩 같이 배워나가 보시죠!!👍👍
와 고민과 시행착오가 많이 녹아있는 강의라는 생각이 들었습니다. 리스펙입니다
좋은 말씀 남겨주셔서 정말 감사합니다🙏🙏
지금까지 봤던 RAG 관련 내용 중 최고에요!!! 감동적입니다
감사합니다! 더 열심히 하겠습니다!
아직도 전통적 방식으로 일하는 장치산업(정유업)에는 너무나 혜안을 주는 강의라고 생각됩니다…!!!항상 감사합니다!
늘 응원해 주셔서 감사합니다 👍👍👍
감사드립니다!
감사합니당🙏🙏
이런 자료 감사합니다...
감사합니다 😊
쵝오^^
감쏴합니다👍🙏
감사합니다❤
감사합니다🙏🙏
정말 감사합니다
감사합니다~!!
기획잡니다. 덕분에 진짜 하나도모르는거 조금이나마 알게됩니다. 감사합니다.
아이쿠 슈퍼챗 😭 감사합니다. 앞으로도 좋은 콘텐츠 많이 만들겠습니다! 응원의 말씀 감사드려요🙏
제가 본 RAG 영상 중에서 가장 깔끔하고 유익했던것 같습니다. 공유해주셔서 감사합니다!! :)
유명하신 분께서 댓글도 남겨주시고 좋은 말씀 감사합니다🙏 저도 알렉스님의 유익한 영상 시청하고 있습니다 좋은 영상과 팁 공유해 주셔서 감사합니다🫡
@@teddynote 아이고 아닙니다ㅎㅎ 영상 너무 잘 보고 있습니다! 아직은 이르겠지만, 저는 언젠가 많은 분들께서 ChatGPT 인터페이스를 떠나 개발, 커스터마이징 단계로 넘어갈것이라 반드시 생각합니다 :) (아니면 ChatGPT 인터페이스에 생기거나..!)
앞으로도 좋은 영상 많이 부탁드립니다!
아직은 개발자의 영역이라고 많이 생각하시는 것 같지만 조금씩조금씩 이쪽 지식에 대한 관심과 호기심(?) 을 가지시는 분들이 늘어나는 것 같습니다~^^ 앞으로 개발쪽도 관심있으신 분들이 많아져서 재미난 콘텐츠들이 많이 생겨났으면 좋겠네요~ 아직 해외 커뮤니티 대비 국내는 굉장히 작은 편이거든요 ㅠ 아무튼! 응원 감사합니다 앞으로 영상 보러 자주 놀러가겠습니다~감사합니다🙏
와아 오늘 테디노트 님 영상을 알고리즘의 축복으로 처음 알게 되었습니다 ..!! 올해 제가 한 일 중에 가장 잘한 일이 테디노트님 영상 알게 된 일이 아닐까 싶어요 ㅎㅎ 감사합니다 ~~ 많이 배우고 갑니다 ~~~
이제야 오셨군요🙌 좋은 말씀 남겨주셔서 감사합니다~ 행복한 하루 되시고 궁금하신 점 댓글 남겨주세요 감사합니다👍
테디형 목소리 넘 좋아요
고정🙌🙌🙌
본인 경험을 이렇게까지 공유해주시다니!
👍👍 조금이나마 도움이 되었으면 합니다! 감사합니다^^
퍄 늘 잘 보고있습니다.
리트리버랑 벡터스토어 관련 부분은 상당히 유익했습니다. 뭐가 더 좋고 나쁘고를 따지기 참 애매하더라구요,,,
개인프로젝트로 진행중이라 이것저것 엄청 손대볼려고 노력중인데 늘 상당히 도움이 많이됩니다!
요즘 랭그래프도 좋은 아키텍쳐들이 많이 나오고 있던데, 시간나시면 요부분도 개발후기 같은 것도 괜찮으시다면 한 번 공유해주시면 너무 좋을 것 같네요😊😊
늘 잘보고 있습니다! 감사합니다!
좋은 말씀 남겨 주셔서 감사합니다. LangGraph 출시 된지 얼마되지 않아서 저도 아직은 적용해 본적은 없지만 Cycle 이 매력적이라 앞으로 기회가 되면 적극 사용해 보려고 합니다. 좋은 인사이트가 있다면 꼭 영상으로 만들어서 공유 드리겠습니다! 늘 감사드립니다🙏🙏
좋은 영상 감사합니다! IT 종사자지만 LLM에 대한 마음의 장벽이 있었는데, 테디 님 덕분에 점차 허물어져 가고 있습니다 ㅎㅎ 복 받으실 거예요 >.
좋은 말씀 남겨 주셔서 감사합니다👍👍
아.. 나도 얼른 훌륭해져서 테디노트님 같이 좋은 일 많이해야지ㅠ 정말 감사합니다. 근래에 들은 강의중 넘사 젤 귀한 강의입니다. 넘 감동이네요ㅠ 정말 필요했어요.
정말 과찬이십니다! 좋은 말씀 남겨주셔서 정말 힘이 많이 납니다. 앞으로도 도움이 되는 콘텐츠 많이 만들겠습니다. 감사합니다!!
완벽한 설명 감사드립니다! 추가로 궁금한 부분이 있습니다. 데이터(PDF)를 로드하여 벡터 DB로 저장할 때 활용한 임베딩 모델(ex. OpenAI Embedding)과 사용자 질의를 벡터로 변환할 때 활용하는 임베딩 모델은 동일하며, 이후 ChromaDB나 FAISS의 semantic serach를 통해 DB 내에서 유사한 벡터를 찾아내서 프롬프트에 넣어준다 라고 이해하면 될까요?
정확합니다. 유사도 검색 알고리즘은 다양한 알고리즘 사용 가능하구요. 커스텀한 알고리즘 사용도 가능해요!!
안녕하십니까 영상 잘봤습니다.
실제 규정이나 공지사항 pdf 안에는 테이블 형식으로 작성한 경우가 상당히 많은데 이 경우에는 어떤 Document Loader를 추천하시나요?
저는 pdfplumber 로 테이블을 가져와서 후처리 하는 방법을 선호합니다~ 한 번 시도해 보시는 것을 추천 드려요~
최근 랭체인을 활용해서 어플리케이션 개발중인데 도움이 많이되었습니다. 노하우 공유까지 정말로 감사합니다! 혹시 context reorder의 체감성능은 어떠셨나요? 저는 에이전트를 활용하는 방식을 사용하고있는데, 기본 agent executor는 사실 컨텍스트 재정렬을 원하는 방식으로 행하기 힘들더라구요. 성능차이가 심하다면 executor를 커스텀하는것도 고려중입니다.
아이쿠... 후원 감사합니다😭
공유가 도움이 되셨다니 제가 더 감사합니다 :)
context reorder 는 여유가 되신다면 꼭 시도해 보셨으면 좋겠습니다. (retrieval 하는 k 계수 설정이 어떻게 되었는지는 모르겠지만) 저의 경우는 chunk size를 작게 가져갈 때 k계수는 늘리고, 늘어난 k계수 만큼 retrieval 되는 문서 조각이 많아 지는데 이럴때 context reorder 를 적용해서 결과 받으면 좋은 결과로 이어진 경험이 있어 꼭 시도해 보는 편입니다.
agent 사용하면 말씀하신 것처럼 원하는 방식으로 행하기 힘들다는 점에 100% 공감합니다.
그래서 정교한 처리를 할 때는 아직 agent 보다는 파이프라인 직접 짜는 것을 선호하는 편이구요.
데이터마다 사실 결과가 많이 다르고 프롬프트 엔지니어링에 따라 또 차이가 심하다보니 context reorder 때문에 좋아진 건지 프롬프트 엔지니어링 때문에 좋아진건지 정확하게 판가름하기 어려운 때도 있었습니다
끝으로, 지금의 방식과 / context reorder 적용한 방식과 결과를 일단 비교해 보시고, 가능성이 보이면 좀 더 튜닝해서 나중에 앙상블을 해서 최적의 결과가 나올때까지 한 번 더 튜닝해 보시는 것도 하나의 방법일 수 있습니다.
딱 떨어지는 정답이 없어 참 답답할 때도 있지만, 만약에 테스트 해보시고 좋은 결과로 이어졌다면 공유 한 번 해주십쇼~!!🙏🙏
선생님 감사합니다! 한국 기업들도 적극적으로 인공지능을 사용하는 날이 오길..
점점점 더 많이 늘어날 것 같습니다!! 접근성이 더 좋아지는 것 같아요~!
안녕하세요, 영상 잘보고 있습니다~ 관련 자료보고 랭체인 한국어 튜토리얼 보면서 따라 하고 있는데, UnstructuredPDFLoader을 사용시 partially initialized module 'charset_normalizer' has no attribute 'md__mypyc' (most likely due to a circular import)이러한 에러가 발생합니다. 혹시 실행하시다가 같은 에러가 발생하셨을까요? 발생했다면 어떻게 처리 하셨는지 궁금합니다~ (stackoverflow에 나온대로 처리 해봤지만 되지 않네요 ㅜㅜ)
처음에 에러 났다가 pip 설치하고 에러 해결 됐습니다~^^
명령어:
# # Install package
%pip install --upgrade --quiet "unstructured[all-docs]"
안녕하세요. 영상 너무 잘 봤습니다! 궁금한 게 있습니다. retriever에서 앙상블 모델을 사용하려고 하는데요, doc list를 직접 임베딩해 사용하는 방식으로 이해했는데 이미 db에 저장해둔 임베딩을 대상으로 bm25와 faiss를 융합한 검색은 어떻게 할 수 있나요? db에 임베딩 저장 -> 쿼리가 들어오면 BM25 + FAISS로 DB에서 문서 서치 하는 방법이 궁금합니다
DB에 BM25와 / dense embedding 한 도큐먼트를 저장합니다. faiss 와 같은 DB 는 아쉽게도 bm25(sparse retriever) 는 지원하지 않습니다. 별도의 DB 공간이 필요합니다.
>> 각각의 검색기(retriever)를 초기화 하여 앙상블 하실 수 있습니다!
(키워드 검색이 필요한 문서) -> sparse DB
(유사 의미 검색이 필요한 문서) -> dense DB
이렇게 관리하는 것도 전략 중에 하나입니다~! 도움이 되셨으면 좋겠습니다! 감사합니다.
정성스러운 노하우 공유 정말 감사드립니다 😊
안녕하세요? 덕분에 많은 도움을 받았습니다. 그리고 한가지 궁금한 것이 있습니다. PDF LOADER를 통해 메타데이터를 잘 불러 왔습니다. 그런데 답변을 생성할 때는 어떠한 방법을 써도 메타데이터 정보를 넣을 수가 없습니다. 청크의 첫 번째 어절을 문서의 제목으로 반환하는 현상이 계속 나타나는데요, 어떻게 해결을 하면 좋을까요?
일단 로더로 불어온 메타정보를 문서를 임베딩하여 DB에 넣을 때 메타정보를 같이 저장해야 합니다. (처음에 별도 저장이 잘 안된다면 문서의 내용에 포함하는 방법으로 우선 적용 해보세요)
나중에 쿼리가 들어와 메타정보로 필터링 하기 위해서는 별도의 메터정보 필터링 처리가 필요합니다. 이는 여러 방식으로 구현할 수 있어요. 이 부분은 랭체인 영문 튜토리얼 페이지에 검색해 보시면 예제들이 나와있어서 한 번 찾아보시는 것을 추천 드립니다~!
자바스크립트 버젼도 있나요?!
네 있습니다~
임베딩이 끝난 문서들을 chromadb 에 저장하고 나서 다시 한번 추가된 문서를 임베딩해서 원래 chromadb에 추가로 저장을 하는 방법이 있나요?? 업데이트 되는 문서를 처음부터 다시 임베딩하고 저장하기에는 시간이 오래걸려서..
여기 참고하시면 됩니다!!
stackoverflow.com/questions/76650513/dynamically-add-more-embedding-of-new-document-in-chroma-db-langchain