Em chào anh, em có một thắc mắc như sau: đối với chatbot anh đang build này, ở đoạn embedding model để xử lý text, mình có thể dùng model mà mình tự code thay cho Amazon hay Cohere không ạ? Nếu có thì mình embedded như nào và có reference cho thao tác không anh? Em cảm ơn anh đã làm video này, nó giúp em nhiều trong việc tìm hiểu và xây dựng Chatbot cho nhu cầu của bài toán em đang giải ạ.
Chào bạn, cảm ơn bạn rất nhiều vì đã đặt câu hỏi cho mình. Cũng xin lỗi bạn vì giờ mình mới phản hồi cho bạn được. Tuy nhiên về câu hỏi của bạn mình xin phép phản hồi như sau: Bạn hoàn toàn có thể sử dụng mô hình embedding tự code thay vì Amazon hoặc Cohere khi xây dựng chatbot trên AWS Bedrock. Các bước cụ thể: 1. Xây dựng mô hình embedding của riêng bạn (sử dụng PyTorch, TensorFlow...). 2. Deploy mô hình lên AWS SageMaker hoặc EC2, tạo một endpoint để gọi embedding. 3. Tích hợp với chatbot: Thay vì gọi các model của Bedrock, bạn có thể gọi API của mô hình mình đã deploy. Hoặc bạn có thể sử dụng trực tiếp trong code: Bạn cũng có thể dùng thư viện như Hugging Face để xử lý embedding ngay trong code chatbot. Tham khảo: AWS SageMaker - Deploy models: docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-deployment.html AWS API Gateway: aws.amazon.com/api-gateway/ Hugging Face Transformers Documentation: huggingface.co/docs/transformers
Knowledge Base creation with a root user is not supported. Please sign-in with an IAM user or IAM role and try again. Muốn đổi từ root user sang IAM làm sao nhỉ admin.
Creating a Knowledge Base with the root user is not supported for security reasons. AWS recommends using an IAM user or IAM role with the necessary permissions to manage resources securely. Please sign in with an IAM user or role and try again. If you need guidance on how to create an IAM user or role, please follow the instructions below." How to Create an IAM User and Role in AWS 1. Creating an IAM User Log in to the AWS Management Console: Visit the AWS Management Console. Log in using your root account or an IAM user account that has administrative privileges. Navigate to IAM: In the AWS Console, search for IAM in the search bar and select IAM. Create a New IAM User: In the IAM dashboard, click on Users from the left sidebar, then click Add user. Enter the username for the new IAM user. Select the type of access you want to grant: Programmatic access: To allow access via API, CLI, or SDK. AWS Management Console access: To allow the user to sign in to the Console (you'll need to set up a password). Set Permissions for the User: You can assign permissions by: Attach existing policies directly: Choose from predefined policies such as AdministratorAccess or custom policies. Create a new group: Create a group with specific permissions and add the user to that group. Attach custom managed policies: Attach any policies that you’ve created. Review and Create the User: Review the configuration and click Create user. AWS will provide you with an Access key ID and Secret access key (if programmatic access was selected). Make sure to save this information securely. Accessing the Console with the New IAM User: You can now log in to the AWS Management Console using the new IAM user’s credentials.
Chào bạn. Cảm ơn bạn đã đặt câu hỏi cho mình. Về câu hỏi của bạn, User chắc chắn phải có đủ quyền nhé bạn. Trong video mình sử dụng user có quyền AdministratorAccess để khởi tạo. Ngoài ra, nếu tài khoản của bạn là tài khoản mới thì cần liên hệ support để họ mở cho mình sử dụng service nha. Ngoài ra các dịch vụ này khi khởi tạo đều phát sinh chi phí theo thực tế sử dụng nhé bạn.
@@flyto-cloud Hình như mấy model trên đều tính phí hay sao nhỉ admin, mình chạy thử vài câu để test nhưng nó bắt đầu tính phí ( sử dụng model Claude 3 Sonnet v1)
a cho em hỏi là ở phần bedrock e không tạo được knowledge bases và e bị báo là : Access denied to aoss:CreateSecurityPolicy mặc dù tài khoản root em đã cho nó đủ quyền rồi ạ. Hy vọng a giải đáp thắc mắc giúp em ạ. Em xin cảm ơn.
Bạn có thể cho mình xin hình ảnh lỗi cụ thể được không ạ. Phần Knowledge bases bạn có thể thử dùng tài khoản có quyền admin để tạo trước nhé. Còn phần Agent liên quan đến API bạn nên cấp quyền vừa đủ cho tài khoản api đó trước khi cấu hình với web.
Admin cho mình hỏi tí ạ mong anh phản hồi. Hiện tại mình làm các bước giống trên video, nhưng mình không demo model chatbot nữa nhưng sau mỗi giờ mình vẫn bị tính phí 3-4$ về opensearch seẻvice. Làm thế nào để hủy dịch vụ này để không bị mất phí liên tục ạ.
Bạn vào phần dịch vụ Opensearch và dịch vụ Bedrock, xóa hết các thành phần đi nhé. Mặc định khi tạo ra 1 chat bot sử dụng Bedrock nó sẽ tạo ra các vector database và các thành phần cần thiết. Bạn cần xóa hết các thành phần này đi.
@@GodPlayer-Diva Quản lý chi phí trên AWS có nhiều cách, đơn giản nhất là bạn đặt budget cho nó bắn cảnh báo về email của bạn về tình trạng chi phí và kết hợp với các dịch vụ báo cáo chi phí khác của AWS. Tuy nhiên, để tránh phát sinh chi phí không cần thiết thì cách duy nhất là chúng ta phải chủ động vào rà soát chi phí và xóa các tài nguyên không sử dụng vì nguyên tắc AWS sẽ không tự động đóng tài khoản hay ngắt dịch vụ của khách hàng trừ trường hợp khách hàng không thanh toán. Để xem chi phí có thể xem ở dịch vụ Billing and Cost Managerment.
Video rất hay và bổ ích 10 điểm
Hay
Em chào anh, em có một thắc mắc như sau: đối với chatbot anh đang build này, ở đoạn embedding model để xử lý text, mình có thể dùng model mà mình tự code thay cho Amazon hay Cohere không ạ? Nếu có thì mình embedded như nào và có reference cho thao tác không anh? Em cảm ơn anh đã làm video này, nó giúp em nhiều trong việc tìm hiểu và xây dựng Chatbot cho nhu cầu của bài toán em đang giải ạ.
Chào bạn, cảm ơn bạn rất nhiều vì đã đặt câu hỏi cho mình. Cũng xin lỗi bạn vì giờ mình mới phản hồi cho bạn được. Tuy nhiên về câu hỏi của bạn mình xin phép phản hồi như sau:
Bạn hoàn toàn có thể sử dụng mô hình embedding tự code thay vì Amazon hoặc Cohere khi xây dựng chatbot trên AWS Bedrock.
Các bước cụ thể:
1. Xây dựng mô hình embedding của riêng bạn (sử dụng PyTorch, TensorFlow...).
2. Deploy mô hình lên AWS SageMaker hoặc EC2, tạo một endpoint để gọi embedding.
3. Tích hợp với chatbot: Thay vì gọi các model của Bedrock, bạn có thể gọi API của mô hình mình đã deploy.
Hoặc bạn có thể sử dụng trực tiếp trong code: Bạn cũng có thể dùng thư viện như Hugging Face để xử lý embedding ngay trong code chatbot.
Tham khảo:
AWS SageMaker - Deploy models: docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-deployment.html
AWS API Gateway: aws.amazon.com/api-gateway/
Hugging Face Transformers Documentation: huggingface.co/docs/transformers
Knowledge Base creation with a root user is not supported. Please sign-in with an IAM user or IAM role and try again.
Muốn đổi từ root user sang IAM làm sao nhỉ admin.
Creating a Knowledge Base with the root user is not supported for security reasons. AWS recommends using an IAM user or IAM role with the necessary permissions to manage resources securely. Please sign in with an IAM user or role and try again. If you need guidance on how to create an IAM user or role, please follow the instructions below."
How to Create an IAM User and Role in AWS
1. Creating an IAM User
Log in to the AWS Management Console:
Visit the AWS Management Console.
Log in using your root account or an IAM user account that has administrative privileges.
Navigate to IAM:
In the AWS Console, search for IAM in the search bar and select IAM.
Create a New IAM User:
In the IAM dashboard, click on Users from the left sidebar, then click Add user.
Enter the username for the new IAM user.
Select the type of access you want to grant:
Programmatic access: To allow access via API, CLI, or SDK.
AWS Management Console access: To allow the user to sign in to the Console (you'll need to set up a password).
Set Permissions for the User:
You can assign permissions by:
Attach existing policies directly: Choose from predefined policies such as AdministratorAccess or custom policies.
Create a new group: Create a group with specific permissions and add the user to that group.
Attach custom managed policies: Attach any policies that you’ve created.
Review and Create the User:
Review the configuration and click Create user.
AWS will provide you with an Access key ID and Secret access key (if programmatic access was selected). Make sure to save this information securely.
Accessing the Console with the New IAM User:
You can now log in to the AWS Management Console using the new IAM user’s credentials.
Admin cho hỏi phần chọn model ở phút 5:38 có cần trả phí hay cấp quyền cho IAM user không, mình bấm vào chọn model nó không access được ạ.
Chào bạn. Cảm ơn bạn đã đặt câu hỏi cho mình.
Về câu hỏi của bạn, User chắc chắn phải có đủ quyền nhé bạn. Trong video mình sử dụng user có quyền AdministratorAccess để khởi tạo. Ngoài ra, nếu tài khoản của bạn là tài khoản mới thì cần liên hệ support để họ mở cho mình sử dụng service nha.
Ngoài ra các dịch vụ này khi khởi tạo đều phát sinh chi phí theo thực tế sử dụng nhé bạn.
@@flyto-cloud Hình như mấy model trên đều tính phí hay sao nhỉ admin, mình chạy thử vài câu để test nhưng nó bắt đầu tính phí ( sử dụng model Claude 3 Sonnet v1)
@@GodPlayer-Diva Đúng rồi nha bạn. Dịch vụ Bedrock trên AWS Sẽ tính phí theo lượng token nhé.
a cho em hỏi là ở phần bedrock e không tạo được knowledge bases và e bị báo là : Access denied to aoss:CreateSecurityPolicy mặc dù tài khoản root em đã cho nó đủ quyền rồi ạ. Hy vọng a giải đáp thắc mắc giúp em ạ. Em xin cảm ơn.
Bạn có thể cho mình xin hình ảnh lỗi cụ thể được không ạ. Phần Knowledge bases bạn có thể thử dùng tài khoản có quyền admin để tạo trước nhé. Còn phần Agent liên quan đến API bạn nên cấp quyền vừa đủ cho tài khoản api đó trước khi cấu hình với web.
Admin cho mình hỏi tí ạ mong anh phản hồi. Hiện tại mình làm các bước giống trên video, nhưng mình không demo model chatbot nữa nhưng sau mỗi giờ mình vẫn bị tính phí 3-4$ về opensearch seẻvice. Làm thế nào để hủy dịch vụ này để không bị mất phí liên tục ạ.
Hay có cách nào có thể quản lý chi phí không ạ.
Bạn vào phần dịch vụ Opensearch và dịch vụ Bedrock, xóa hết các thành phần đi nhé. Mặc định khi tạo ra 1 chat bot sử dụng Bedrock nó sẽ tạo ra các vector database và các thành phần cần thiết. Bạn cần xóa hết các thành phần này đi.
@@GodPlayer-Diva Quản lý chi phí trên AWS có nhiều cách, đơn giản nhất là bạn đặt budget cho nó bắn cảnh báo về email của bạn về tình trạng chi phí và kết hợp với các dịch vụ báo cáo chi phí khác của AWS. Tuy nhiên, để tránh phát sinh chi phí không cần thiết thì cách duy nhất là chúng ta phải chủ động vào rà soát chi phí và xóa các tài nguyên không sử dụng vì nguyên tắc AWS sẽ không tự động đóng tài khoản hay ngắt dịch vụ của khách hàng trừ trường hợp khách hàng không thanh toán. Để xem chi phí có thể xem ở dịch vụ Billing and Cost Managerment.