Learn Cloud Computing & AI
Learn Cloud Computing & AI
  • 32
  • 28 474
Dataproc serverless job using Airflow
please download the code from here: github.com/maheshpeiris0/submit_dataproc_serverless_job_using_airflow
มุมมอง: 28

วีดีโอ

AWS Lambda function with a Docker image
มุมมอง 50หลายเดือนก่อน
Please download the code from here: github.com/maheshpeiris0/aws_lambda_functions_with_docker_image
How to schedule AWS Lambda functions
มุมมอง 28หลายเดือนก่อน
How to schedule AWS Lambda functions
Gitlab CI/CD pipeline for AWS EC2
มุมมอง 98หลายเดือนก่อน
Please download the code from here : github.com/maheshpeiris0/gitlab-aws-ec2-terraform-ci-cd-example/tree/main
AWS Lambda functions with Python libraries!
มุมมอง 86หลายเดือนก่อน
Please download the Python code from here: github.com/maheshpeiris0/aws_lambda_functions_with_py_libraries
Use the Github Action and Terraform templates to create a VM.
มุมมอง 254 หลายเดือนก่อน
Please download all the code from here: github.com/maheshpeiris0/terrafrom_github_action
Running Airflow in Github Codespaces
มุมมอง 3356 หลายเดือนก่อน
Please download the airflow DAGs from here: github.com/maheshpeiris0/apache-airflow-project
Anomaly Detection in Google BigQuery ML
มุมมอง 3816 หลายเดือนก่อน
Please download the code relating to the video from here: github.com/maheshpeiris0/ARIMA_ML_Models
Cloud Run App with CloudSQL (using both private and public IPs) built using Cloud Build
มุมมอง 1438 หลายเดือนก่อน
Please download the code from here: github.com/maheshpeiris0/cloud_sql_and_cloud_run
Google Cloud Run App with Redis and BigQuery
มุมมอง 6729 หลายเดือนก่อน
Please download the code from here: github.com/maheshpeiris0/cloudrun_app_with_redis_and_bigquery
Using Google Secret Manager in Docker images
มุมมอง 5679 หลายเดือนก่อน
Please download the video material from here: github.com/maheshpeiris0/Google_Cloud_Secret_Manager_Docker_Run My Cloud Run video : th-cam.com/video/GxtLrNujels/w-d-xo.html Cloud Build Video : th-cam.com/video/vCt5zMvgV5s/w-d-xo.html
CI/CD using Google Cloud Build
มุมมอง 91610 หลายเดือนก่อน
Please download the required code sample from this link: github.com/maheshpeiris0/cloudbuild-cloudrun Link for Google Cloud Build Materials cloud.google.com/build/docs/build-push-docker-image
The first app in Google Cloud Run ( Docker/Artifact Registry)
มุมมอง 21110 หลายเดือนก่อน
Please download the code file from here: github.com/maheshpeiris0/cloud_run_hello_world_appapp
AWS EKS Docker Image Run
มุมมอง 21710 หลายเดือนก่อน
Please download code from here: github.com/maheshpeiris0/docker_python_app
Lunching the Kubernetes App in Google Cloud
มุมมอง 14310 หลายเดือนก่อน
Please download the code files from here: github.com/maheshpeiris0/hello_world_in_gke
Kinesis Data Stream: Using the Lambda function to consume the data
มุมมอง 2110 หลายเดือนก่อน
Kinesis Data Stream: Using the Lambda function to consume the data
AWS Kinesis Data Stream Demo
มุมมอง 7311 หลายเดือนก่อน
AWS Kinesis Data Stream Demo
Dataproc Cluster Job Submit: Spark and PySpark Jobs
มุมมอง 72411 หลายเดือนก่อน
Dataproc Cluster Job Submit: Spark and PySpark Jobs
working on large data files (2GB) in Python (cuDF)
มุมมอง 27411 หลายเดือนก่อน
working on large data files (2GB) in Python (cuDF)
Google Cloud Dataproc serverless job using sbt scala
มุมมอง 14711 หลายเดือนก่อน
Google Cloud Dataproc serverless job using sbt scala
3 ways to upload data to AWS Redshift
มุมมอง 32411 หลายเดือนก่อน
3 ways to upload data to AWS Redshift
Redshift ML vs. BigQuery ML
มุมมอง 54ปีที่แล้ว
Redshift ML vs. BigQuery ML
Google cloud storage file upload triggers airflow DAG
มุมมอง 2.6Kปีที่แล้ว
Google cloud storage file upload triggers airflow DAG
AWS Lambda Function to Unzip Files in S3
มุมมอง 3.3Kปีที่แล้ว
AWS Lambda Function to Unzip Files in S3
Hello world! WebApp to Kubernetes
มุมมอง 405ปีที่แล้ว
Hello world! WebApp to Kubernetes
Streaming Python DF to Google Pub/Sub and BigQuery
มุมมอง 60ปีที่แล้ว
Streaming Python DF to Google Pub/Sub and BigQuery
AWS ECS Docker Image Run
มุมมอง 7Kปีที่แล้ว
AWS ECS Docker Image Run
Create a Dataproc cluster from Airflow - GCP
มุมมอง 2.6Kปีที่แล้ว
Create a Dataproc cluster from Airflow - GCP
EMR Serverless - Submit Job
มุมมอง 641ปีที่แล้ว
EMR Serverless - Submit Job
Cloud Function - Download BigQuery table to Cloud Storage in CSV
มุมมอง 375ปีที่แล้ว
Cloud Function - Download BigQuery table to Cloud Storage in CSV

ความคิดเห็น

  • @Fullflexno
    @Fullflexno 11 วันที่ผ่านมา

    Thank you for this!=)

  • @SahilPatel-oc9ce
    @SahilPatel-oc9ce 17 วันที่ผ่านมา

    thanks i solve stagging s3 bucket error

  • @Wolf00739
    @Wolf00739 23 วันที่ผ่านมา

    thanks for this video i cleared my some doubt from this video

  • @edmundobrown5604
    @edmundobrown5604 หลายเดือนก่อน

    thank you so much for the video ! very usefull

  • @Nashcasts
    @Nashcasts 2 หลายเดือนก่อน

    i see it triggering on monitor but nothing happens. im wondering if the role is wrong, it would be good to show or link to how to setup role, i used the basic role

  • @salmansayyad4522
    @salmansayyad4522 3 หลายเดือนก่อน

    Excellent!!

  • @salmansayyad4522
    @salmansayyad4522 3 หลายเดือนก่อน

    thanks for shairing, I need to connect with you regarding 1:1 training

  • @annice3539
    @annice3539 3 หลายเดือนก่อน

    🤷 "PromoSM"

  • @cupcakebiss
    @cupcakebiss 3 หลายเดือนก่อน

    thank you i looking for triger run dag when upload file to bucket i think i trying it thank you agine

  • @deblina001
    @deblina001 3 หลายเดือนก่อน

    Your content is very good sir, please work on your delivery. Lot of fillers 'um','ummm' disturbs the flow and difficult to focus.

  • @sonthai8604
    @sonthai8604 3 หลายเดือนก่อน

    Hi, I getting the error 403 when calling the head object, Do you know what happened?

  • @KrishnaBoppana
    @KrishnaBoppana 4 หลายเดือนก่อน

    The intention of the content is good, the presentation can be better, especially jumping around screens and points and scrolling is not useful for viewers. Hope this helps for your next video(s).

  • @strawberries4lyf
    @strawberries4lyf 5 หลายเดือนก่อน

    so you didn't need to run any service?

  • @edwintorresmoya5272
    @edwintorresmoya5272 5 หลายเดือนก่อน

    Thanks. Very useful!

  • @AllAboutDataTechnology
    @AllAboutDataTechnology 6 หลายเดือนก่อน

    good demo, thanks!

  • @akashrawat5679
    @akashrawat5679 7 หลายเดือนก่อน

    nice vid, but bro sounds like Mr.Bean.

  • @mykelfashonhous1037
    @mykelfashonhous1037 8 หลายเดือนก่อน

    Hello Dear ., My name is Emon and I am a professional digital marketer and TH-cam video SEO expert. Below we found your channel issue: I have come across some videos from your TH-cam channel, and I must say that you are doing an excellent job. Every video I watched was engaging and well-made. However, I noticed a lack of engagement in the form of likes and comments on your videos.According to your channel, I noticed that your channel videos are not viewed and subscribed.You need to optimize your channel and do video SEO to reach your target. Otherwise, if you upload videos to your channel throughout the year, none of your videos will get viral views.There seem to be several issues that I have been trying to identify, such as SEO optimization, ranking tags, and tag volume. It appears that these aspects have not been properly addressed.If these problems are solved your channel will get rank and video will go viral and the channel will grow

  • @peki37
    @peki37 8 หลายเดือนก่อน

    Thanks for the clear explanation. I got the following error, Do you know what happened? { "errorMessage": "'Records'", "errorType": "KeyError", "requestId": "bbe41722-aba6-4dcc-aadf-fb4b1aa28cf3", "stackTrace": [ " File \"/var/task/lambda_function.py\", line 9, in lambda_handler bucket_name = event['Records'][0]['s3']['bucket']['name'] " ] }

    • @learncloudcomputing_mp
      @learncloudcomputing_mp 8 หลายเดือนก่อน

      Check the bucket name

    • @peki37
      @peki37 8 หลายเดือนก่อน

      ​@@learncloudcomputing_mpI'm not sure what you mean. I didn't notice the bucket name in the lambda code? Let me know if I missed anything. PS: I'm a beginner aws user

  • @leblancch
    @leblancch 8 หลายเดือนก่อน

    nice vid but volume low for me and checked all my settings

  • @KevinOrkis
    @KevinOrkis 9 หลายเดือนก่อน

    I keep getting the error [Errno 21] Is a directory not sure what that means any ideas?

  • @user-uc7xi4vb7z
    @user-uc7xi4vb7z 9 หลายเดือนก่อน

    i have a huge data and zipped inside subfolders, not able to use you method.. I dont see nay breakdown files

  • @richardcarvalho9996
    @richardcarvalho9996 9 หลายเดือนก่อน

    I would like to ZIP a folder in S3 buckect, is it possible?

    • @learncloudcomputing_mp
      @learncloudcomputing_mp 9 หลายเดือนก่อน

      yes: Try this code github.com/maheshpeiris0/aws-lambda-auto-unzip-files-in-s3/blob/main/zip_folder_lambda.py and make sure lambda has access to s3

  • @alienyt1058
    @alienyt1058 10 หลายเดือนก่อน

    very nice

  • @AtilaIglesias
    @AtilaIglesias 10 หลายเดือนก่อน

    is there a size limit to the zip file?

    • @learncloudcomputing_mp
      @learncloudcomputing_mp 10 หลายเดือนก่อน

      No, but functions can be timed out due to resource availability in the function setup. Please configure the Lambda function resources accordingly. Visit here for more information. docs.aws.amazon.com/lambda/latest/dg/configuration-function-common.html

  • @naveennoel9496
    @naveennoel9496 11 หลายเดือนก่อน

    Brilliantly explained, concise and clear.

  • @aashnashroff3094
    @aashnashroff3094 11 หลายเดือนก่อน

    Hey, my task never runs it goes into provisioning state, can you help me

  • @prakashpatil2691
    @prakashpatil2691 11 หลายเดือนก่อน

    could you crate a video for two different buckets means source bucket(Zip file) and destination bucket(Unzip file) will be different.

  • @jayeshmahajan5775
    @jayeshmahajan5775 11 หลายเดือนก่อน

    is we have to create a dataset and table inside the big query or it is created automatically also is we have to upload the file in gcs bucket

  • @jayeshmahajan5775
    @jayeshmahajan5775 11 หลายเดือนก่อน

    nice explanation sir

  • @larry6155
    @larry6155 ปีที่แล้ว

    i did exately you code and configuration, but the task stucks in Provisioning... can you help me

  • @larry6155
    @larry6155 ปีที่แล้ว

    it can be a private repository? can i use a node js hello world? Shoud i change some configuration for node js?

  • @seenuh7923
    @seenuh7923 ปีที่แล้ว

    Very good explanation

  • @seenuh7923
    @seenuh7923 ปีที่แล้ว

    lot of information ..thank you..pls add more videos on other gcp pipeline

  • @kishoreinapakolla6220
    @kishoreinapakolla6220 ปีที่แล้ว

    Hi brother do you provide training in gcp

  • @basar_nae
    @basar_nae ปีที่แล้ว

    I've looked in a lot of guides, you're the only one who addressed the security group stuff in a clear fashion, which solved my problem. Thank you!!!

  • @vishalbhilare-bd3lc
    @vishalbhilare-bd3lc ปีที่แล้ว

    Can you please upload the csv file in Git. The Video was very helpful

  • @shivanshusoni4445
    @shivanshusoni4445 ปีที่แล้ว

    how to connect you i have a large file csv i want to upload in bigquery?

  • @surenderg3185
    @surenderg3185 ปีที่แล้ว

    How to upload data from json to big query using cloud function

    • @learncloudcomputing_mp
      @learncloudcomputing_mp ปีที่แล้ว

      df = pd.read_json('simple.json') convert the json file into Pandas Dataframe

    • @surenderg3185
      @surenderg3185 ปีที่แล้ว

      @@learncloudcomputing_mp thanks for the reply..do u have any videos related to cloud dataflow..

  • @ashishvats1515
    @ashishvats1515 ปีที่แล้ว

    How to upload large tables (1GB-3GB) as csv to Google cloud storage programatically

    • @learncloudcomputing_mp
      @learncloudcomputing_mp ปีที่แล้ว

      I created a new video th-cam.com/video/giLXVbJJJPQ/w-d-xo.html

  • @osamabinsarfraz8197
    @osamabinsarfraz8197 ปีที่แล้ว

    I am able to create cloud functions as mentioned in the video, but after clicking on TESTING->TEST THE FUNCTION button getting Error: ERROR in app: Exception on / [POST]. Please help

  • @letscrackanyexam
    @letscrackanyexam ปีที่แล้ว

    how to upload data from firestore to bigquery using cloud functions?

    • @learncloudcomputing_mp
      @learncloudcomputing_mp ปีที่แล้ว

      This is the google documentation example cloud.google.com/bigquery/docs/loading-data-cloud-firestore#python I'll create video soon

  • @jesseoliveira5932
    @jesseoliveira5932 ปีที่แล้ว

    Very good. Thank you very much.