OpenAI Realtime API - The NEW ERA of Speech to Speech? - TESTED

แชร์
ฝัง
  • เผยแพร่เมื่อ 22 ธ.ค. 2024

ความคิดเห็น •

  • @almirkaza
    @almirkaza 2 หลายเดือนก่อน +12

    can you share the url to the repo?

  • @boxeemusic
    @boxeemusic 2 หลายเดือนก่อน +12

    where can i find the code? pls help

  • @KCM25NJL
    @KCM25NJL 2 หลายเดือนก่อน +31

    Yeah, no basement dweller dev's are gonna be messing with that API until the costs drop by at least 100x, which I honestly only see as a near term incentive for Meta to get a Llama Voice model cookin'

    • @jamesjonnes
      @jamesjonnes 2 หลายเดือนก่อน

      I'll use it, but can't wait for an uncensored open source version. Text only is too boring. I lack the patience to use text only for too long for the tasks I want, like learning languages.

    • @karmcy
      @karmcy 28 วันที่ผ่านมา +1

      Well said, 3 tests today ~2mins each conversation. $1.5. Yikes!

  • @sykexz6793
    @sykexz6793 2 หลายเดือนก่อน +13

    I don't think this is the same model as advanced voice mode.

  • @OliNorwell
    @OliNorwell 2 หลายเดือนก่อน +5

    Great work! You must have had a busy couple of days getting it working

    • @meetsummdev
      @meetsummdev 2 หลายเดือนก่อน +1

      you can really implement it in a few hours

  • @ibrahimaba8966
    @ibrahimaba8966 2 หลายเดือนก่อน +4

    I just integrated it on Twilio, it changes everything, but it took me a bit of time.

  • @DarrenJohn10X
    @DarrenJohn10X 2 หลายเดือนก่อน +9

    Looking forward to seeing your alleged "spaghetti" code! (Right now 2 weeks ago is your latest repo)

  • @Bangs_Theory
    @Bangs_Theory 2 หลายเดือนก่อน +3

    Which function controls the interruption?

    • @gaijinshacho
      @gaijinshacho 2 หลายเดือนก่อน +3

      VAD

    • @viduraerandika8296
      @viduraerandika8296 11 วันที่ผ่านมา

      @@gaijinshacho even i use it in turn detection it continue talking until it finishes.

  • @DeepSucess
    @DeepSucess 2 หลายเดือนก่อน

    can we have speech/voice as input to this app using websockets and get result as text as output?

  • @Distillated
    @Distillated 24 วันที่ผ่านมา

    5:58 - I felt that 😂 Currently having the same conundrum with the Anthropic API! (Claude 3.5 Sonnet is so good...)

  • @jamesyoungerdds7901
    @jamesyoungerdds7901 2 หลายเดือนก่อน

    Great video, thanks Kris! I'm interesting in the function calling and structured output from the voice websocket return. Can you use agents or agentic flows with constrained and structured outputs with the voice mode 🤔

  • @pjm17
    @pjm17 2 หลายเดือนก่อน +1

    Could you achieve these results in an app just using the text to speech and speech to text with native ios features alongside openai NON realtime api's?

    • @bassemibrahim3798
      @bassemibrahim3798 12 วันที่ผ่านมา

      yes I can, I have already implemented that

  • @tommoves9935
    @tommoves9935 2 หลายเดือนก่อน

    Happy to be the first to comment. Kris you are always up to date. Once again cool stuff from you. Spaghetti code... 🤣. Great that you did talk about the costs as well. I like your creative and often real funny ideas. Please keep up the great work! Regarding your phone call: saw a video from a guy in the US weeks ago (no Realtime API) - he did let his AI order a Pizza and it worked great. Latency even back then was good enough - should work perfectly. Maybe try it with an italian accent 😉. Thx from Tom!

  • @DeepSucess
    @DeepSucess 2 หลายเดือนก่อน

    can It work for other languages such as urdu, hindi?

  • @Akander20
    @Akander20 2 หลายเดือนก่อน

    where can i get the repo?

  • @drewpeer
    @drewpeer 2 หลายเดือนก่อน

    Does everyone have access to this beta? Anything we have to do?

  • @hamzakhanswati9087
    @hamzakhanswati9087 24 วันที่ผ่านมา

    when will you upload it on github??

  • @d3xrd527
    @d3xrd527 หลายเดือนก่อน

    Where to find code?

  • @nmana9759
    @nmana9759 หลายเดือนก่อน

    Why wouldn't you share the repo?

  • @DesignDesigns
    @DesignDesigns 2 หลายเดือนก่อน

    This is mindblowing...

  • @MagagnaJayzxui
    @MagagnaJayzxui 2 หลายเดือนก่อน

    What is AVA?

  • @JaredVBrown
    @JaredVBrown 2 หลายเดือนก่อน

    Would love the bankrupt myself with your code, i wont judge spaghetti, tried for 20 prompts with the new claude to get it up and running - no dice. Examples would be much apricated :)

  • @alarconfilms1
    @alarconfilms1 2 หลายเดือนก่อน +1

    What is the code used?

    • @khalifarmili1256
      @khalifarmili1256 2 หลายเดือนก่อน

      It's not out yet

    • @romera9662
      @romera9662 2 หลายเดือนก่อน

      @@khalifarmili1256 How long will it take?

  • @contentfreeGPT5-py6uv
    @contentfreeGPT5-py6uv 2 หลายเดือนก่อน

    i tested yesterday ,but
    Error al conectar: 403
    Acceso denegado. Verifica tu clave de API y los permisos para usar el API Realtime.

    • @elprox1290
      @elprox1290 2 หลายเดือนก่อน

      try checking your api key or just making a new one

    • @contentfreeGPT5-py6uv
      @contentfreeGPT5-py6uv 2 หลายเดือนก่อน

      @@elprox1290 again, thanks

  • @Cutestreetcats
    @Cutestreetcats หลายเดือนก่อน

    where is the code?

  • @李征-u3n
    @李征-u3n 28 วันที่ผ่านมา

    I don't quite understand what realtime means here, especially in text version
    In voice version, yes, you can interact with it like really talking to a person, such as you can interrupt the conversation, or maybe openAI can understand extra information from your tone or intonation or accent.
    But in text version, I don't see any difference with just use OpenAI chat completion API

  • @icydemon9749
    @icydemon9749 หลายเดือนก่อน

    can you provide a code ? please

  • @dievas_
    @dievas_ 2 หลายเดือนก่อน

    I still don't have access to it :/

  • @micbab-vg2mu
    @micbab-vg2mu 2 หลายเดือนก่อน

    Thanks :)

  • @三川富資訊股份有限公
    @三川富資訊股份有限公 2 หลายเดือนก่อน +3

    The Realtime API cost is high. I suggest that there is a cheaper way. 1.Using Google STT to get user's speech texts. 2.Send texts to GPT. 3. Get responses from GPT. 4.Send responses to Google TTS. 5.User gets AI responses in both texts and voices. The response time is longer and it costs lower.

    • @李征-u3n
      @李征-u3n 28 วันที่ผ่านมา +1

      In that case, you don't need to use realtime API. OpenAI chat completion API I think works just fine.
      I think the key point is that realtime API has the ability to not miss any information from your voice (tone, intonation or accent), which means it can feel you like a real person, as least it is trying to.

    • @MrAnonymousCitizen
      @MrAnonymousCitizen 16 วันที่ผ่านมา

      Yes you said it yourself. The response time is longer and the cost is cheaper… thank you Sherlock…. Case solved

  • @Dea07thox
    @Dea07thox 2 หลายเดือนก่อน

    Can't you just better prompt it to have a less talkative output so you don't have to break it's response that often? That would make a big difference and everything more seamless :)

  • @saksham3
    @saksham3 2 หลายเดือนก่อน

    Doesn't it have emotions?

  • @benbrahimjamil1976
    @benbrahimjamil1976 2 หลายเดือนก่อน

    How to get the repo ?

  • @AI_Escaped
    @AI_Escaped 2 หลายเดือนก่อน

    No one is going to be even able to develop at these prices other than those with deep pockets. Just testing and figuring things out would be too expensive to even try.

  • @thenoblerot
    @thenoblerot 2 หลายเดือนก่อน

    By telling it it is playing a game with the user, it might be failing on purpose to let you win!

  • @TheTrainstation
    @TheTrainstation 2 หลายเดือนก่อน

    Im waiting to hear the Irish accent to be sure

  • @DhairyaMarwah-l1u
    @DhairyaMarwah-l1u 2 หลายเดือนก่อน +5

    Can you share the repo link ?

  • @khanhhq2044
    @khanhhq2044 2 หลายเดือนก่อน +3

    Can you share the repo link ?