Jak dla mnie, każdy test gdzie AI halucynowało, jest niezdany. Jeżeli będę sprawdzać po robocie, to jaki jest sens używania go? Ogólnie wkurza mnie, że żadne AI nie umie się domyślnie przyznać do braku wiedzy. Mam prośbę o powtórzenie testów: - książki, dodać w prompcie, że jak ma trudności z rozpoznaniem, to może powiedzieć "nie wiem" - książki v3, aby wyszukał w swojej bazie wiedzy numery ISBN/ISSN - żetony: niech policzy żetony na kilku zdjęciach. I niech będą tam różnie kombinacje kolorów. Do tego, co się stanie, jak wrzucisz, kolor, który nie ma wartości.
Dzięki za komentarz Wojtku! Pamiętajmy, że testowałem model w wersji fundamentalnej. Czyli nie "tuningowanej" do konkretnego zadania biznesowego, gdzie dobrze dostosowany model do zadania już nie halycunuje tak często. Nie mamy też jasnej instrukcji od Google, co powinien potrafić robić a co nie, jak powinien wyglądać dobrze ustrukturyzowany prompt aby zwiększyć jego skuteczność. Wiele z testów zaskoczyło mnie bardzo pozytywnie. Test z książkami faktycznie oblany, sam jestem ciekaw co konkretnie na to wpłynęło 🙂 Mopim zdaniem potencjału do zastosowania w biznesie jest wiele. Gemini za kilka kwartałów będzie już zupełnie inny bądź zastąpiony czymś nowym. Jak na wersję "preview" czyli betę do testów - radzi sobie całkiem sprawnie 🙂
świetna analiza i prezentacja. Dzięki za Twój czas i wysiłek. Udanych Świąt!
Dziękuję za miłe słowa! Spokojnych i zdrowych :)
Jak dla mnie, każdy test gdzie AI halucynowało, jest niezdany. Jeżeli będę sprawdzać po robocie, to jaki jest sens używania go? Ogólnie wkurza mnie, że żadne AI nie umie się domyślnie przyznać do braku wiedzy. Mam prośbę o powtórzenie testów:
- książki, dodać w prompcie, że jak ma trudności z rozpoznaniem, to może powiedzieć "nie wiem"
- książki v3, aby wyszukał w swojej bazie wiedzy numery ISBN/ISSN
- żetony: niech policzy żetony na kilku zdjęciach. I niech będą tam różnie kombinacje kolorów. Do tego, co się stanie, jak wrzucisz, kolor, który nie ma wartości.
Dzięki za komentarz Wojtku!
Pamiętajmy, że testowałem model w wersji fundamentalnej. Czyli nie "tuningowanej" do konkretnego zadania biznesowego, gdzie dobrze dostosowany model do zadania już nie halycunuje tak często. Nie mamy też jasnej instrukcji od Google, co powinien potrafić robić a co nie, jak powinien wyglądać dobrze ustrukturyzowany prompt aby zwiększyć jego skuteczność. Wiele z testów zaskoczyło mnie bardzo pozytywnie. Test z książkami faktycznie oblany, sam jestem ciekaw co konkretnie na to wpłynęło 🙂 Mopim zdaniem potencjału do zastosowania w biznesie jest wiele. Gemini za kilka kwartałów będzie już zupełnie inny bądź zastąpiony czymś nowym. Jak na wersję "preview" czyli betę do testów - radzi sobie całkiem sprawnie 🙂