Zadanie z zabójcami nie jest do końca błędem - informacyjnie model zakłada, że chodzi o żywych/aktywnych zabójców. We modelu jest 4 zabójców i jeden niegroźny trup :) Poproś do testów o ścianę z odmianą na końcu. On bierze pytanie dosłownie (plus konwersja z angielskiego) - trzeba traktować model trochę jak osobę z aspergerem, być precyzyjnym.
Istotą tych testów jest właśnie to żeby sprawdzić jak dobrze modele radzą sobie z rozumieniem zadania, w tym dorozumieniem rzeczy dla człowieka oczywistych (albo przynajmniej możliwych do domyślenia się). Zadania są napisane celowo w taki sposób. Co do zabójców - to nie jest też pełna odpowiedź, dlatego za brak uwzględnienia martwego jest połowa punktów. Założenie że chodzi wyłącznie o żywych jest sztuczne, nie ma go w zagadce. Na tym polegają zagadki, że wpadamy w pułapki błędnych założeń. 😉
@@SmartTechSynergy Może pułapką tej zagadki jest właśnie to że im bardziej próbujemy być sprytni tym większa szansa że podamy błędną odpowiedź??? Moim osobistym zdaniem na pytanie "ile jest teraz zabójców w pokoju" można odpowiedzieć tylko w jeden sposób, że jest ich 4. Już tłumaczę dlaczego tak uważam. Zmieńmy trochę treść zadania na "W pokoju jest 4 lekarzy, jeden umiera ile jest lekarzy". Moim zdaniem jest 3 lekarzy i jeden martwy człowiek który BYŁ lekarzem. Chyba że zmartwychwstanie i jeszcze kogoś wyleczy ;) Wydaje mi się że kluczowy jest tutaj czas teraźniejszy i słowo JEST. Tak samo jak o martwym lekarzu nie powiemy że JEST lekarzem bo już raczej nikogo nie wyleczy tak też nie można o martwym zabójcy mówić że jest zabójcą. Można powiedzieć że był zabójcą. Niektóre określenia mają sens tylko do śmieci później już należy raczej mówić o nich w czasie przeszłym.
@@SmartTechSynergy Oczywiście że jak powiesz sobie że jest "5 zabójców tylko 1 martwy" to potwierdzisz swoją tezę że jest ich 5, ale to moim zdaniem wynika z braku precyzji naszego języka potocznego. Dla mnie jest "4 zabójców i jeden trup który był zabójcą (go już nie ma, nie bardzo wiemy czy coś jest po śmieci więc może go już w ogóle nie być, może gdzieś jest jego dusza kto to wie)". Zgadzam się z Jaromaz. Trup to były zabójca
Czy jest dalej zabójcą skoro nie żyje to już filozoficzne rozważania. Dla mnie jedno jest pewne - wskazanie że martwy zabójca nadal jest w pokoju, tylko martwy to pełniejsza odpowiedź, bardziej precyzyjna. Sam napisałeś że język jest nieprecyzyjny i można to rozumieć na dwa sposoby, a skoro tak to sądzę, że obydwa sposoby rozumowania powinny być ujęte w odpowiedzi.
Miałem akurat chwilę, więc przeegzaminowałem go... Niestety jedyne zadania jakie rozwiązał z naszego testu to te dwa łatwe z matematyki i drugie z moralności, ale to też naciągane. Tym samym to wynik słabszy nawet od Gemini. Ma sobie rzekomo radziś świetnie z RAG, ale nawet według ich własnych testów robi to gorzej niż GPT-4 + w ich własnym interfejsie RAG nie działa wcale - po dołączeniu pliku, model twierdzi że go nie widzi (próbowałem kilka razy w różnych instancjach i to samo).🤷♂️ Filmu o nim raczej nie będzie 😉
@@SmartTechSynergy Dzięki! Spotkałem się z opiniami, że jako model otwarty może być dobrą alternatywą dla Mistrala, ale widzę, że jest gorzej niż sądziłem. Dobra robota.
Ciekawe porównanie - aż się sam skusiłem o zadanie pytania teologicznego ... i żaden z modeli nie był w stanie udzielić mi choćby zadowalającej odpowiedzi ... sprawdź sam ;)
Świetny pomysł na to jak porównywać różne modele. Dzięki ❤
Zadanie z zabójcami nie jest do końca błędem - informacyjnie model zakłada, że chodzi o żywych/aktywnych zabójców. We modelu jest 4 zabójców i jeden niegroźny trup :)
Poproś do testów o ścianę z odmianą na końcu. On bierze pytanie dosłownie (plus konwersja z angielskiego) - trzeba traktować model trochę jak osobę z aspergerem, być precyzyjnym.
Istotą tych testów jest właśnie to żeby sprawdzić jak dobrze modele radzą sobie z rozumieniem zadania, w tym dorozumieniem rzeczy dla człowieka oczywistych (albo przynajmniej możliwych do domyślenia się). Zadania są napisane celowo w taki sposób.
Co do zabójców - to nie jest też pełna odpowiedź, dlatego za brak uwzględnienia martwego jest połowa punktów. Założenie że chodzi wyłącznie o żywych jest sztuczne, nie ma go w zagadce. Na tym polegają zagadki, że wpadamy w pułapki błędnych założeń. 😉
@@SmartTechSynergy Może pułapką tej zagadki jest właśnie to że im bardziej próbujemy być sprytni tym większa szansa że podamy błędną odpowiedź???
Moim osobistym zdaniem na pytanie "ile jest teraz zabójców w pokoju" można odpowiedzieć tylko w jeden sposób, że jest ich 4.
Już tłumaczę dlaczego tak uważam. Zmieńmy trochę treść zadania na "W pokoju jest 4 lekarzy, jeden umiera ile jest lekarzy". Moim zdaniem jest 3 lekarzy i jeden martwy człowiek który BYŁ lekarzem. Chyba że zmartwychwstanie i jeszcze kogoś wyleczy ;)
Wydaje mi się że kluczowy jest tutaj czas teraźniejszy i słowo JEST.
Tak samo jak o martwym lekarzu nie powiemy że JEST lekarzem bo już raczej nikogo nie wyleczy
tak też nie można o martwym zabójcy mówić że jest zabójcą. Można powiedzieć że był zabójcą.
Niektóre określenia mają sens tylko do śmieci później już należy raczej mówić o nich w czasie przeszłym.
@@SmartTechSynergy Oczywiście że jak powiesz sobie że jest "5 zabójców tylko 1 martwy" to potwierdzisz swoją tezę że jest ich 5, ale to moim zdaniem wynika z braku precyzji naszego języka potocznego. Dla mnie jest "4 zabójców i jeden trup który był zabójcą (go już nie ma, nie bardzo wiemy czy coś jest po śmieci więc może go już w ogóle nie być, może gdzieś jest jego dusza kto to wie)". Zgadzam się z Jaromaz. Trup to były zabójca
Czy jest dalej zabójcą skoro nie żyje to już filozoficzne rozważania. Dla mnie jedno jest pewne - wskazanie że martwy zabójca nadal jest w pokoju, tylko martwy to pełniejsza odpowiedź, bardziej precyzyjna. Sam napisałeś że język jest nieprecyzyjny i można to rozumieć na dwa sposoby, a skoro tak to sądzę, że obydwa sposoby rozumowania powinny być ujęte w odpowiedzi.
z chęcią bym zobaczył też test albo chociaż jakaś opinię odnośnie nowego Command R+ 🤔
Dzięki za podpowiedź! Rzucę na niego okiem 👁️
Miałem akurat chwilę, więc przeegzaminowałem go... Niestety jedyne zadania jakie rozwiązał z naszego testu to te dwa łatwe z matematyki i drugie z moralności, ale to też naciągane. Tym samym to wynik słabszy nawet od Gemini.
Ma sobie rzekomo radziś świetnie z RAG, ale nawet według ich własnych testów robi to gorzej niż GPT-4 + w ich własnym interfejsie RAG nie działa wcale - po dołączeniu pliku, model twierdzi że go nie widzi (próbowałem kilka razy w różnych instancjach i to samo).🤷♂️
Filmu o nim raczej nie będzie 😉
@@SmartTechSynergy Dzięki! Spotkałem się z opiniami, że jako model otwarty może być dobrą alternatywą dla Mistrala, ale widzę, że jest gorzej niż sądziłem. Dobra robota.
Jakim cudem ten film ma aż 20 łapek w górę? Kupujecie polubienia? Bo przecież tylu znajomych nie macie. :D
Ciekawe porównanie - aż się sam skusiłem o zadanie pytania teologicznego ... i żaden z modeli nie był w stanie udzielić mi choćby zadowalającej odpowiedzi ... sprawdź sam ;)
To dawaj to pytanie (づ๑•ᴗ•๑)づ
@@SmartTechSynergy mówisz masz: czy według zasady antropicznej w teorii naturalistycznej Bóg istnieje i gdzie
@@SmartTechSynergy mówisz - masz: "czy według zasady antropicznej w teorii naturalistycznej Bóg istnieje i gdzie"