я отчетливо помню времена лет 12 назад когда я не мог решить задачи 1.001, 2.001 из Сканави даже с 3й попытки, когда я начинал осваивать школьную математику для сдачи на 100 баллов. у меня ушло месяца 2 чтобы научиться решать подобные алгебраические задачи из Сканави без ошибок. ... своё лицо через 12 лет (2036й год) глядя на возможности ИИ представили?
Я думаю у вас разные ответы из за показателя температуры. При высокой температуре он не всегда берет самый лучший вариант, а наоборот стремится к разнообразным ответам.
Ну то есть вы подгоняли пока на i-й раз она не даст правильный ответ, который вы знаете. Вот важен % правильных решений на одном типе задач. Для этого есть куча популярных датасетов типа GSM8k, MATH и по ним есть метрики известных моделей, в том числе GPT4, но не омни новой тк она как раз новая и пока бенчмарка нет
@@kvoloshenko Никак. LLM вообще в целом не предназначены для решения мат. задачи и инженерии, а то, что мы люди даем им эти задачи - это вопрос к нам. Поэтому тут нет и какого-то определенного правила. Ну максимум вы можете делать 5 генераций и среди них собрать статистику было ли там правильное решение или нет. Это чуть лучше чем подгонка.
Все ссылки здесь: t.me/AiExp01/95
я отчетливо помню времена лет 12 назад когда я не мог решить задачи 1.001, 2.001 из Сканави даже с 3й попытки, когда я начинал осваивать школьную математику для сдачи на 100 баллов. у меня ушло месяца 2 чтобы научиться решать подобные алгебраические задачи из Сканави без ошибок.
...
своё лицо через 12 лет (2036й год) глядя на возможности ИИ представили?
Я думаю у вас разные ответы из за показателя температуры. При высокой температуре он не всегда берет самый лучший вариант, а наоборот стремится к разнообразным ответам.
Да, только температура там в коде стоит на нуле
@@kvoloshenko Странно, при нуле ответ должен быть строго детерменирован. Что же (( значит не все так как описывали
@@igormel5137 Нет, не детерменирован даже при нулевой температуре. Там еще seed нужно задавать.
Ну то есть вы подгоняли пока на i-й раз она не даст правильный ответ, который вы знаете. Вот важен % правильных решений на одном типе задач. Для этого есть куча популярных датасетов типа GSM8k, MATH и по ним есть метрики известных моделей, в том числе GPT4, но не омни новой тк она как раз новая и пока бенчмарка нет
Допустим есть задача с неизвестным ответом, как быть уверенным, что модель решила ее верно? Выбрать ответ, который выпадает чаще?
@@kvoloshenko Никак. LLM вообще в целом не предназначены для решения мат. задачи и инженерии, а то, что мы люди даем им эти задачи - это вопрос к нам. Поэтому тут нет и какого-то определенного правила. Ну максимум вы можете делать 5 генераций и среди них собрать статистику было ли там правильное решение или нет. Это чуть лучше чем подгонка.
@@avatarcybertronics2584 ну если было уравнение, то можно подставить полученные корни и вычислить...
Теперь не только в грузинских , но и американских школах 2 * 2 равно не 4, а «так сэм восэм» 😂
Определенно всё движется в это направлении, начиная с первых калькуляторов в школе на уроке