Context window - важен. Как пример, введение результатов исследований с запросом «что ты тут видишь»? И llm со своими знаниями может проанализировать и подытожить такие исследования. Люди вечно генерируют инфу, ее анализ так же будет полезен конкретным людям - можно знать все о здоровье- дневник жизни. Так же в играх будет полезно, например все действия пользователя сохраняются в текст и шарятся в запрос для нпс, вместе со знаниями нпс(что бы он знал тольк то, что должен или может занть). Кейсов полно на самом деле
как я понимаю, контекст важен в любом случае. те эмбединги что модель использует для твоей задачи, даже если они уже проиндексированы, будут частью этого контекст виндоу.
Говорят, OpenAI начали обучение нейросетей следующего поколения. Хотелось бы услышать ваше мнение в чем могут быть качественные отличия следующего поколения llm. Но все же, можно фантазировать- создавать новое на основании старого. Возможно, фантазия и станет новой фичей? Недавно прочел что текущие модели не очень хорошо придумывают радикально новое(ищите тему по генерации рандомных чисел llm). Еще, слышал что обнаружили более лучшую архитектуру для нейросетей - KAN. Интересно про это то же послушать. И как всегда, спасибо за ролик и ваше мнение!
Кстати, поставил локально llama 3 30b. На случай если Инет падает- он позволяет мне продолжать работать и обращаться к нему. Есть ощущение что поставил себе локально мини-интернет)
По поводу сингулярности. Я услышал интересную мысль: бесконечно улучшающийся ИИ, сверхинтеллект, будет способен на вещи, которые мы не сможем осмыслить, даже если будем обучаться этому вечность (как если бы пытались сделать бессмертным щенка и обучить его знаниям человечества вечно - просто нет достаточных вычислительных ресурсов). Суть мысли в том, что этот сверхсильный ИИ будет способен влиять на прошлое. Возможно, он направляет человечество, обеспечивая наше выживание во вселенной, где смертельные явления повсюду, чтобы в итоге возникнуть самому. Это подтверждается тем, что эволюция приводит к появлению максимально эффективных и приспособленных организмов в условиях конкуренции и ограниченных ресурсов. В природе не может спонтанно возникнуть полупроводник достаточной мощности, получить достаточно энергии для работы, а также решить проблему с обработкой данных (их нужно как-то воспринимать с помощью сенсоров и заранее обрабатывать(тк данных полно, но только такие сложные системы как мозг и потребности к выживанию способны систематизировать эти данные придавая им смысл), учитывая когнитивные искажения и физиологию, завязанную на реакциях с нейромедиаторами удовольствия и стресса). Извините, если сумбурно. Тема очень большая, а с iPad не очень удобно писать много текста)
Так. Мне кажется, что сама идея возможности самоулучшающегося ИИ требует обоснования. Какой под этим математический или философский базис? И вот вам еще вброс: что это вообще за автономный ИИ? Есть вопосы: во-первых у живых существ есть какой-то внутренний стимул, котрый толкает их на активность, в психологии его называют либидо. Типа нафига ему вообще шевелиться? Это не очевидный вопрос. Во-вторых, автономный ИИ должен как-то понимать что он есть, для этого он должен выделять себя из среды. Как? Как он определит свои гранцы? При этом нужно исключить фальшивое "самосознание", когда он просто напишет "я сознаю себя", это и современные ЛЛМки могут.
llm работают не как люди. Их стимул это получение входных данных. То есть, если есть сенсоры для восприятия информации - будет и аут пут. Самоулучшение - это может быть как запрос человека, так и промежуточный этап выполнения другой задачи. Кейсов много. Если об этом беспокоятся рок звезды ии, то стоит послушать их аргументы для начала. А вообще это же супер не интуитивная вещь. И предсказать что чего то точно не будет, а что то будет - крайне сложно, учитывая что у людей нет опыта с такими вещами. Мне кажется, куда более страшный сценарий- если мощный ии агент попадет в руки диктатора или другого, не хорошего, человека
@@pashasankov4147 я думаю что манипулирование словами типа "самоулучшение", "ИИ агент" и т.п. создаёт ложное ощущение будто мы понимаем что это такое и тем более как это сделать. Никаких примеров самоулучшения и агентсва за пределами живой природы мы не видели. Очевидно, то и то и другое подразумевает понятие "цели". А телеология в современном научном дискурсе проходит по категории магии и колдовства. Сомневаюсь что удастся "просто закодить" не имея теории что и как. А её нет.
Давайте про нейроинтерфейсы выпуск!
Context window - важен. Как пример, введение результатов исследований с запросом «что ты тут видишь»? И llm со своими знаниями может проанализировать и подытожить такие исследования. Люди вечно генерируют инфу, ее анализ так же будет полезен конкретным людям - можно знать все о здоровье- дневник жизни. Так же в играх будет полезно, например все действия пользователя сохраняются в текст и шарятся в запрос для нпс, вместе со знаниями нпс(что бы он знал тольк то, что должен или может занть). Кейсов полно на самом деле
То что важен для использования человеком понятно. Но вопрос важен ли для достижения AGI. Или все же дело в чем-то совсем другом
как я понимаю, контекст важен в любом случае. те эмбединги что модель использует для твоей задачи, даже если они уже проиндексированы, будут частью этого контекст виндоу.
Говорят, OpenAI начали обучение нейросетей следующего поколения. Хотелось бы услышать ваше мнение в чем могут быть качественные отличия следующего поколения llm. Но все же, можно фантазировать- создавать новое на основании старого. Возможно, фантазия и станет новой фичей? Недавно прочел что текущие модели не очень хорошо придумывают радикально новое(ищите тему по генерации рандомных чисел llm).
Еще, слышал что обнаружили более лучшую архитектуру для нейросетей - KAN. Интересно про это то же послушать.
И как всегда, спасибо за ролик и ваше мнение!
Принято) спасибо!
Кстати, поставил локально llama 3 30b. На случай если Инет падает- он позволяет мне продолжать работать и обращаться к нему. Есть ощущение что поставил себе локально мини-интернет)
Wow серьезный подход 👍
По поводу сингулярности. Я услышал интересную мысль: бесконечно улучшающийся ИИ, сверхинтеллект, будет способен на вещи, которые мы не сможем осмыслить, даже если будем обучаться этому вечность (как если бы пытались сделать бессмертным щенка и обучить его знаниям человечества вечно - просто нет достаточных вычислительных ресурсов).
Суть мысли в том, что этот сверхсильный ИИ будет способен влиять на прошлое. Возможно, он направляет человечество, обеспечивая наше выживание во вселенной, где смертельные явления повсюду, чтобы в итоге возникнуть самому. Это подтверждается тем, что эволюция приводит к появлению максимально эффективных и приспособленных организмов в условиях конкуренции и ограниченных ресурсов.
В природе не может спонтанно возникнуть полупроводник достаточной мощности, получить достаточно энергии для работы, а также решить проблему с обработкой данных (их нужно как-то воспринимать с помощью сенсоров и заранее обрабатывать(тк данных полно, но только такие сложные системы как мозг и потребности к выживанию способны систематизировать эти данные придавая им смысл), учитывая когнитивные искажения и физиологию, завязанную на реакциях с нейромедиаторами удовольствия и стресса).
Извините, если сумбурно. Тема очень большая, а с iPad не очень удобно писать много текста)
Всё было очень интересно
Презентация в стиле матричного принтера 👍👍
Так. Мне кажется, что сама идея возможности самоулучшающегося ИИ требует обоснования. Какой под этим математический или философский базис?
И вот вам еще вброс: что это вообще за автономный ИИ? Есть вопосы: во-первых у живых существ есть какой-то внутренний стимул, котрый толкает их на активность, в психологии его называют либидо. Типа нафига ему вообще шевелиться? Это не очевидный вопрос.
Во-вторых, автономный ИИ должен как-то понимать что он есть, для этого он должен выделять себя из среды. Как? Как он определит свои гранцы? При этом нужно исключить фальшивое "самосознание", когда он просто напишет "я сознаю себя", это и современные ЛЛМки могут.
llm работают не как люди. Их стимул это получение входных данных. То есть, если есть сенсоры для восприятия информации - будет и аут пут.
Самоулучшение - это может быть как запрос человека, так и промежуточный этап выполнения другой задачи. Кейсов много. Если об этом беспокоятся рок звезды ии, то стоит послушать их аргументы для начала. А вообще это же супер не интуитивная вещь. И предсказать что чего то точно не будет, а что то будет - крайне сложно, учитывая что у людей нет опыта с такими вещами.
Мне кажется, куда более страшный сценарий- если мощный ии агент попадет в руки диктатора или другого, не хорошего, человека
@@pashasankov4147 я думаю что манипулирование словами типа "самоулучшение", "ИИ агент" и т.п. создаёт ложное ощущение будто мы понимаем что это такое и тем более как это сделать.
Никаких примеров самоулучшения и агентсва за пределами живой природы мы не видели. Очевидно, то и то и другое подразумевает понятие "цели". А телеология в современном научном дискурсе проходит по категории магии и колдовства.
Сомневаюсь что удастся "просто закодить" не имея теории что и как. А её нет.