วีดีโอ

@@EdmundBowie-n3z сначала базовые конечно, ну а дальше уже от задач сильно зависит

Пишем скрипт который идет в Яндекс и парсит выдачу, правда вот Яндекс это не очень любит, но думаю это возможно. Результаты добавляем в промпт. Но нюансов конечно немало - инфу надо фильтровать, можно поймать капчу в Яндексе, итд. Но в теории это возможно

Это канал про автоматизацию, чат то есть везде, только он не помогает в целях автоматизации, поэтому обычно используют либо API, либо подобные запросы

Думаю да, вопрос наличия power query и питона на маке, это зависит от версии excel и устанавливали ли вы питон

@@directprobi питон не устанавливал, ексель 365, необходимо чтобы яндексГПТ (предпочтительнее) работал и/или chatGPT

@@vasiliymaksimov6592 вам надо проверить есть ли power query в excel на вкладке данные - дает ли он вообще что-то получить например из файла

@@directprobi есть, дает

Можно учить, можно не учить - зависит от целей. Лично я пользуюсь питоном для загрузки данных в бд

Сильно зависит от основной части подписчиков, а она у меня скорее всего без своих каналов, так что изначальная реакция была не очень и видео не взлетело

Может токен не тот или folder?

Добрый день! Вы имеете в виду гугл таблицы? Можно использовать формулу и протягивать её, чтобы обработать несколько текстов. Но если текстов много (более 200 например), для этого я делал отдельную программу, можно посмотреть в одном из последних видео.

@@directprobi в system_promt указывать несколько ячеек откуда брать информацию для выполнения скрипта

Ссылки на отчеты есть, можете сделать свое сравнение, возможно я переоценил их таланты)

@@directprobi уже делали на Highload++ в Мск в 2023ем)))

Это зависит от компании, есть компании где на должности сеньора сидят люди которые до миддл не дотягивают по требованиям других компаний, например какой нибудь интегратор.

Возможно, от человека зависит, от того как и кто его обучает, сколько на это уходит времени. В любом случае все ссылки я предоставил, сравните как правильно. Если окажется, что данные hh ниже реальных зарплат, тут я не удивлюсь, большие зп никогда не писали на hh

​@@directprobi соглашусь с комментатором. За 3 года человек скорее всего не успеет выйти на плато стабильности по графику Даннинга-Крюгера, которое соответствует сеньорам. Если он за это время чувствует себя сеньором, то он или очень талантливый, или же всего лишь забрался на пик глупости. На мой взгляд, в среднем, миддл это 5-10 лет опыта, дальше уже идет сеньор, если при этом человек реально рос, а не прохлаждался в зоне комфорта на одной и той же работе много лет

@@TimLaizaR228 я через 5 лет уже сферу меняю чаще всего, я просто не знаю что человек должен делать 5 лет и насколько пассивно себя вести, чтобы за это время толком не научиться и не стать одним из лучших. Стажеров с нуля учат плотно несколько месяцев, они потом на мидлов устраиваются, а по-вашему 5 лет надо ждать, что-то я не верю в такую историю. Либо ниша какая-то очень сложная, либо человек очень пассивный и даже ментора не догадался нанять. Ну от 5 лет сеньёр еще можно понять, но 10 лет учиться - это слишком

@@TimLaizaR228 А я считаю себя сеньором за 3 года и шатал ваши плато и Даннинга-Крюгера лично.

​@@directprobi то есть нулёвые стажеры идут сразу на миддлов, минуя джуниор позицию? Это как? Джуниор отличается от миддла или сеньора прежде всего не знаниями, а отсутствием коммерческого опыта - не успел наступить на все грабли и всё в этом роде. Миддл уже успел наступить на большинство граблей и в целом уверенно работает. Сеньор имеет более углубленные знания чем миддл, но это не главное - он уже наступил на все грабли, а так же готов брать на себя ответственность за выполнение самых сложных задач, делать очень точную оценку выполнения, самостоятельно производить декомпозицию сложной задачи и тд. Слова про найм ментора вызвали улыбку)

В каких обьемах? Хотя бы 1000 объявлений напишет? Как вы будете управлять задержкой? И будут ли запросы асинхронными?

В опросе 18 ответов по 1С разработчикам, в биайке Юли их вообще нет, она данные не предоставляла, поэтому не стал добавлять в видео, нет репрезентативной статистики

а они тоже к программистам относятся?

@@qnxos а почему нет? Там такой же код. Имея опыт и на Java, и на 1С, я бы даже сказала, что на Java работать проще

А ты кем работаешь?

Headhunter не даст соврать)

Я вот вообще не работаю сейчас:)

@@directprobi ну так и у друзей кодеров примерно такие зп, даже повыше

@@directprobi Так hh это просто рекрутеры то что у них пишут и предлагают работу с ЗП это еще не значит что ЗП такова. Придти на собеседование и узнать у тех кто там реально работает. За 300 к он должен быть семи пядей во лбу. А мальцам из интернета впаривают курсы it и ссут в уши про ЗП 300к. А те и млеют от грёз, курс ему впарили и нашли место на hh за 35к. и все! Дальше сам.

Девопсы, QA, ну и программисты

​@@directprobiИнженеры, архитекторы, ИБ не в счет?

А как же soc, cert, админы, пентестеры?

Я взял самые популярные вакансии для сравнения, остальные - в отчетах если по ним есть данные

Если вакансий нет в опросе, значит таких респондентов не было, если нет в отчете hh, значит на hh мало подобных вакансий чтобы считать по ним среднее

По аналитикам то инфа есть, с ними в другом проблема - они очень разные, есть дата аналитики, есть веб-аналитики, есть биай-аналитики, есть системные аналитики, бизнес-аналитики и другие. Причём все по идее выполняют разные функции.

@@directprobi интересно было бы сравнить кто же самый, самый из аналитиков)) на текущий момент кажется что bi или системный)

А если брать по отдельности, их уже слишком мало чтобы делать выводы) Вот и остаётся некоторая неопределённость по ним)

​@@Magomedmirzoeff точно не bi(ну если дата инженеров конечно не брать), скорее системный и продуктовый

Пока с его таблички нет толку, видимо надо мне описание корректировать(

@@directprobi Я у него как аналитик Power BI записан с 16.03.2024 года оттуда пришло 16 человек 5 из них стали учениками. С ютуба 26 за тот же период и 6 учеников. Мне кажется что туда идут те кто больше про разработку)

Эти модели честно говоря не знаю как дообучить) Да и lmstudio - это всего лишь эксперимент был, а вот про chatgpt хотел снять ролик с дообучением, но пока не успел

Тема непростая к сожалению, долго пришлось разбираться в этом

Видать у автора комп слабоват

Как вы себе представляете что новичок придёт и будет писать всё руками? Да и в принципе тогда зачем разработчики сделали удобные кнопки если нужно всё писать руками? И почему бы в таком случае не писать на питоне, зачем вообще весь этот PQ если можно работать в pandas? Лично мне кажется кнопки очень сильно ускоряют простые преобразования, потому что даже умея писать код я и сам их часто использую. Иногда приходится что-то править в коде, но не так уж и часто, да и подобная работа - скорее тема продвинутого курса, никак не базового. А для ручного написания кода итак полно языков.

@@directprobi , это плохой вариант. Потом переучиваться приходится.

@@АндрейКорабельников-в6ц когда объём данных вырастает, неминуемо приходится переучиваться на DAX, Python, SQL, Airflow, NiFi и другие инструменты, но в рамках PQ если честно я не понимаю как надо переучиваться. Писать Table.Join разве что вместо Table.NestedJoin, но это вроде нетрудно

@@directprobi посмотрите buchlotnik. Творит чудеса

@@directprobi, похоже мой коммент пропал. По другому конечно можно писать. Хороший пример, buchlotnik. Творит чудеса на языке М

Добрый день! Давайте определимся про какой объем данных мы говорим. Если объем реально небольшой и Excel его без проблем обрабатывает, то не вижу никаких проблем, из такой таблицы можно отлично делать срезы. Если же объем как вы говорите больше и Excel тормозит/данные не влезают - смело переходите в Power BI. Как я и сказал в видео, в Power BI не нужно объединять всё в единую таблицу, там всё делается в модели данных. Насколько знаю, Power Pivot надо отдельно ставить как надстройку в Excel, лично я не вижу никакого смысла в этом когда есть Power BI. Поэтому как только задача выходит за рамки простого Power Query, я перемещаюсь в Power BI и делаю там. Какой смысл пользоваться моделью данных в Excel с ограниченным функционалом по сравнению с BI и старым интерфейсом - за все 7 лет работы я так и не понял) Разве что кому-то принципиально делать отчёт именно в Excel, но тогда надо снимать курс по Power Pivot уже))

@@directprobi Ну, на мой взгляд, 1. стандартный подход (PowerPivot) гораздо проще и удобней, позволяет применить навыки работы с моделированием данных 2. Он именно "стандартный", приучает подходить к задаче правильно, это дисциплинирует ум. 3. В настоящий момент гораздо проще включить PowerPivot, нежели наладить публикацию в Power BI Service, я это проходил. Но Вашу позицию я понял, спасибо за ответ. Кстати, как Вы решаете задачу публикации в Power BI Service и как Вы видите перспективы работы с Power BI в России в ближайшее время? Буду благодарен за идеи, ибо Вы в теме и явно знаете больше. Есть ли смысл переходить на другие (Yandex и пр.) инструменты аналитики? Спасибо.

@@andreyperekhrest6984 Я просто изначально Power BI учил и работал в основном с ним, поэтому Power Pivot кажется мне старой урезанной версией, но вы правы конечно если мы находимся в рамках Excel. Про саму возможность использования Power Pivot я сказал в видео, но поскольку всё это в целом Power Query посвящено, не стал его ставить. Касаемо Power BI в России - как зарегистрироваться есть в статье directprobi.ru/blogs/sankcii-power-bi-uhodit-iz-rossii-chto-delat/, а касаемо перспектив - зарезервировать отчёты точно стоит, чтобы был запасной вариант, но блокировок по IP пока нет, да и вряд ли будут пока это не выйдет на законодательный уровень. Самостоятельно резать свои доходы майкрософту нет никакого смысла пока не выйдет такой закон. А судя по всему текущие санкции пока не заставляют блокировать российские IP.

Спасибо 🙏 По api там целый курс по созданию коннекторов, в описании есть ссылочка. Ну а про создание простых подключений часто рассказываю на канале, даже инструмент специальный сделал чтобы быстрее писать их)

Раньше 10-й не работал насколько помню, а вообще проще всего установить 2016-й excel - там все встроено👍

На Boosty есть функции, в которых уже реализован цикл и всё корректно грузится итерациями по N строк

если добавляю host clickhouse:port то такая ошибка DataSource.Error: Web.Contents с параметром Content поддерживается только при анонимных подключениях.

ставлю анонимный вот так ругается -> Базовое соединение закрыто: Не удалось установить доверительные отношения для защищенного канала SSL/TLS.

@@ryatatuable а просто select выполнить получается на анонимном? Странно конечно, может не https надо а http? Для начала бы просто select на анонимном попробовать

если дописать в функцию ApiKeyName= ... тогда такая ошибка Web.Contents с параметром Content поддерживается только при анонимных подключениях.

Что за файнтюнинг? Это дообучение или что-то другое?

И еще вопрос - ты уже пробовал файнтюнинг для локалок? Или это было предположение?

Думаю да, но не пробовал, не знаю позволяет ли это делать LM Studio