Как применять оконные функции в SQL и Pandas | Анатолий Карпов | karpov.courses
ฝัง
- เผยแพร่เมื่อ 29 ก.ย. 2024
- Симулятор SQL: bit.ly/3Wg5o2i
Оконные функции - один из самых полезных инструментов в арсенале аналитика. Но практика показывает, что именно с их изучением возникает больше всего проблем.
Сегодня мы разберёмся, как применять оконные функции для решения различных задач в PostgreSQL и Pandas.
Видео вышло 13 дней назад, но документация уже поменялась для функции rank(). Теперь если мы хотим сделать в ранг группе, то также группируем, а потому указываем столбец по которому выставляем ранг. Пример:
data['order_number'] = data.groupby('device_id').date.rank()
Спасибо тебе) А то сидел минут 40 мучался, не понимал что не так
Спасибо тебе добрый человек) тоже долго мучался с ошибкой "ValueError: Wrong number of items passed 5, placement implies 1"
Спасибо большое! ЛУчше разобрался в вопрсосе
Мастера склейки на 15:38)))
я не понял как у него через фром все получается, что за магистр йода
что тут можно сказать - слова восхищения! Побольше таких же полезных, и я бы даже сказал, мотивирующих видео от Анатолия)
Спасибо огромное за видео)) Рекомендую пройти Симулятор SQL, настоящая жемчужина среди всех остальных бесплатных курсов SQL! Сам уже прошел почти все задания, кроме барабанная дробь.... ОКОННЫХ ФУКНЦИЙ) но уже скоро и этот блок осилю
Видео - просто супер! Самое понятное объяснение оконных функций и аналогия на pandas суперполезна!
Вопрос, на 15:38 запрос перед запуском начинается не с SELECT, а с FROM. При этом запрос выполняется и потом на экране там уже SELECT. Это какое-то автоисправление?
15:35 там что склейка?
From order_id, dt .....
И через пару секунд фром превратился в селект
Для меня неприятной неожиданностью стало неопределенное поведение таких оконных функций при выгрузке данных из мест, где строки могут быть перемешаны, например, партиционированная бд. И в hive, и в pg в first_value без указания окна бралось первое попавшееся значение (=некорректное). Нужно явно указывать окно - инструкции over(… range …) - на поиск этой фигни всрал два дня
Видео классное спасибо))
Анатолий эльф маг 80 уровня на 15-й минуте😄
а я думал, что знаю pandas...
Очень круто, как раз недавно искал аналоги оконных функций в pandas, т.к. именно окошки в курсах и материалах по pandas почему-то не освещаются. Благодарю!
Господь всемогущий, ваш канал - это просто кладезь полезной информации! Огромнейшее спасибо))
Познавательно!
Спасибо за видео. Неделю назад искал на ютубе оконные функции в пандасе и их небыло, в итоге аналог SQL-ного lag пришлось делать через джойн. В SQL оконные функции достаточно простые и на них много видео и примеров, а для пандаса аналогов вашему видео нет
А какие еще "встроенные методы" есть? .cumcount(), .cumsum(), .rolling()...
Спасибо за подробную инструкцию
RANK не подходит. Есть ROW_NUMBER.
В pandas это rank(method='first')
Неудобно что код постоянно скрывается. Хочется видеть сам запрос
Спасибо за видео, супер!
А в pandas можно работать с параметром окна также, как в SQL (rows и range)?
Толик - молодец!)))
Однозначно респект! Как всегда предельно просто и понятно. Было бы очень уместно еще рассмотреть пример скользящего среднего. Очень частая задача.
В основном повторил предыдущие знания, но и немножко новой информации получил. Спасибо.
Супер!❤
Где можно такой же датасет взять?
18:18 Я один заметил, что count, а в postgresql писали count(distinct )?
16:14 count(distinct)
👍👍👍
Очень полезно, спасибо!
Огромное спасибо, очень интересно👍
спасибо, ребята!
Спасибо за видео!
Кто этот человек в углу справа?????))) где наш Толик с огромной лысой головой! так привыкше и так классно смотрелось а теперь не узнать как то и не привычно и тот Толик как то роднее!))
))))
@@karpovcourses спасиьо тебе за все! Успехов!
Анатолий, куда борода делась?) Или это давно записанное видео? Борода символ мудрости (там хранятся знания статистики, тервера, питона и sql)
Отрастим)