Docker. Поднимаем PostgreSQL, ClickHouse и Superset | karpov.courses
ฝัง
- เผยแพร่เมื่อ 6 ก.ย. 2024
- Совсем скоро выйдет бесплатный курс по работе с Docker. Оставляйте свою почту, чтобы ничего не пропустить: karpov.courses...
Учитесь Data Science с нами: karpov.courses/
![POLYCAT - ข้อความรูปยิ้ม [Music Video]](http://i.ytimg.com/vi/lBhIgPGCgbI/mqdefault.jpg)
Круто! Давайте больше про бэкенд в DS, этому обычно мало уделяется внимания на образовательных ресурсах, а в работе штука необходимая.
Как вариант для продолжения темы с бэкендом - видос про деплой ML-модели в прод (разработка API с помощью FastAPI / Flask, контейнеризация, деплой на AWS / GCP)
О! Антон!))) я как раз сейчас прохожу курс по Докеру. Я узнаааааю тебяяяя из тысыысячиии. 😍 Точнее твой голос. Каждое видео смотрю по несколько раз.
Респект подготовки и умению рассказывать материал! Посмотрел, курс - просто пушка!
Человек!
Большое тебе спасибо!!!
Самое полезное и за 35 минут, просто супер)
За видео спасибо, информативно. Можно будет как-то этот навык на гитхабе обыграть. По ходу видео код записывался в документ , думал , он здесь будет прикреплён... оказалось, что его нет ни в описании , ни в комментах. Было бы неплохо прикреплять такое 😉
Антон - отличный преподаватель; даже если будет выжимать 300 нк.сек, не бросай преподавание ))
Спасибо за туториал. Очень информативно. Лектору отдельный респект.
Классно! Еще про Airflow не хватает части)
Большое спасибо. Жду курс по Docker.
Так он уже есть!) По ссылке: karpov.courses/docker
Очень круто, больше бы такого образовательного, практического контента! Спасибо!
Очень ждем курс по Docker
Для clickhouse на винде нет allow data upload
Для Postgres во время создания тоже не было, но потом в редактировании хотя бы появилось. Бужу рад объяснению, с чем это может быть связано)
галочка не появляется, но можно из python средствами pandahouse выгрузить csv
Странная история, начал создавать через Superset таблицу, все ок. Без ошибок.
Но таблица в списках схемы не появилась, хотя в логах контейнера Postgres видно что команда по созданию передалась. То есть коннект есть.
Ну а после создания, естественно попытался данные в нее вставить, пишет что такой таблицы не существует.
Такое чувство что Superset не может обновить схему до актуальной, в настройках ничего не нашел=(
GPT говорит что должна быть кнопка обновления метаданных подключений к базе, но ее тоже нет, все обыскал. Возможно он про какую-то старую версию говорит.
Что же делать, как теперь жить?=(
Интересно, но когда попробовал - не получается достучаться до postgres через clickhouse. Говорит что неверный пароль для пользователя.
После docker restart superset. Он не запускается. Отличная инструкция!
при установке clickhouse-sqlalchemy не получали ошибку ?
"ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
flask-appbuilder 4.4.1 requires SQLAlchemy
Делаешь docker exec -it superset pip clickhouse-connect. Потом docker restart superset. Смотришь, чтобы контейнер поднялся docker ps -a
Шикарно!
Некоторые команды поменялись из видео смотрите актуальную документацию на сайтах. У меня больше часа ушло на примерно такую настройку, у меня сервер на Битвеб за 400 р 4Гб RAM/60 Гб HDD рекомендую.
Агонь!
Очень интересно и информативно, огонь!
А как можно сделать, чтобы этим пользовались и, например, мои коллеги по работе, одновременно со мной. Я запускаю у себя и они могут в браузере заходить и мы видим одни и те же данные, и работаем с ними, надо localhost на что-то подменить?
Или проще запустить контейнер на каком-нибудь удалённом раб.столе и те кто подключаются на него по RDP просто переходят на один и тот же localhost и работают с одними и теми же данными?
На Apple M1 ClickHouse ставится с ошибками и URI в Superset не срабатывает для подключения.
Кто встречал такое? Как-то пофиксили?
Спасибо
Аналогичная ситуация.
Удалось разобраться?
Мне кажется, надо docker-compose попробовать
Лядову надоело путешествовать, и он стал программистом)))))
Дарова, Антон!)
К "docker run -d --rm --net=my_net -p 80:8088 --name superset apache/superset" пришлось добавить "-e "SUPERSET_SECRET_KEY=какой_то_не_дефолтный_пароль"" , а то принципиальныцй суперсет не желал дальше со мной общаться
еп вашу мать, я 3 часа искал причину, в сраной документации и на форумах указывается SECRET_KEY=какой_то_не_дефолтный_пароль"" , а нужно как выше, тогда работает. возможно тип указания поменлся, а может банальная не внимателеность
Пока пытался установить суперсет - отбил все желание вообще с ним работать. Как можно было настолько непонятный путь установки сделать...Может есть у кого полный набор команд?
🔥🔥🔥
У меня в суперсете не появилась галочка для разрешения загрузки csv.
Перезапускал и переустанавливал, но все равно ее нет :(
мда, поэтому эту BI мало использует, пока установишь\настроишь, столько время потеряешь
На 12:53 пытаюсь подключить базу Postgres_1, но выдаётся сообщение, что "The hostname provided can't be resolved." Что можно сделать? 🤯🤯🤯
подскажите, пожалуйста как запустить файл в котором Вы прописали все команды, чтобы потом не повторять всё сначала
Для новичков наверное не оч понятно, но полезно
Делал аналогично, но на Винде. На 12 минуте не смог зайти в Superset т.к. логин/пароль (admin/admin) не был принят. Проблема в Винде?
Слеши / не пиши при создании профиля
Я запускал сразу весь скрипт (который *.sh) через терминал. У меня помогло добавление в самом начале команды "winpty". То есть комманды были типа
winpty docker exec -it ...
@@user-zy1vm7hw5eТы ко всем строкам добавил wintpy или только к одной? У меня выдает internal service error при входе
Может кому-то будет полезно. Решил тем, что установил образ в терминале докера. Заменил на postgres:14.12-alpine3.20 и apache/superset:36b1535-dev
тема хорошая. Но linux... может быть все же можно на винде. Может для кого то это кринж. Но нас таких много :))))
docker спокойно накатывается на windows сейчас, для ускорения ещё поставь wsl предварительно и будет счастье
@@kabalchik5085 две заметки сначала установить wsl с убунту образом - команда где то в документации винды . потом можно включить в компонентах поддержку hyper -v и только потом можно поставить прогу докер , а потом сообразить что комманда для apache/superset неактуальна и нужно посмотреть на докер хаб ту что нужно теперь использовать с secretkey
А зачем показывать устаревшие видео ? Как это понял ? Старый репозиторий clickhouse, который не поддерживается
Правильно я понимаю, что без знаний/умений по linux и наличия собственно компьютера с linux в качестве os ни данное видео, ни ожилаемый курс можно не смотреть, пока не изучишь основы linux? Просто автор с первых кадров начал писать код на яп, даже не могу понять каком: sudo, create docker и т.д....
Эмуляция linux есть в Windows 10
да для начала стоит немного ознакомится с командной строкой и базовыми командами linux но там нет какой то магии, просто пишешь кому отдаешь команду и затем пишешь саму команду, типа docker run container_name, говоришь докеру чтобы он запустил контейнер, с таким-то именем, и да докер работает только с linux, чтобы работать на windows нужно будет внутри операционки создавать эмуляцию с помощью wsl - (windows subsystem for linux)
Пару дней помучиться и получится.