Что такое CLICKHOUSE и колоночные СУБД

แชร์
ฝัง
  • เผยแพร่เมื่อ 24 ธ.ค. 2024

ความคิดเห็น • 70

  • @da_volkov
    @da_volkov 10 หลายเดือนก่อน +30

    Случайно наткнулся на канал, и офигел от количества и качества материалов. У меня как раз задача - верхнеуровнево ознакомиться с разными технологиями, и у вас на канале почти все что мне нужно есть. Причем в доступной форме и с ссылками на референтные материалы. Спасибо за вашу работу!

    • @ListenIT_channel
      @ListenIT_channel  10 หลายเดือนก่อน

      Круто, рад! Напишите, если какую-то тему ещё хочется послушать, чего нет на канале

    • @AlexDanilovFapsiSu
      @AlexDanilovFapsiSu 7 หลายเดือนก่อน

      Качество? Разбор запроса к таблице (3-я минута). where color=543, автор читает 542; ... 2. найти колонку с именем type и её значение, когда по этому запросу нужно найти колонку с именем color.
      На этом просмотр видео закончил.
      Качество?

    • @AlexDanilovFapsiSu
      @AlexDanilovFapsiSu 7 หลายเดือนก่อน

      @@da_volkov причём тут, что видео "обзорное"? Человек взялся публично рассказать о неких вещах, и стал сыпаться на ошибках с самого начала. И право предъявлять за ошибки возникает как раз по факту публичности.
      И хамить вот не надо.

    • @AlexDanilovFapsiSu
      @AlexDanilovFapsiSu 7 หลายเดือนก่อน

      @@da_volkov от тебя же корректностью так и прёт.

    • @azamatkurmangaliyev6010
      @azamatkurmangaliyev6010 2 หลายเดือนก่อน

      @@AlexDanilovFapsiSu 543, 542 мне кажется если бы я комент не прочёл, я бы даже не обратил внимание. =)

  • @KozhinDev
    @KozhinDev 10 หลายเดือนก่อน +16

    Только сейчас узнали, что нашу статью использовали для видео. Спасибо, что упомянули нас) Отличное видео, лайк!

    • @ListenIT_channel
      @ListenIT_channel  10 หลายเดือนก่อน +1

      Спасибо вам за отличный сурс! ♥️

  • @SomeGuy-q1d
    @SomeGuy-q1d 8 หลายเดือนก่อน +1

    Спасибо! Это лучший обзор что я видел про clickhouse!

  • @doomox6001
    @doomox6001 ปีที่แล้ว +34

    Хорошая разработка, заточенная под решение конкретных задач. В принципе так и должен создаваться софт. А когда пытаешься получить все и сразу, то обычно ничего не выходит. Считаю что разработчики яндекса молодцы.

  • @mikurrey416
    @mikurrey416 9 หลายเดือนก่อน

    Большое спасибо, очень ценно для вхождения в тему и очень легко для понимания

  • @Dimedrolity
    @Dimedrolity 9 หลายเดือนก่อน +1

    Качественный материал, полезно для меня как для разработчика грейда Middle 👍

  • @nav6526
    @nav6526 ปีที่แล้ว +6

    В недостатки можно еще добавить проблемв с join-ами таблиц. Если данных много и они не помещаются в памяти то запрос упадет с ошибкой. Мы решили эту проблему с помощью разделения одрого запроса на N запросов, каждый из которых обрабатывает часть данных. Например есть таблица клиентов и таблица их заказов. В каждой из таблиц есть номер телефона клиента и нужно сделать join по номеру телефона. Если попытаться соединить сразу весь набор данных то запрос упадет из-за недостатка памяти. Но можно сначала сдрлать join для телефонов попадающих под условие something_hash(phone_number)%6 = 0, затем 1,...5. После чего объединить данные.
    А еще лучше явно указывать извлекаемые поля и не использовать звездочку в select. Оитимизатор запроса в clickhouse гораздо более простой чем в oracle, postgresql, поэтому разработчик сам должен состаалять эффективные запросы.

    • @ListenIT_channel
      @ListenIT_channel  ปีที่แล้ว

      Круто, спасибо, интересный опыт!

  • @user-uq4ix5ie3q
    @user-uq4ix5ie3q ปีที่แล้ว +1

    Благодарю! Я врубился в отличия!

  • @lolpwn6528
    @lolpwn6528 8 หลายเดือนก่อน +2

    Спасибо, отличный материал
    подписываюсь

  • @artyomkhrenn
    @artyomkhrenn ปีที่แล้ว +2

    Спасибо, отличная подача видео, быстро познакомился с кликхаусом

  • @sovrinfo
    @sovrinfo ปีที่แล้ว +2

    Спасибо за видео. Коммент в поддержку!

  • @ArchDevWorkshop
    @ArchDevWorkshop ปีที่แล้ว +2

    Круто, спасибо! Очень интересное видео

  • @andreypopov5018
    @andreypopov5018 ปีที่แล้ว +1

    Найс! Сил вам и здоровья! Выжимка отличная

  • @wsxpocxeafx
    @wsxpocxeafx 3 หลายเดือนก่อน

    3:38 тот факт, что столбцы отсортированы открывает возможность бинарного поиска по столбцу, а он работает очень быстро. Раз значения отсортированы, значит добавление в таблицу строки может быть медленным, если только данные физически на диске тоже хранятся в отсортированом виде.

  • @rudolfsikorsky7900
    @rudolfsikorsky7900 5 หลายเดือนก่อน +1

    Спасибо, полезно! Хотелось бы такое же сжатое изложение по Apache Cassandra :)

  • @dasydasy9268
    @dasydasy9268 ปีที่แล้ว +2

    Отличное видео!

  • @Артем-х7п6с
    @Артем-х7п6с ปีที่แล้ว +5

    Очень классное видео, спасибо! Очень не хватает уроков кликхауз для чайников, в Ютубе их почти нет)

  • @nikolaybelikov1498
    @nikolaybelikov1498 หลายเดือนก่อน +1

    Стиль прикольный выбрал)

  • @SiarheiAkhramenia
    @SiarheiAkhramenia 5 หลายเดือนก่อน

    Мэтод :)
    Прэкрасный матэриал! (без сарказма, но про мэтод это вы конечно прикольно)

  • @Василий-о1ф2ь
    @Василий-о1ф2ь ปีที่แล้ว +1

    Спасибо!
    Интересно, полезно и понятно)

  • @apristen
    @apristen ปีที่แล้ว +2

    спасибо! отлично рассказано!

  • @kyazymkyazym4728
    @kyazymkyazym4728 2 หลายเดือนก่อน

    Видео супер, если бы ты сделал аналогично про Кафка коннект (дебезиум допустим), было бы замечательное продолжение темы с кайфкой) про CDC и Реал-тайм обработка данных

  • @rootgorfal9811
    @rootgorfal9811 ปีที่แล้ว +3

    2:47 в запросе поиск по столбцу color в пояснении type

    • @АндрейИльин-д6ж
      @АндрейИльин-д6ж 5 หลายเดือนก่อน +1

      автору то откуда знать как должно быть?

  • @LeonidYakovlev85
    @LeonidYakovlev85 ปีที่แล้ว +3

    Большое спасибо за выпуск, было очень интересно, полезно и информативно 👍

  • @Denisko123
    @Denisko123 ปีที่แล้ว +1

    Использую на работе. Действительно большие объемы обрабатывает просто с космической скоростью. Типа статы и фильтров на ней. А вот с единичными записями, обновлением и удалением (через мутации) тут все тяжко. Приходиться манипулировать

  • @non5309
    @non5309 ปีที่แล้ว

    Хорошие ролики, спасибо!

  • @gzhegow
    @gzhegow หลายเดือนก่อน

    Можно вопрос? Как организована операция поиска, что поиск одной строки займет больше времени чем поиск сотни строк сразу? В чем принцип работы такого поиска? Почему по первой же колонке нельзя найти номер строки и вывести из всех колонок искомый номер? И почему 100 строк почему-то быстрее работает?

  • @v4Vr983tlVMB
    @v4Vr983tlVMB หลายเดือนก่อน

    Разве строковые базы не используют те же самые алгоритмы при индексации? PostgreSQL в частности

  • @Alexander-ws6wl
    @Alexander-ws6wl 11 หลายเดือนก่อน +2

    А можно для непрофильных специалистов объяснить, как столбцовая СУБД выдаёт в результате строку, если все столбцы хранятся отдельно? Что связывает элементы разных столбцов?

    • @heheheyhey5234
      @heheheyhey5234 10 หลายเดือนก่อน +1

      ключ есть у каждой ячейки .типа НомерСтроки

  • @kironpapon
    @kironpapon ปีที่แล้ว +9

    Привет
    Там кажется, на 2:30 ошибка, когда ты показываешь как происходит запрос к БД. Нужно колонкой ты указываешь строку, в которой значение color = 5235, но в запросе попросил color = 543
    И на 3:30 ты говоришь "С цветом 542", а ищем мы цвет 543
    Сорри, если душно....
    Видос пушка, спасибо большое

    • @ListenIT_channel
      @ListenIT_channel  ปีที่แล้ว +3

      Привет! Да не, не душно, там автор статьи, видимо, напутал, а я не сразу заметил ошибки. На суть сильно не влияет, поэтому решил оставить. Буду внимательнее, спасибо!

    • @kironpapon
      @kironpapon ปีที่แล้ว

      @@ListenIT_channel да, сто проц не влияет, все супер понятно и очень круто изложен материал, еще раз спасибо!

    • @skarfex
      @skarfex ปีที่แล้ว +2

      Если уж душнить, то пополной)
      В пункте 2 мы ищем не колонку с названием type, а колонку color и значение 543

    • @andreyprokhorov3371
      @andreyprokhorov3371 7 หลายเดือนก่อน

      2:33 почему по type пишите? Если color

  • @андрейшаульский-в5к
    @андрейшаульский-в5к ปีที่แล้ว +1

    Интересно

  • @the_Timmy_93
    @the_Timmy_93 10 หลายเดือนก่อน

    Палатка первой помощи на первой секунде =)

  • @letsdosmth7666
    @letsdosmth7666 ปีที่แล้ว +1

    сделайте пожалуйста ролик про WSDL !!!

  • @linust5892
    @linust5892 ปีที่แล้ว

    Опа KozhinDev)) Красноярским привет

  • @lsandreyls
    @lsandreyls ปีที่แล้ว

    Ну так себе статься, про класторизированные индексы понятно , но вот самое ведь интересно не как факт указать когда не нужно использовать не класторизированные индексы, а почему .

  • @Чонгукчкук
    @Чонгукчкук ปีที่แล้ว

    Сделай видео про руководство по стилю в SQL

  • @kuzmaprut
    @kuzmaprut 10 หลายเดือนก่อน +1

    в clickhouse есть primary key

  • @reveuzze777
    @reveuzze777 ปีที่แล้ว +1

    listen TO IT💡

  • @sighupcmd
    @sighupcmd ปีที่แล้ว

    Буффер вставок придется самому имплементить? На стороне КХ нет такой фичи?

    • @seriych
      @seriych ปีที่แล้ว

      Есть таблицы с движком buffer, есть асинхронные вставки. В каких-то случаях этого может хватить. Но в целом желательно вставлять пачками, то есть да, самому имплементить.

    • @vladislavstepanov7591
      @vladislavstepanov7591 ปีที่แล้ว

      Есть адаптеры из коробки на уровне Clickhouse которые позволяют подключить ее напрямую к RabbitMQ/Kafka, а CH сам оттуда будет забирать на вставку. Но не уверен насколько это работает, не пробовал

  • @IgorZimaev
    @IgorZimaev ปีที่แล้ว +1

    «Пропустить колонки, которые не нужны для анализа - невозможно»
    Даже если повесить на колонку индекс? Как же он тогда ускоряет поиск?)

    • @vladislavstepanov7591
      @vladislavstepanov7591 ปีที่แล้ว

      В любом случае это будет не так быстро. Есть Index Scan Only, который будет читать данные только из индекса.
      Но как только ты добавишь в SELECT поле не из индекса или из другого индекса, операция сразу замедлится в несколько раз, потому что это будет уже Index Scan, а значит БД будет подглядывать в heap и забирать данные из оригинальной таблицы
      А в колоночной бд такого нет потому что она просто может посчитать byte offset для соседней колонки и сразу считать данные, без поиска

    • @nav6526
      @nav6526 ปีที่แล้ว +2

      В строковых бд обычный индекс позволяет получить место хранения строки, т.е. является указателем. Перейдя по указателю получанм достап к строке, но полученная строка состоит из N полей (или по другому - колонок), и чтобы получить доступ к какому-то полю нужно прочитать все поля перед ним. В кликхаусе эти поля таблицы хранятся в отдельных отсортированных структурах, поэтому поиск по колонке очень быстрый.
      В строковой бд если запрос должен выполняться по всей таблице или планировщик запроса считает что запрос не получит выгоды от индекса то будет фулскан всей таблицы и на больших данных это очень медленно.

  • @АлексейКузьмичёв-ц7о
    @АлексейКузьмичёв-ц7о 9 หลายเดือนก่อน

    Строка, только повернутая на 90 градусов)

  • @nauryzzz
    @nauryzzz ปีที่แล้ว +1

    Ну по сути, обычная таблица, где каждый столбец представляет собой некластеризованный индекс.

  • @СИБИРСКИЙ_ВОЛК
    @СИБИРСКИЙ_ВОЛК ปีที่แล้ว +1

    Сделайте пожалуйста про касандру

  • @oyaebunterkrah_
    @oyaebunterkrah_ 6 หลายเดือนก่อน

    th-cam.com/video/2b4heaO3U8k/w-d-xo.html в колонке style правильные номера записей?

  • @tihon4979
    @tihon4979 6 หลายเดือนก่อน +1

    Как же много оговорок, это ужас какой-то. На экране одно, вслух произносится совсем другое...

  • @wce-tube
    @wce-tube ปีที่แล้ว +1

    542 vs 543
    Fight!

  • @andriibodashevskyi
    @andriibodashevskyi ปีที่แล้ว +1

    На минусах сразу понятно что это создавали россиянские «гении»

    • @ListenIT_channel
      @ListenIT_channel  ปีที่แล้ว +13

      Колоночные базы как технологию придумали ещё в 1969, это не новинка. А что именно смутило в минусах?

    • @ArchDevWorkshop
      @ArchDevWorkshop ปีที่แล้ว +3

      Вполне годная база, главное правильно использовать. А что вы придумали и реализовали?

    • @zorro3481
      @zorro3481 ปีที่แล้ว

      Хохол детектед

    • @bunta8789
      @bunta8789 3 หลายเดือนก่อน

      Хохлятские гении в свою очередь что сделали? Пукнули в ладошку и занюхнули

  • @vectrasale
    @vectrasale ปีที่แล้ว +2

    Отличное видео!