Тема интересная, теперь буду разбираться как такой список выгружать в файл и в какой файл, хочу подгрузить прокси списком в shadowrocket. Автор, спасибо за информацию!
Решил посмотреть, что это за proxy-list, написал программу которая сканирует их на соединение с сайтом в ru с timeout=2.5. Немного статистики за неделю: за проход(около 5000 прокси) 50-100 штук рабочих, за неделю около 10 штук хотя бы два раза в рабочих, 2 прокси работают каждый раз, одна в Нидерландах, другая в Южной Америке. Вот как-то так.
Ребята, Всех приветствую! Подскажите, я ничего не понимаю в этом, но мне нужен прокси Норвегия. Мобильный. Нужен буквально на несколько минут. Подскажите, как лучше поступить? Не хочется ради нескольких минут, покупать прокси. Я не скамер никакой, обычный человек, просто есть один вопрос, который надо закрыть. Благодарю за ранее!
Странно как то с заголовками выходит - извлекал их с разных сайтов и те что имеют полный набор для детекта в плане античитинга и максимум что было на одном сайте - via, x-cache . сайты будто отказались от этих заголовок и используют каике то свои специфичные и не понятно что там. однако один сайт детекнул что я сижу через vpn и даже реальный ip извлек.
Что то я так и не понял.... Ну вроде как запросило и получили список прокси..... но при проверке из 11 предложенных 4 не рабочих. Чем это отличается от того что я просто скопирую список прокси и также проверю на том же сайте по принципу работает или нет? Пока кроме 40% отвалившихся вместо 80%..... но все равно ведь в конечном итоге их нужно будет проверять! Или я чтото не понимаю?!
40% против 80% это уже отличный результат на самом деле! При работе с публичными прокси, нельзя быть уверенным, что они будут рабочие в момент использования. Можно только сказать, что вот 100 прокси, из них 70 работают, я только что проверил. Через минуту Вы перепроверяете их, рабочих= 50, еще через минуту= 83, еще через минуту =12 и так далее. Поэтому их использовать можно далеко не везде, но иногда прям выручают. PS: а если нужны хорошие приватные прокси, которые стабильно работают - ссылки в описании
@@the_parse_hub , просто непонятно для чего пользоваться этой приблудой когда в конечном итоге все равно проверяешь их на одном и том же сайте :) . Т. е. по факту например мне нужно 10-20 прокси: - без этой системы из какогото ресурса вбил 100 прокcи и получил на выходе 20 рабочих - с этой приблудой вбил 50 прокси и получил на выходе теже 20 рабочих Разница лишь в количестве прокси которые ты копируешь/вставляешь списком. P.S. Приватные прокси это конечно хорошо..... но для задач людей которые смотрят это видео их покупать нет смысла. Например мне нужно на это удовольствие на приватный прокси каждый месяц выкидывать порядка 20-40 баксов.
уважаемый бро , трекк тайм 3:25 , не совсем понял как различить прокси которые не будут (внезапно) отправлять нежелательные заголовки(касаемо реального айпи ) на серв , вот я допустим соберу из открытых источников так или иначе какое то кол-во проксей , возможно даже напишу свой чекер , чекну , даже если выйдет шутчек 10 , как определить те что не палят реальный айпи? возможно есть какая то инфа котоая мне поможет? стоит ли для таких целей приобретать платные какие то более надежные варианты? а то что я описал это так неочем (в плане более серьездного сокрытия айпи?)
Например можно отправить запрос через конкретный прокси на url который покажет заголовки (гугли azenv, пример сайта: azenv.net/) и уже на основе полученных данных сделать вывод об уровне анонимности прокси, это если вкратце. Если лень разбирать и прокси нужно пару штук - будет проще и лучше купить к примеру здесь: proxy6.net/?r=54545
Конечно! Вам необходимо это делать через selenium-wire (pip install selenium-wire). Т.е. импорт будет выглядеть вот так: from seleniumwire import undetected_chromedriver as uc Ну и далее примерно так: wire_options = { 'proxy': { 'https': f'{login}:{password}@{ip}:{port}', } } options = uc.ChromeOptions() options.add_argument('--ignore-certificate-errors') driver = uc.Chrome(seleniumwire_options=wire_options, options=options)
Т.к. этот канал по парсингу, то приведу пример из данной сферы. Вот у нас есть сайт, который продает от скрепки до авто, количество товаров > 1 000 000 и нам нужно спарсить все товары из него. Максимальное количество запросов с одного ip=1 запрос в секунду, больше будет блокировать. Если работать с одного ip на это понадобится более 12 суток при идеальных условиях, но так не бывает. А по техзаданию, нам нужно каждый день присылать заказчику свежую базу. Но если у нас есть 20 разных ip, то понадобится уже примерно полдня. Это всего один пример, на самом деле применить пачку прокси можно очень по-разному
На ум приходит только нечестный способ: - поднять свой публичный чекер прокси - при проверке сохранять рабочие прокси для дальнейшего использования Не исключаю, что кто-то так и делает, но я таким заниматься не буду
@@scoundrelblr1928 Ну как-же, пользователь где-то купил себе приватные прокси, пришел к Вам чтобы их чекнуть, а Вы не только их проверили, но и теперь сами ими пользуетесь. Что тут честного?
Так себе показать что можно сделать с помощью Python норм а так ты не показал что хоть 1 работает прокси чекер не показатель вот покажи что ты хоть что то сделал с етим прокси кроме текста в консоли)
Это не библиотека, а кусок сами знаете чего. На Винде она валит ошибки, для роботов точно нет. Методы, которые они советуют не помогли. Проще самому парсер написать, чем тратить время на эту поделку.Фиксы ошибок не помогли. Все варианты перепробовал.
@@the_parse_hub а смысл? Я купил пару на прокси6, мне хватает за глаза. Пинг отличный, скорость топ. Тестил эти прокси, которые из видео, ну это полное фиаско, я даже не знаю под какой проект они могут подойти.
![[TH] 2024 PMGC League | กลุ่มสีเหลืองวันที่ 1 | PUBG MOBILE Global Championship](http://i.ytimg.com/vi/I_FdxGT3WV4/mqdefault.jpg)
Отличное видео. Приятный ровный спокойный голос. Спасибо.
Тема интересная, теперь буду разбираться как такой список выгружать в файл и в какой файл, хочу подгрузить прокси списком в shadowrocket. Автор, спасибо за информацию!
Решил посмотреть, что это за proxy-list, написал программу которая сканирует их на соединение с сайтом в ru с timeout=2.5. Немного статистики за неделю: за проход(около 5000 прокси) 50-100 штук рабочих, за неделю около 10 штук хотя бы два раза в рабочих, 2 прокси работают каждый раз, одна в Нидерландах, другая в Южной Америке. Вот как-то так.
Для бесплатных прокси вполне нормально
Крайне интересное видео. Спасибо за труд !
Круто! Вообще платные прокси конечно гораздо лучше и стабильнее, но иногда и бесплатные нужны. Раньше я вручную на разных сайтах искал
Спасибо! Насчет платных прокси полностью согласен
Пользуюсь платными проксями, и не доволен качеством. Хотелось бы услышать от вас где вы покупаете прокси недорогие и хорошие по качеству
Прикольно . Спасибо
Ребята, Всех приветствую! Подскажите, я ничего не понимаю в этом, но мне нужен прокси Норвегия. Мобильный. Нужен буквально на несколько минут. Подскажите, как лучше поступить? Не хочется ради нескольких минут, покупать прокси. Я не скамер никакой, обычный человек, просто есть один вопрос, который надо закрыть. Благодарю за ранее!
Некоторые сайты дают прокси на тест с ограничениями по трафику или времени. Как раз Ваш вариант
Как программа называется где мы ищем прокси?
Нужен сам язык Python сначала установить, а потом установить библиотеку: github.com/bluet/proxybroker2
Странно как то с заголовками выходит - извлекал их с разных сайтов и те что имеют полный набор для детекта в плане античитинга и максимум что было на одном сайте - via, x-cache . сайты будто отказались от этих заголовок и используют каике то свои специфичные и не понятно что там. однако один сайт детекнул что я сижу через vpn и даже реальный ip извлек.
Что то я так и не понял....
Ну вроде как запросило и получили список прокси..... но при проверке из 11 предложенных 4 не рабочих.
Чем это отличается от того что я просто скопирую список прокси и также проверю на том же сайте по принципу работает или нет?
Пока кроме 40% отвалившихся вместо 80%..... но все равно ведь в конечном итоге их нужно будет проверять!
Или я чтото не понимаю?!
40% против 80% это уже отличный результат на самом деле!
При работе с публичными прокси, нельзя быть уверенным, что они будут рабочие в момент использования. Можно только сказать, что вот 100 прокси, из них 70 работают, я только что проверил. Через минуту Вы перепроверяете их, рабочих= 50, еще через минуту= 83, еще через минуту =12 и так далее.
Поэтому их использовать можно далеко не везде, но иногда прям выручают.
PS: а если нужны хорошие приватные прокси, которые стабильно работают - ссылки в описании
@@the_parse_hub , просто непонятно для чего пользоваться этой приблудой когда в конечном итоге все равно проверяешь их на одном и том же сайте :) .
Т. е. по факту например мне нужно 10-20 прокси:
- без этой системы из какогото ресурса вбил 100 прокcи и получил на выходе 20 рабочих
- с этой приблудой вбил 50 прокси и получил на выходе теже 20 рабочих
Разница лишь в количестве прокси которые ты копируешь/вставляешь списком.
P.S. Приватные прокси это конечно хорошо..... но для задач людей которые смотрят это видео их покупать нет смысла.
Например мне нужно на это удовольствие на приватный прокси каждый месяц выкидывать порядка 20-40 баксов.
Спасибо , интересно
Все отлично. Только вот что за "наш печар"? Типа командная строка, или я не шарю?
PyCharm, программа для написания кода
уважаемый бро , трекк тайм 3:25 , не совсем понял как различить прокси которые не будут (внезапно) отправлять нежелательные заголовки(касаемо реального айпи ) на серв , вот я допустим соберу из открытых источников так или иначе какое то кол-во проксей , возможно даже напишу свой чекер , чекну , даже если выйдет шутчек 10 , как определить те что не палят реальный айпи? возможно есть какая то инфа котоая мне поможет?
стоит ли для таких целей приобретать платные какие то более надежные варианты? а то что я описал это так неочем (в плане более серьездного сокрытия айпи?)
Например можно отправить запрос через конкретный прокси на url который покажет заголовки (гугли azenv, пример сайта: azenv.net/) и уже на основе полученных данных сделать вывод об уровне анонимности прокси, это если вкратце. Если лень разбирать и прокси нужно пару штук - будет проще и лучше купить к примеру здесь: proxy6.net/?r=54545
спс@@the_parse_hub
Интересно, есть ли способ подключить auth proxy к undetected chrome?
Конечно!
Вам необходимо это делать через selenium-wire (pip install selenium-wire). Т.е. импорт будет выглядеть вот так:
from seleniumwire import undetected_chromedriver as uc
Ну и далее примерно так:
wire_options = {
'proxy': {
'https': f'{login}:{password}@{ip}:{port}',
}
}
options = uc.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
driver = uc.Chrome(seleniumwire_options=wire_options, options=options)
@@the_parse_hub Спасибо, попробовал этот код; К сожалению, не проходит cloudflare.
@@the_parse_hub Спасибо за cкрипт, но он, к сожалению, ловит капчу(cloud flare)
Что может быть, что у меня не работают SOCKS5? Все остальные типы прокси включаются нормально.
С вопросом "почему не работает?" и без всякой конкретики Вам вряд-ли кто-то поможет
Подскажите нубу, зачем может понадобиться большое количество прокси, что с этим делать?
Т.к. этот канал по парсингу, то приведу пример из данной сферы. Вот у нас есть сайт, который продает от скрепки до авто, количество товаров > 1 000 000 и нам нужно спарсить все товары из него. Максимальное количество запросов с одного ip=1 запрос в секунду, больше будет блокировать. Если работать с одного ip на это понадобится более 12 суток при идеальных условиях, но так не бывает. А по техзаданию, нам нужно каждый день присылать заказчику свежую базу.
Но если у нас есть 20 разных ip, то понадобится уже примерно полдня. Это всего один пример, на самом деле применить пачку прокси можно очень по-разному
@@the_parse_hub Спасибо за ответ!
@@the_parse_hub Максимальное количество запросов с одного ip вычисляется опытным путем? Или тоже есть какие то проекты на гитхабе например?
proxybroker2 сам знает откуда выдавать прокси или надо ему задавать ресурс?
Да, он знает несколько источников и берет из них всю информацию
Какая у вас ОС?
Linux Mint. Мне нравится
не работает на windows, никто фиксить это не хочет)
Я могу фиксить проверять каждый прокси что работает ли нет
Под Windows10 скрипт не удалось запустить, сплошные ошибки списка proxy нет. На ubuntu пошло.
Может быть, это не самая стабильная библиотека
А я бы написал на селениуме парсер, который список прокси ещё и проверяет на качество. Пару часов заняло бы.
Так необязательно на селениуме, можно и через запросы проверять, но на самом деле эта библиотека их уже проверяет
На MacOS не заработало
Что за ошибка?
теперь сделай чтобы можно было брать бесплатные прокси с авторизацией
На ум приходит только нечестный способ:
- поднять свой публичный чекер прокси
- при проверке сохранять рабочие прокси для дальнейшего использования
Не исключаю, что кто-то так и делает, но я таким заниматься не буду
@@the_parse_hub а что тут не честного?
@@scoundrelblr1928 Ну как-же, пользователь где-то купил себе приватные прокси, пришел к Вам чтобы их чекнуть, а Вы не только их проверили, но и теперь сами ими пользуетесь. Что тут честного?
Так себе показать что можно сделать с помощью Python норм а так ты не показал что хоть 1 работает прокси чекер не показатель вот покажи что ты хоть что то сделал с етим прокси кроме текста в консоли)
Дарю ,,,,,,,,,,,,,,,,,,,,. Тебе пригодится)
Автор использует питон 3.7 )))))))))))))))))))))))))))))))
При работе с этой библиотекой да
Под Windows что-то не взлетает.... =(
попробуйте сразу после импорта библиотек вставить такую строку:
asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())
@@the_parse_hub Увы, тоже валится в ошибку:
строка:1 знак:70
+ ... yncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())
+ ~
После ''('' ожидалось выражение.
+ CategoryInfo : ParserError: (:) [], ParentContainsErrorRecordException
+ FullyQualifiedErrorId : ExpectedExpression
Это не библиотека, а кусок сами знаете чего. На Винде она валит ошибки, для роботов точно нет. Методы, которые они советуют не помогли. Проще самому парсер написать, чем тратить время на эту поделку.Фиксы ошибок не помогли. Все варианты перепробовал.
Так не вопрос, напишите свой аналогичный парсер+чекер и выложите в открытый доступ, все только спасибо скажут
@@the_parse_hub а смысл? Я купил пару на прокси6, мне хватает за глаза. Пинг отличный, скорость топ. Тестил эти прокси, которые из видео, ну это полное фиаско, я даже не знаю под какой проект они могут подойти.
@@ДенисВакуленко-о1я Конечно платные приватные прокси лучше бесплатных публичных
Тема интересная, но материал не рабочий. Ресурсы говно. Проверил все не советую особенно начинающим😂
Не занимаюсь регулярно вещами, требующими много айпишников, но давеча потребовалось - запустил тор, для моих целей хватило)
Тоже вариант