Python requests http, https запросы, requests методы get и post, подключаемся к api через python
ฝัง
- เผยแพร่เมื่อ 19 มิ.ย. 2024
- В видео научимся работать с интернет при помощи python и библиотеки requests, при помощи подключения API получать данные с сайта для приложений, а также познакомимся с тонкостями get запросов и post запросов к сайтам и API. И научимся заполнять формы на сайтах и авторизоваться при помощи python.
00:00 Вступление
00:55 Подготовка проекта (необязательный шаг)
02:06 установка библиотеки requests
02:56 get запрос requests
03:40 статус запроса - status_code
05:51 результат ответа сайта - текст страницы
07:04 параметры get запроса, поисковый запрос на сайт
11:31 подключаем API погодного сайта
17:47 простая проверка статуса запроса
19:08 json ответ от API погоды
22:43 headers - заголовки ответа на запрос
24:07 тренировочный сайт в формате json jsonplaceholder.typicode.com
24:57 сайт для теста запросов httpbin.org
25:28 headers - меняем заголовки запроса
30:40 POST запросы
31:48 как заполнить форму на сайте post запросом
42:17 реалии POST авторизации
45:08 Сессия и файлы cookies
Курс парсинга (плейлист):
• Курс Парсинга на Python
Поддержать канал (донат):
www.buymeacoffee.com/PythonHu...
Также, доступны функции - Спонсорство на TH-cam:
/ @pythonhubstudio
и кнопка Суперспасибо!
Это способ выразить особую благодарность автору и
мотивировать на создание нового полезного контента!
Подписывайтесь на канал!
Искал золото, а нашел бриллиант. Большое спасибо за проделанную вами работу!
Очень ясно , разжовано все доносится до слушателя. Спасибо.
Присоединяюсь ко всем, кто хвалит автора и говорит ему спасибо. Все уроки, которые я успела посмотреть, ясные, понятные и без воды. Спасибо большое за Вашу работу!
Лучший обучающий канал на ютуб!
Огромная благодарность за труд.
(Python, requests, get, post, parser)
Спасибо,шикарное объяснение! Не могла понять эти все нюансы парсеров, как хорошо вы объяснили! Благодарю!!!🥰
Огромное человеческое спасибо автору за этот прекрасный ролик! Все наглядно, последовательно, доступно, понятно и в одном видео.
Похоже я тут один не просто смотрел, а повторял все ручками. Потому что среди сотни комментов никто не сказал что токен на погодном сайте работает не сразу после создания аккаунта, а где-то спустя час-полтора, т.к. сайт не сразу его пускает в работу. Так что если вы как и я сначала получили 401 вместо 200, просто подождите.
У меня сразу работал, что-то изменилось наверно
Автор - ты лучший!Только на днях появилась необходимость использовать get запросы, в гугле куча воды, и вот чудо, видос без воды, все только по теме!Спасибо тебе!
Красава, хорошо обьясняешь ! Сколько раз уже бросал и начинал изучение программирования. Сейчас очередная попытка, хочется научиться парсингу. Второй день смотрю твои видео - полет нормальный.
Отличное видео. Намного лучше, чем на платных курсах). Очень благодарен
Высший класс! 👍🔥💯 Благодарю!
Блин, чувак спасибо за труды! Топовая подача материала - всё максимально понятно с первого раза.
огромное спасибо. очень доходчиво объясняете. лайк
Ролик пушка! Автор молоток и красавчик )
Спасибо за подробное чёткое объяснение!
Очень полезный видос, спасибо!
Спасибо за видео! Было бы интересно посмотреть как раз про сессии и куки 😁
Спасибо за классный видеурок!
Дякую, чудовий канал!
Я ещё только почти посмотрел 7и часовой урок по Питону! Скажу так! Он просто космос! В универе мне за две пары отбили желание помогать. У вас же я посмотрел и меня как осенило!!!! Это круто! Думаю этот видос чуть позже я оценю!!!! Ещё до парсеров не до дошел. Пока написал свою первую самостоятельную прогу. Прога считает уникальные слова в документации питана) и можно задать порог частоты слов. Получилось около 600-700 уникальных слов. Осталось их выучить 👍😂
ссылку скинь пож...
@@alexen5465 да, пожалуйста) th-cam.com/video/5g-MHZ0MzZY/w-d-xo.html
скинь список слов
Очень хорошая подача информации.
Лучший канал по Python во всем интернете!
Продолжай в том же духе братан, скоро доберусь до твоего доната, спасибо за труд ❤️
Крутое видео, спасибо!
Очень понравился Ваш 7-и часовой курс по Пайтон. Посмотрел за раз без отрыва и все понял. А эта тема показалась сложной. Трудно вникнуть в запросы-ответы, когда наблюдаешь гору незнакомого кода. Чувствую себя облитым запросами и ответами - стою весь мокрый и воняю))
Хочу пройти курсы по Пайтон от яндекс.практикум. Надеюсь, реально после них можно найти работу.
Погуглите чутка, по этому поводу, да это урок не связанный с 7ми часовым курсом, но такие вещи нужно понять. Так как все сейчас связано с интернет и любой фреймворк или библиотека расширяющее возможность python( например requests ) имеют свои методы и команды, которые означают определенные действия под "капотом". Это нормально. И каждый раз это вызов.
Интересное видео! Спасибо!
красава, спасибо. все предельно просто
автору огромное спасибо!
Спасибо круто !
Ташкентский лайк тебе здоровья всех благ
классная инфа!!!
смотрим через впн и не выключаем и не пропускаем рекламу!!! Поддержим автора копейкой буржуской!!!
)))
Прям то что я искал
Хорошее видео, автор молодец, все понятно объясняет. Единственное чего не хватает на мой взгляд, так это показать как записать и сохранить сессию в файл и потом достать ее, при следующей работе с этим же кодом, что бы не повторять авторизацию каждый раз.
подозреваю. что сессия хранится в виде json и его просто побитово записать в файл - также потом считать снова в json объект
Благодарю!
Спасибо!
Спасибо!!!
Крутое видео)
спасибо, помог
Дякую!
ага, спасибо за помощь братушвили
Спасибо
Наконец
спасибо громадное!
А то программисты в IDLE уже задрали. Нажми эту кнопочку, нажми эту. А что они означают - хз.
Тут же всё понятно на базовом, низшем уровне. Никаких свистелок и перделок
Здравствуйте, не могли бы вы запилить видео про вэб сокеты на питоне? (клиент-сервер) Или если сталкивались уже, то посоветуйте готовые варианты для клиентской и серверной частей
Поддерживаю! Автор наделён талантом хорошо доносить инфо! Видос по сокетам в стиле автора - это бесценно!
Автору спасибо! Очень познавательно. Подскажите, где можно больше узнать об методах обхода и работы с авторизацией на защищенных страницах?
жду новых видео
запустил виртуальную среду ,установил там requests(специально в vscode выбрал версию интерпритатора из venv) а при импорте все равно бьет ошибку нет такого модуля(в pip list -модуль есть ! час просидел ,психанул установил библиотеку глобально
Здравствуйте спасибо за новое видео. Я слышал, что данный язык используется в дата анализ и бэк-энд разработке, но так как новичок не могу себе представить как это все выглядит или работает. Если вы знаете эти темы не могли бы записать видео по использованию языка в данных темах или просто разъяснить. Спасибо.
дата анализ это по сути поиск закономерностей, совпадений в массивах данных(числах), а бэк-енд это создание начинки сайта, то как сацт работает, какие кнопочки там будут и что делают, куда посылаются данные, как обрабатываются, фронтенд же это просто обложка, картинки, видимые кнопки, рюшечки в общем внешний уид сайта, то с чем взаимодействует пользователь сайта
Спасибо. Очень интересно.
давайте следующее видео по созданию любого рода чита сделаете, если конечно это возможно на питоне? и какие для этого требуются библиотеки и тд, если этим попробовать в соло заниматься?
Читы это точно не питон, это низкоуровневые языки
👍👍👍👍👍👍👍👍👍👍👍👍👍
Почему не пайчарм используешь?
Почему ты сделал выбор в пользу этого IDE ?
Спасибо за выпуск!
Много нового узнал💪
Для работы пользуюсь в основном vscode. Sublime - для маленьких скриптов, как в видео.
Я вот на 10 минуте сейчас и, к сожалению, ничего не получилось. При попытке сделать так как в видео - я получаю код на страницу соглашения куки=) Пробую такое же сделать, например, с яндексом, вообще какие-то воздушные шары и непонятный текст…
Спасибо, классно. Без api key можно получить координаты, к примеру с Nominatim ?
Спасибо, хорошее видео!
Появился вопрос - т.е. если запарсить html страницу на поиск токена и потом подставить его в ключ для поста - можно будет создать бота?
Примерно так...
Здравствуйте!
Нужна автоматизация - открыть веб страницу и в нем в одинаковых полях вносить цифры от 10 до 100. Количество полей иногда переваливает за 1000. Вопрос: можно ли с помощью кода после ввода цифры в первое поле перемещать курсор в следующее поле по принципу next/следующее? Или все же не обойтись без создания списка уникальных id адресов, как это показано в семичасовом курсе? Спасибо за ответ!
selenium
@@PythonHubStudio да, я использую Selenium webdriver (Chrome). С помощью кода произвожу авторизацию, вхожу на первую страницу, а дальше навигация уже не работает
спасибо за видео, но пока очень сложно для понимания (изучаю api на python второй день)
Добрый день! Вы занимаетесь персональным обучением в онлайн режиме?
Нет
Спасибо больше за контент!
А как вы запускаете файл в интерактивном режиме *REPL* [python]?
Подскажите пожалуйста
Ответ: в Sublime text -> Sublime REPL
А есть что-нибудь похожее в VS Code или Pycharm?
В терминале:
python -i "имяфайла.py"
@@PythonHubStudio спасибо
pip install ipython
ipython
а что делать, если например в пост запросе на учебном сайте передается вместо логина и пароля рандомные цифры, и в каждый раз цифры разные
Всё хорошо, но до того момента пока при регистрации капчу не начнут запрашивать, есть варианты решения???
Отличное объяснение.
когда смотришь это видео, после его же 11 часового видео, и слышишь что 40 минут это продолжительное видео🤣🤣🤣🤣
😅, есть такое дело)) Особенно после 15 часов django
@@PythonHubStudio я его и имел ввиду, там просто разбито на 2)
Здравствуйте!
По автоматизации тестирования что-нибудь будет?
Вряд-ли
Вопрос автору. Я одного не понял. Как requests понимает, что параметры аргумента data через который мы передаём словарь data, необходимо сделать значением ключа "form" в формируемом запросе?
Здравствуйте, спасибо за ваши курсы!
Очень хотел бы чтобы, именно вы записали курс по REST API с добавлением swagger, (например а Фласке) Ни одного видеоурока на эту тему нет, а в каждой вакансии по пайтон хотят этого!! Заранее спосибо)
Не обещаю что скоро, но будет, так как такие вещи нужно серьезно продумать, чтоб всем было ясно понятно, независимо от степени знаний в данной области) все таки канал не основная занятость)
@@PythonHubStudio поддерживаю запрос. Прекрасная подача материала, видео выходят очень интересные ❤
добрый день
sublime text 3 долго грузится что делать ?
Буду тестить и смотреть. Ничего не могу сказать.
Привет. По твоим урокам пытаюсь написать своего бота, и у меня возник вопрос по поводу FSM. Я хочу делать реплейс поля через телеграмм, для этого завожу фсм с одним единственным полем и через него делаю реплейс, но как мне быть если я хочу сделать аналогичный реплейс, но для другого поля таблицы? Не хочется на все поля делать свои фсм, а как передать параметры (как через функцию) я не понимаю. К тому же внутри фсм у меня есть скл логика и там я так же делаю селект того поля, которого реплейсю. хотелось бы что-то вроде async def add_db(message: types.Message, state: FSMContext, item, user, mess): но вызывается то фсм через await AddItemFSM.name.set() и как я понимаю сюда никак ничего не передать. Ну и ещё вопрос задам, можно как-то закрывать машину состояний для конкретного пользователя? я вот хочу отменить регистрацию пользователя, но state.finish() завершает фсм только того пользователя, кто вводит сообщение в телеграмм. в итоге я отправляю ему просьбу отменить регистрацию, что по сути костыль, не очень выглядит)
По поводу второго вопроса, ведите бд плохих пользователей и устройте в коде простую проверку.
Первый вопрос слишком сложный для комментариев, но пространный ответ можно дать - с такими вещами каждый разработчик париться в зависимости от необходимости и фантазии...
@@PythonHubStudio А если обобщить, вы не знаете как в фсм передавать параметры как через функцию? в интернете никакой информации не нашёл. А по второму вопросу - даже если я буду знать айди плохого пользователя, как для него завершить фсм? Как должна выглядить простая проверка? Прямо сейчас я оставлю всё как есть и сделаю много копипаста, так как пишу диплом и времени не много, но в дальнейшем буду модернизировать бота по максимуму и всё же хотелось знать, хотя бы реально такое сделать и где посмотреть примеры или не реально? Может у вас есть проект с похожей ситуацией?
@@PythonHubStudio И да, у вас очень хорошие ролики и я подписался с целью в дальнейшем познавать новое в питоне, так что есть у вас ответ или нет не так важно, я просто больше никого не знаю кто бы так всё доходчиво объяснял по питону)
Здравствуйте,можете пожалуйста объяснить как настроить консоль в vs Code чтоб отображалось как у Вас вся html страница с тегами после запроса
Ничего не нужно настраивать, в vscode есть "run file in python console"
@@PythonHubStudio Спасибо за ответ,мне очень нравится Ваш канал, ещё раз ОГРОМНОЕ СПАСИБО за Вашу работу
есть игра аватария, там есть несколько читеры которые каким то образом накручивают игровые валюты в игре и продают бот какой то написанный на пайтоне, и я знаю что они через питон делали и джава , так вот это видео поможет мне так сделать? это игра есть в соц сети вконтакте на флэш плауере, но само сервер или ядро игры написан на питоне
думал за 2 дня управится а уйдет неделька, как думаете это долго?
4 дня назад селениум , 2 дня назад ткинтер , сегодня реквест :D , но у меня появилась идея как связать ткинтер и реквест с апи ,спс за это , а вообще-то я начал изучать вебдрайвер чтобы можно было обновлять страницу в бесконечном цикле и возвращять хтмл текст по селектору у которого значение 1 в тексте блока ( некий аукцион ) , но чет у меня с селениумом не катит,мне сказали что мне лучше попытаться в реквесте с бс4 это сделать , но тема с токеном не до конца раскрыта ,я даже пытатся не буду так как наврятли получится , сайт куда нада авторизироваться использует токен,придется дальше блуждать по инэту в поисках инфы
Так посмотрите видео по парсингу с beautiful soup:
th-cam.com/video/lOfm04oLD1U/w-d-xo.html
Там есть фрагмент с токеном
@@PythonHubStudio хорошо,посмотрю, спс
А есть ссылка доната?
Как тебя в телеге найти?
Здравствуйте, помогите плз, как кожно вытащить текст "Wilson Tour Premier All Court 4B"
soup = BeautifulSoup(html, 'lxml')
title = soup.find('h1', class_='product--title')
Tennis balls Wilson Tour Premier All Court 4B
tittle.find("span", class_="product--type-info").text
Привет видео очень классное, но у меня вместо 200 получилось 401 и вопрос что делать в данном случае? 18:06
У меня такая же ошибка. Я нашел что ошибка 401 означает, что ты пытаешься получить доступ к странице, на которую нужно сначала войти, используя действительный ID пользователя и пароль для просмотра.
спасибо теперь понятно
Приветствую
Очень интересно) спасибо
Вопрос автору: тут написано th-cam.com/video/aEeqYw7Rxao/w-d-xo.html (превьюшка), как понятно из текста, что в прошлом ты был аптекарем?)
Просто было бы интересно послушать твою Истрию: "был/стал".
И ещё вопрос - как давно занимаешься айтишечкой?)
👋
Канада? Торонто? =)
А можно про сокеты ?
Не уверен в актуальности темы, слишком много вариантов реализации и подогнать это под общий шаблон проблемно...
Добрый день!
Подскажите, пожалуйста, делаю точно также всё как и вы, только в редакторе VSCode. На 15-17 мин, когда мы создаем файл с apikey из сервиса погоды. У меня получается создать и всё в порядке вроде, но когда в основном файле я прописываю код (импортирую этот ключ) и запускаю его, в итоге он создает какую-то папку _pycache_ в которой есть файл apikey.cpython-310.рус и возникает ошибка "apikey": Unknown word. cSpell [2 строка, столбец 6]. Что делать?(( Уже пересмотрел и переделывал много раз.
Папка с файлами .пик это нормально, так и должно быть. Там хранится байт-код (код обработанный интерпретатором) импортируемых файлов в ваш основной файл с целью экономии ресурсов при повторных запусках.
К сожалению ошибка выданная вам не говорит о проблеме. Попробуйте:
Не импортировать из файла, а просто "как строку" записать ваш апи ключ где он требуется.
@@PythonHubStudio Спасибо, всё получилось, даже потом перезаписал весь код и как-то заработал и с файлом apikey)))
Подскажите только как вы работаете не с помощью print, а прям в терминале пишите и он всё исполняет, нужно для этого что-то установить? Просто у меня ошибку выдает, хотя всё также пишу:
reponse.status_code : Имя "reponse.status_code" не распознано как имя командлета, функции, файла сцен
ария или выполняемой программы. Проверьте правильность написания имени, а также наличие и правильность пути, после чего повторите попытку.
строка:1 знак:1
+ reponse.status_code
+ ~~~~~~~~~~~~~~~~~~~
+ CategoryInfo : ObjectNotFound: (reponse.status_code:String) [], CommandNotFoundExcept
ion
+ FullyQualifiedErrorId : CommandNotFoundException
То как это работает у меня, называется: интерпретатор в интерактивном режиме (смысл в том, что он не закрывается после выполнения программы и все переменные доступны через терминал с не закрытым python).
В pycharm или vscode вы можете также сделать, откройте терминал и запустите скрипт так:
python -i yourscriptname.py
Или можно настроить так редактор sublime text(тот что в видео и видео по настройке на канале есть). Но лучше первый вариант
Делал всё как на видео, но почему то выдаёт ошибку 401. Проверял написание api + на сайте пишет, что он активирован (почту подтвердил)
Наверное у тебя API_TOKEN в словаре записано в кавычках, а должно быть без кавычек.
Выдает 401 ошибку. Что делать?
ждать пару часов
Вопрос не в том как отправлять, а как принимать POST запрос
Как обойти капчу???
Антикапчу подключить
привет
ОМ
В чём проблема оставить команды в описание
Не проблема, но из этого видео нечего оставлять в описании, все разнознено, целого скрипта нет, все по мере происходящего в видео
спасибо за труд. слава украине!
Привет.
Подскажите пожалуйста, как использовать cursor при запросе, для предотвращения дублирования или пропуска транзакций в последующих вызовах в потоке транзакций с учетом метки UNIX времени старта.
Я дилетант самоучка, слабая база, сори, если корявым языком описал задачу.
SSL: WRONG_SIGNATURE_TYPE . verify=False не помогает. ПАМАГИТИ