【python】requests發送http請求 ｜ 模擬發文、爬取資訊

[@GrandmaCan]

✏最新課程-python、AI組合包
grandmacan.com/courses/yCC2Q8WFsc9Av52myZBh
即日起至2024/12/27前購買，即享36折優惠~

[@thenameismo0]

謝謝小白的教學~~
剛好選修有修到相關課程 聽完觀念更深刻了!
敲碗 python Beautiful Soup 教學 ~~~

[@王連-u7z]

謝謝小白的教學，講得很清楚!

[@謝小-x8x]

無私奉獻的youtuber，讚！

[@wengxiaoxiong666]

学会了，我已经找到了爬虫工程师工作，谢谢阿嬷

[@ghchen8366]

感謝小白，影片超棒！

[@吳祐-u4h]

熱騰騰的資訊，感謝分享！

[@kusost]

剛好想學POST來做自動化登錄，真的是賺到了，謝謝小白，期待還有更進階的課程

[@anyonediff2106]

mvc 就可以直接登了阿????????

[@panda00lin85]

太感謝了，講得好仔細

[@katarinaz2190]

真的覺得這個影片好棒！！！辛苦你了

[@henryfu9777]

好頻道支持~~
廣告看好看滿~

[@max47319]

感謝小白，講得很清楚!

[@薇季芬]

請問 關於 33:07 尋找的部分 可以講解一下 或者 拍一支 影片介紹 是 如何尋找的嗎

[@Yuuzi261]

謝謝小白的教學，但是在17:18處你示範了將圖片post到伺服器上，我實作一遍之後發現圖片還是以form的形式上傳，而不是在files（因為訊息太長了所以我額外將訊息寫進log檔查看），影片中你說header的上面是files所以是成功了，但其實header上面是form，再上面才是files

[@Yuuzi261]

經過我的實測要將程式碼改為r = req.post(url, params=params, files=image)才會是放在files欄位

[@陳菀翎-r5n]

講得超仔細!!受益良多

[@Kenny-d5g]

非常好的影片，只是我们这边访问不了你视频的网站

[@鋅的新生活·帶你新發]

以訂閱喜歡了超級用心的影片大推幫助很多

[@python360]

Nice video man, Good that you show POST as well

[@薇季芬]

31:59
把標題複製下來並且 用來在html 檔 搜尋
發現沒有在 原始html檔裡面，表示應該是取得html 檔之後，然後發送另外的請求 再去 取得其他資訊
32:48
所以 按 f12到network 去 檢查是哪一個 請求 得到這些資訊

[@抗麦郎]

Beautiful 解析 回传的 课程没有啊

[@成全-x9n]

感謝分享

[@musicbest7718]

我比較想學如何破解一些論壇的會員，不用登入就可以看到會員的帖子xD

[@majenny3053]

非常實用 感謝

[@wallanceyu]

跪求使用BeatifulSoup & pandas整理財金網站表格教學...

[@OnlyCuteChannel]

小白 是否能出一期用 google colab 寫爬蟲 然後記錄在 google sheets 裡呢

[@bbfoster306]

超喜歡小白~ 太感謝拉@@

[@lcwue]

請問小白，從network取得資料的網址，丟到瀏覽器顯示internal network error怎麼辦呢？

[@angelozou3914]

能否出一個教程，主題是如何用python抓取一個網站裡面不同分類下的產品圖片和文字內容，並分類保存圖片和文檔（特指文字，比如把文字保存在一個txt的文檔里，文檔名字可以是網頁title）。

[@lcwue]

請問小白，如果用network找到資料的網址，丟到瀏覽器網友上寫internal server error這樣要怎麼爬去網頁呢？

[@wongtszpong]

我阿嬤都會了，謝謝你呀

[@陳威良-u6s]

阿嬤你好 請問bs4 錄製好了嗎 現在正在學習這門課 謝謝^^

[@rexsu9202]

未看先推~~~~~

[@嘟嘟-w6z]

感謝教學~~~

[@tinlu4137]

是不是找時間介紹一下requests-html

[@zhiqunlai2996]

每次教完爬蟲，該網站都會新增反爬蟲機制了XDDDD

[@austinli80160]

雖然很討厭不過這就是爬蟲的宿命了

[@anyonediff2106]

@@austinli80160 query list 撈應該還可吧
沒測過

[@Chiewjkai]

@@austinli80160 然后又会出现防反爬虫

[@alan4234]

很有用! 不過想請問小白
若遇到網頁有下拉式增加的話 可以教學嗎~~

[@morris5647]

想請問一下
您是點開哪個檔案找到的，因為我模仿了老師的作法，但不知道是不是被更改過，因此network裡面的post都沒有找到相關內容

[@xinyiyeap1152]

有机会可以发C++教学吗 哈哈😆😆

[@GrandmaCan]

可以唷

[@acmejia91]

Buen video, consumir de un API con Python es muy fácil. Lo mejor es que puede usar muchas herramientas que te facilitan la tarea.

[@yubel2266]

感謝小白，想了解如果是模擬發文，每種語言都可以做到，是嘛? 只是各有優劣?

[@孙海勋]

能否支持下支付宝付款呀

[@拉不拉多-i7b]

小白老師強大，國民金孫等級

[@拉不拉多-i7b]

好厲害大學生

[@jess0508ify]

看來今天裝扮是剛當完兵

[@蔡凱瑞-w2s]

謝謝小白，真的獲益良多。但我目前有一個radio的單選選項，我有去看他傳出的資料形式是用post'選項名':'N'，我選項名也有從HTML的程式碼看是一樣的。但是我每次POST出去都得到選項沒選。想請問要怎麼解決

[@蕭開午]

小白 如果是動態的網站 就是那種玩家可以互相傳文字和數字的 那怎麼爬取？

[@Hua-h1s]

感謝小白教學~ 已成功轉檔成為excel
但想請問append部分遇到以下的式碼
▾serviceDataFormat: [{displayName: "TEXT"}, {displayName: "ZIP"}]
▾0: {displayName: "TEXT"}
displayName: "TEXT"
▾1: {displayName: "ZIP"}
displayName:"ZIP"
使用兩層字典方式有無法顯示 想請教一下需要如何處理

[@ikc1990]

現在痞客邦更新了網站後 Request Headers中看不見authentication了 , 請問是不是沒有辦法在python中直接po文了

[@sptoo123]

對了 講到pdf 前一陣子原本有想過用python大量將資料套進固定格式表格弄成一份份的pdf
但是好像找不到適合的套件
後來就用php
不知道有沒有什麼好用的套件 (這真的是很冷門的需求.... 甚至用word和excel配合的合併列印就能做到了)

[@anyonediff2106]

querylist

[@look6662]

老师，可以教一下可以联机的3D游戏吗

[@GrandmaCan]

聽起來很不錯！

[@kazawan]

看看一下者个页面的get哈哈哈

[@linuslee2333]

謝謝小白。若能方便交換檔案，可不可以將Python程式轉檔為.exe的檔案？

[@chaochen1992]

pyinstaller 自行打包

[@linuslee2333]

@@chaochen1992 請問現在的pyinstaller能自行打包嗎?

[@austin26]

讲得好细！

[@sagirilove5387]

如果檢測出在原始的html檔案中的話是要引入另一個beatifulsoup的工具來爬取嗎-.-

[@陳健達-r8r]

請問另外一篇excel動態儀表板中的 類別 :語言,職場技能,程式,行銷...怎麼爬的阿 找了整個晚上還是沒辦法
懇求告知 感恩

[@英博-d4k]

不好意思，關於那個post請求的部分，不知道為什麼chrome更新完就完全找不到request payload在哪裡，點進去payload tab也只有看到一個query string parameter而已...，已經苦惱好久了，裡面能按的按鈕都快試過一遍了，還是不知道要去哪裡找到post內容。

[@AC-kz8jh]

請問一下，為什麼我下載圖片時沒有圖片看到？左邊那個open editors 也沒有request 的字樣

[@kuo615]

請問要如何解決cp950 encode ?

[@royalchou6579]

請問論壇留言中文就不成功，是哪裡的問題呢？

[@hyunwoo0120]

能把twitch聊天室的爬蟲功能有嗎:3

[@cindychen4979]

小白老師請問為何 import requests as req 會一直出現錯誤~?

[@mavis8895]

是不是因為你沒有pip install requests過~

[@fatfatfat1643]

Thanks It is useful!

[@yu-ft9yl]

我本來想用臉書來練習發文的，但是我找不到authorization，請問是因為有不同的寫法嗎?

[@dcheigt7247]

小白 可不可以出一个影片教我们 如何开发一款像 line 的聊天app

[@yingdazo]

我在post那邊會出現 405 Method Not Allowed
Method Not Allowed
The method is not allowed for the requested URL.

[@郑先生-q5o]

我写的条件是'price' 为什么爬出来的是‘priceInMoneyPoint'

[@zibozhao5789]

可以发java的教学吗 😆

[@rabbitinosaka]

想問一下PYTHON發文那一部分,我用FACEBOOK來做實驗結果找不到那個POST,請問是正常的嗎?

[@markchan4953]

~~~~~~~~~
so niceeeeee

[@無名預言家]

請問你為什麼會這麼多東西 ，是天才嗎？

[@charlieed6264]

+1也想知道怎麽快速學習一門新技術

[@StoneGameTW]

因為他阿嬤都會

[@ikugo9837]

他阿嬤教他的

[@Tsung-ChihTsai-y1c]

程式阿嬤

[@抗麦郎]

要看的课程也没找到啊

[@yuan_meng_meng9385]

哈喽，可以讲一下在上个视频中（自动下载instagram图片案例）是如何变成exe执行程序，通过双击运行的么？求教

[@卓卓-d7q]

pyinstaller 打包就可以囉

[@謝承宇-e9l]

小白為什麼我已FB發文都無法找到以上的東西QQ

[@유정군-e5j]

完全依照程式碼寫完爬取hahow網站，Terminal也有出現爬取每一頁的response，但excel裡面卻只存到了24筆資料，也就是只有一頁的資料，請問這是什麼問題??

[@卓卓-d7q]

他的limit=24，一頁最多24筆課程資料，我猜你可能for迴圈的地方有問題，可以再看一下

[@yccheng1618]

GOOD

[@garylin8674]

太棒了，正想說要怎麼將爬出來的資料匯出，
小白就上線更新了😀。
但若是想將爬出來的資料匯出成txt檔，該怎麼做呢？試了了許多次，都沒法成功😅

[@曉風-f6t]

輸出檔案可以嘗試使用python的open函式

[@garylin8674]

@@曉風-f6t有唷，我嘗試爬出頁面中標題，在python print OK，但是使用open產出的txt檔，卻只帶出爬出的第一項標題...

[@angelozou3914]

我也想知道如何將某個網頁里的文字彙出txt檔，或是將網頁產品圖片進行下載並分類保存。

[@christopheryourtw4999]

好影片，不推嗎?

[@imsean8573]

字幕pls

[@q0sul3sul3]

試了推特就不行了...

[@ogamiogata300]

剛剛才發現
小白23歲嗎？

[@蔡秀津-i3o]

台灣師範大學

[@蔡秀津-i3o]

去年畢業

[@Owaian]

想聽c#

[@手冲]

看了一遍，基本上都没有做什么反爬，算基础的了

[@austinli80160]

頭香

[@凃阿鳶]

這樣子真的不會有法律問題嗎

[@hellokitty7399]

他也不知道你是誰啊

[@凃阿鳶]

@@hellokitty7399 喔喔 ip之類的查不到的意思嗎

[@Chiewjkai]

以前不会写爬虫，我都是用火车采集器或者国内各家的采集器，其中火车采集我用的最顺手

[@fahai_o]

微模拟软件可以非常容易实现这些功能

[@TomoriEmperor]

有教學對我們這些小白而言才有意義

[@fahai_o]

@@TomoriEmperor 确实，学技术只能学这个，那个软件只是写脚本，不用编程，学不到技术，只适合偷懒的人。

[@sptoo123]

說不定網路上還真的都是阿嬤用python發的文

[@尤重怛]

1450教程....😀

[@etify7306]

pathetic

[@lcwue]

請問小白，如果用network找到資料的網址，丟到瀏覽器網站上寫internal server error這樣要怎麼爬去網頁呢？

[@lcwue]

請問小白，如果用network找到資料的網址，丟到瀏覽器網站上寫internal server error這樣要怎麼爬去網頁呢？

[@lcwue]

請問小白，如果用network找到資料的網址，丟到瀏覽器網站上寫internal server error這樣要怎麼爬取網頁呢？