一键爬取社交平台视频、图片和评论，下载无水印视频，谨慎使用！

一键爬取社交平台视频、图片和评论，无水印视频下载，谨慎使用！
全平台视频下载：tiqu.cc/
Llama3 微调
• Windows下中文微调Llama3，单卡8...
AI大模型打造本地知识库
• 一键部署本地私人专属知识库，开源免费！可接入...
Llama3 申请与本地部署
• Llama 3 模型申请与本地部署的几种方法...
AI声音克隆语气情感
• GPT-SoVITS克隆语气情感，老司机必备...
1分钟偷走你的声音
• GPT-SoVITS语音克隆AI，只需一分钟...
AI歌曲翻唱
• 最强AI翻唱 RVC WebUI本地安装与使用教程
AI生成音乐，平替suno开源免费
• Meta开源的AI音乐生成工具，可平替Sun...
最强AI换脸Facefusion本地部署与使用教程
• AI换脸Facefusion全面升级，最强换...
• FaceFusion语音+视频口型同步功能，...
• FaceFusion重磅更新！去遮挡、高清化...
AI换脸rope本地部署与使用教程
• Rope又一款强大的一键换脸AI！可消除脸部...
经典AI换脸工具Deepfacelive教程
• 经典AI换脸DeepFaceLive最全教学
roop直播换脸
• Roop使用虚拟摄像头实时换脸，支持各种社交...
roop全平台安装使用教程
• 一键换脸最新版roop全平台安装使用指南(W...
MediaCrawler github.com/NanmiCoder/MediaCr...
nodejs v16.8.0 nodejs.org/en/blog/release/v1...
本地部署
python310\python.exe -m venv venv
call venv\Scripts\activate.bat
pip install -r requirements.txt
playwright install
运行关键词爬取
小红书 python main.py --platform xhs --lt qrcode --type search
抖音 python main.py --platform dy --lt qrcode --type search
快手 python main.py--platform ks --lt qrcode --type search
B站 python main.py --platform bili --lt qrcode --type search
微博 python main.py --platform wb --lt qrcode --type search
运行指定ID抓取
python main.py --platform xhs --lt qrcode --type detail
(--platform xhs dy ks bili wb)
00:00 介绍
00:38 本地部署
02:29 关键词爬取
06:37 指定ID爬取
08:15 常见错误

[@AIDiscovery2045]

视频中提到的短视频下载网站已被污染，不推荐大家使用。

[@bulusid]

感谢大佬分享 爱了爱了🎉

[@qdiwangwei]

感谢分享。

[@matthewlee708]

很干

[@user-xo9gn4di7s]

大佬，请问下，要爬取哪个网站就要写对应的爬取代码吗？如果想爬取wordpress独立站的商品数据可以吗？

[@AIDiscovery2045]

可以，但需要自己写解析网页的代码

[@fbchanchi]

請問有沒有離線工具可以用AI總結我的文件, 例如有一段影片的所有留言, 不想每個都看, 只想要一個總結.

[@AIDiscovery2045]

那需要安装本地运行开源大模型的工具，例如gtp4all、LM studio、open-webui等等都可以

[@kenlee7677]

大佬，在安装依赖时出现：ERROR: Could not open requirements file: [Errno 2] No such file or directory: 'requirements.txt' 如何解决？

[@AIDiscovery2045]

看看解压后的目录结构，是否在最终的MediaCrawler目录下执行的pip install

[@user-rj7lz1yg6p]

能否爬取其他网页的内容吗？例如，我想爬取一个网站包含特定人名的所有网页，可以操作么？

[@AIDiscovery2045]

这个目前只能爬取视频演示的5个社交平台内容

[@user-bu8bl6dn5q]

我爬起反js加密吗？

[@pioneerunicorn]

重新删掉再部署输入命令python310\python.exe -m venv venv会出现系统找不到指定的路径。这是什么原因？请问怎么彻底删除？能出详细的小红书指定帖子指定ID抓取的详细操作吗？对于小白来说您的视频没有详细到每一步，有点难懂，没有提取成功，虽然都一步步按照视频操作了，没有出现data文件夹。

[@AIDiscovery2045]

不需要重新部署。部署成功后每次运行前，到安装目录下，地址栏输入cmd打开命令窗口，再输入
call venv\scripts\activate.bat
然后输入爬取指令即可

[@user-es1wk4uk5m]

大佬，请问为什么在进行pip install -r requirements.txt这一步的时候会出现不匹配的错误呢。ERROR: THESE PACKAGES DO NOT MATCH THE HASHES FROM THE REQUIREMENTS FILE.

[@AIDiscovery2045]

检查pip 源是不是连的pypi，不建议用国内的镜像；还有可能的原因是网络原因，安装过程中某些文件没下载完整损坏了

[@user-es1wk4uk5m]

@@AIDiscovery2045 非常感谢大佬的解答！应该是网络问题，我重新运行就没有出现这个问题了

[@eudocia5753]

大佬我想问下就是首先我按照视频步骤进行操作后并未出现data文件夹，其次在config中我已经将数据存储格式改为了csv格式，但是文件却以pma格式存储在了browser data文件夹中 我想问下该怎么办

[@AIDiscovery2045]

browser data里只是登录信息，data文件夹里没有生成文件，说明爬取并未成功。可以删除browser data里的文件夹，尝试重新登录爬取

[@eudocia5753]

@@AIDiscovery2045 我看了下cmd中显示的是bilibili crawler finished，然后我是type creator，但好像还是没有

[@eudocia5753]

@@AIDiscovery2045 我试了试type search是可以的但是如果改成creator就不会生成数据

[@AIDiscovery2045]

@@eudocia5753 creator ID不是在search key里指定，配置文件后半部分有指定creator ID的地方

[@eudocia5753]

@@AIDiscovery2045 知道了谢谢

[@user-de4wp3kq5t]

美团可以吗

[@user-qg6lz5zq5z]

大佬，苹果电脑怎么操作？能给个教程吗？

[@AIDiscovery2045]

没在MAC下详细测试过哈，不知道这个项目是否支持

[@oliverryan7927]

大佬，按照你的安装方法做的，报错了 ，ModuleNotFoundError: No module named 'aiofiles'

[@AIDiscovery2045]

建议就用演示里的python版本，还不行就手动安装下
pip install aiofiles

[@oliverryan7927]

@@AIDiscovery2045谢谢 我改了个参数 ，好了 aiofiles==0.8.0

[@user-ks8ir4bo9r]

(.venv) D:\code\MediaCrawler>'playwright' 不是内部或外部命令，也不是可运行的程序
''playwright'' 不是内部或外部命令，也不是可运行的程序
或批处理文件
这个怎么办

[@AIDiscovery2045]

视频下方的详细说明里有每一步指令，可以复制过去执行

[@jianmingyan8162]

@@AIDiscovery2045 File "D:\MediaCrawler-main\python310\lib\concurrent\futures\thread.py", line 58, in run
result = self.fn(*self.args, **self.kwargs)
UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 219: illegal multibyte sequence , 我运行Python db. py 这个指令的时候，运行出现这个错误，怎么解决