- 23
- 25 434
WasmEdge Chinese
เข้าร่วมเมื่อ 11 ก.ค. 2023
WasmEdge's Chinese content。For English content please go to www.youtube.com/@SecondStateInc
GitHub github.com/WasmEdge
Documentation wasmedge.org/docs/
GitHub github.com/WasmEdge
Documentation wasmedge.org/docs/
Cloud Native Live Cut: 用Mac起一个本地开源大模型并替换掉OpenAI API，Run a GaiaNet node on top of WasmEdge
如何快速在本地跑起一个开源大模型节点：文档戳 github.com/GaiaNet-AI/gaianet-node/blob/main/README-cn.md
มุมมอง: 69
วีดีโอ
Hydai Tai：编写一次，随处运行（包括GPU） GOSIM 2024 欧洲站 人工智能与智能体分论坛
มุมมอง 80หลายเดือนก่อน
Hydai 是WasmEdge Runtime 项目维护者,Second State工程负责人,Linux基金会导师,CNCF大使,llama.cpp、PyTorch和Tensorflow等人工智能推理框架的专家。他base在台北 Github和Twitter handle为@hydai WasmEdge Github: github.com/WasmEdge/WasmEdge LlamaEdge: llamaedge.com/ Gosim大会官网 europe2024.gosim.org/
Demo: 一个命令行运行Meta最新开源大模型Llama3
มุมมอง 743 หลายเดือนก่อน
Llama3在 LlamaEdge 上轻松运行。一个命令行能够在 何 GPU、CPU 或加速器上运行 Llama3，无论是在你的个人电脑还是个色不同边缘设备上。简单几步，你可以快速部署 WasmEdge 和 GGML 插件，启动示例应用，在自己的笔记本立刻体验最新Llama3的强大。此外，还可以通过自定义代码来扩展提示管理、RAG 和函数调用功能，别忘了启用 GPU 支持，并使用为 Llama3 优化的模板，让你的ai应用发挥最大效能 github.com/llamaedge/llamaedge www.secondstate.io/articles/llama-3-8b/
Demo: 世界上最小的大模型通义千问Qwen1.5-0.5B-Chat 拿出Mac测测效果如何
มุมมอง 2175 หลายเดือนก่อน
Qwen1.5-0.5B-Chat 是目前世界上最小的大模型，拿出你的Mac来测试下性能怎么样吧 #通义千问 #阿里云 zhuanlan.zhihu.com/p/684034037 www.secondstate.io/articles/qwen1.5-0.5b-chat/
Rust是AGI超级人工智能的语言吗？（续）
มุมมอง 2.9K5 หลายเดือนก่อน
上个视频讲到为什么用Rust而不是Python或者C 。马斯克发推文说 Rust 是 AGI的语言?心动了吗！快来跟着GPT学Rust，还能把你的Python、C 变成Rust，打开网页就能尝试👉 flows.network/learn-rust 使用 Rust WebAssembly 在自己的電腦上運行 llama2，實現零 python 依賴、輕量級、可移植的 AI 推理。 demo 链接：github.com/second-state/WasmEdge-WASINN-examples 文章鏈接：zhuanlan.zhihu.com/p/665968480 更能一个命令行在本地运行大模型，跑跑看吧👉 zhuanlan.zhihu.com/p/676814562 LlamaEdge 是超好用的Rust Wasm技术栈跨平台运行AI推理的工具。llamaedge.com/
轻量级 AI 应用的 Rust 和 Wasm 实践
มุมมอง 9835 หลายเดือนก่อน
随着人工智能技术的不断发展，大型语言模型（LLM）在各个领域的应用愈发广泛。然而，目前存在一些问题，包括 LLM 功能和插件的局限性，以及现有开源框架的一些挑战。本演讲将重点探讨如何利用 WebAssembly（Wasm）容器基础架构构建适用于大型语言模型插件的轻量级 AI 应用，并演示如何以 serverless 的方式快速构建这些应用。 1、大型语言模型目前的一些痛点 2、WebAssembly 和 serverless 函数的优势 3、实践：使用 flows.network/ 构建 AI 应用 访问主repo：github.com/WasmEdge/WasmEdge 访问LlamaEdge 一键跨平台运行开源大模型 llamaedge.com/ 讲师介绍：Miley 是一名云原生技术 Developer Advocate，热衷于帮助开发者在开源社区中进行构建和贡献。Miley ...
Rust是AGI超级人工智能的语言？马斯克都点头了（看Demo后面的理由）
มุมมอง 6K6 หลายเดือนก่อน
SpaceX和特斯拉很多软件是Rust写的？马斯克发推文说 Rust 是 AGI的语言?心动了吗！快来跟着GPT学Rust，还能把你的Python、C 变成Rust，在网页上就能尝试👉 flows.network/learn-rust 使用 Rust WebAssembly 在自己的電腦上運行 llama2，實現零 python 依賴、輕量級、可移植的 AI 推理。一个命令行在Mac跑各种开源大模型?试试超好用的Wasm Rust技术栈👉llamaedge.com/ demo 链接：github.com/second-state/WasmEdge-WASINN-examples 文章鏈接：zhuanlan.zhihu.com/p/665968480 更能一个命令行在本地跨平台运行大模型，跑跑看吧，详细教程👉 zhuanlan.zhihu.com/p/676814562
在Mac+跨设备运行混合专家大模型 Mixtral-8x7B，AI推理app只用2MB
มุมมอง 2796 หลายเดือนก่อน
本demo使用的设备为Mac M2 X 64G。来跑跑看吧！只需几个命令行！命令行参见：zhuanlan.zhihu.com/p/675703647 AI推理APP完全可移植 只2MB。无需python！
一键在自己的Mac运行幻方量化DeepSeek 7B大模型
มุมมอง 1437 หลายเดือนก่อน
DeepSeek-LLM-7B-Chat 是幻方量化成立的深度求索公司70亿参数的高级大语言模型，用20亿个token进行了训练。DeepSeek LLM 7B/67B Base 和 DeepSeek LLM 7B/67B Chat 版本已开源。戳教程👇轻松跨设备运行！无需python，完全跨平台 www.secondstate.io/articles/deepseek-llm-7b-chat/
在IoT设备运行破解版李开复大模型dolphin-2.2-yi-34b（还可作为私有OpenAI API服务器）
มุมมอง 1688 หลายเดือนก่อน
Yi-34B模型是李开复团队开发的一款印象深刻的双语大型语境长度语言模型。而 dolphin-2.2-yi-34b 经过Dolphin数据集的微调，以“学习”推理能力并解除其alignment。其结果是一款卓越的语言模型，可以进一步调整以符合个性化和一致性要求。 借助WasmEdge，我在Jetson物联网设备上以每秒6个token的速度运行dolphin-2.2-yi-34b。在你的笔记本或其他设备上尝试运行，并获取破解版的LLM回答 👉 secondstate.io/articles/dolphin-2.2-yi-34b/
云原生计算基金会最新 Wasm 全景图发布
มุมมอง 11810 หลายเดือนก่อน
WebAssembly正在快速改变云计算的面貌。本视频简要介绍CNCF 最新重磅发布的Wasm生态全景图,以及Wasm如何成为云原生技术栈的关键组成部分。全景图涵盖Wasm应用开发和运维两个方面。应用开发方面包括编程语言、运行时、应用框架、工具链等内容。运维方面讲解了利用Docker、Kubernetes来编排管理Wasm应用,以及各种托管和去中心化部署平台。Wasm生态正在高速发展,全景图也在不断更新。让我们一起见证Wasm给云计算带来的革新! 视频中引用链接见zhuanlan.zhihu.com/p/655812588 Wasm 全景图: landscape.cncf.io/wasm 欢迎提 PR: github.com/cncf/landscape/pull/3475 WasmEdge : github.com/WasmEdge/WasmEdge
在 “小小容器” WasmEdge 里运行小小羊驼 llama2
มุมมอง 61211 หลายเดือนก่อน
原文戳zhuanlan.zhihu.com/p/645876964 特斯拉前 AI 总监、OpenAI 联合创始人 Andrej Karpathy 开源了 llama2.c 。只用 500 行纯 C 语言就能训练和推理 llama 2 模型的框架，没有 何繁杂的 python 依赖。这个项目一推出就受到大家的追捧，24 小时内 GitHub 收获 4000 颗星！ 可是，C 编译的原生机器码不能跨平台，不安全，也不可被调度。这些问题使得它的应用场景非常有限。这时，一个大胆的想法油然而生！把 llama2.c 编译成 Wasm 在开源的 WasmEdge容器里运行！ 这么做的好处是： 轻量级：一个 Wasm 文件只有几十 KB 大小，相比于 Python 镜像动辄几百上千 MB，差了一万倍。 安全：沙箱机制，提供隔离性，适合多租户的云部署。 可移植：Wasm 文件无需 何改变，可以...
听说WasmEdge容器得了CloudX 2023云IoT和边缘计算大奖？
มุมมอง 5011 หลายเดือนก่อน
开发者可以用C/C 、JavaScript、Rust、TinyGo等语言编写Wasm函数,并通过WasmEdge实现一套代码在云端和边缘端运行。更进一步的是,WasmEdge针对Rust语言进行了进一步优化,支持了当前流行的Rust库例如tokio、hyper、reqwest、mysql-async以及MySQL驱动。 WasmEdge在边缘端的应用场景如下: wasmedge.org/docs/category/use-cases 使用OpenYurt管理WasmEdge|轻量级边缘计算方案 Shifu WasmEdge:物联网数据轻松瘦身 用WasmEdge YoMo对实时数据流进行推理 Libsql集成WasmEdge进行AI推理
如何构建轻量级的 LLM Agent？
มุมมอง 2K11 หลายเดือนก่อน
大语言模型（LLM）引发了 AI 的革命。它们拥有强大的文本理解和生成能力，支持各种自然语言处理 务。但是 LLM 本身只是一个被动的模型，要将其能力发挥出来，还需要构建 LLM Agent。LLM Agent 负责与 LLM 进行交互，从用户那里获取输入，调用 LLM 进行推理，并将结果返回给用户。目前主流的 LLM Agent 使用 Python 构建，并部署在云原生基础设施如 Kubernetes 上。但是这种方式存在一定局限性。主题为《大模型的崛起：解析大语言模型的训练和应用》的掘力计划第21期活动，Michael Yuan 博士来探讨构建轻量级 LLM Agent 的新思路
为什么埃隆·马斯克说 Rust 是 AGI 的语言？
มุมมอง 2.1K11 หลายเดือนก่อน
Based on this article medium.com/stackademic/why-did-elon-musk-say-that-rust-is-the-language-of-agi-eb36303ce341 Chinese version zhuanlan.zhihu.com/p/648565007 参考资料 相关链接 [1]Chris Lattner: en.wikipedia.org/wiki/Chris_Lattner [2]Mojo: www.fast.ai/posts/2023-05-03-mojo-launch.html [3]llama.cpp: github.com/ggerganov/llama.cpp [4]whisper.cpp: github.com/ggerganov/whisper.cpp [5]llama2.c: github.com/...
【Rust Meetup】用 Rust 将你的 GitHub 工作流自动化
มุมมอง 20511 หลายเดือนก่อน
【Rust Meetup】用 Rust 将你的 GitHub 工作流自动化
WebAssembly 的前世今生--Java 的野望与Docker 的魔咒 | Qcon Beijing 2023 分享
มุมมอง 12311 หลายเดือนก่อน
WebAssembly 的前世今生 Java 的野望与Docker 的魔咒 | Qcon Beijing 2023 分享
Wasm 是 AGI 的语言吗？(粤港澳大湾区数字经济研究院 iTalk 讲座) Michael Yuan, WasmEdge项目维护者、Second State联合创始人
มุมมอง 109ปีที่แล้ว
Wasm 是 AGI 的语言吗？(粤港澳大湾区数字经济研究院 iTalk 讲座) Michael Yuan, WasmEdge项目维护者、Second State联合创始人
FATE-LLM：当联邦学习遇到大型语言模型 王方驰，VMware CTO办公室高级工程师
มุมมอง 548ปีที่แล้ว
FATE-LLM：当联邦学习遇到大型语言模型 王方驰，VMware CTO办公室高级工程师
LLM 应用生态的基础设施--用 serverless Rust 和 WebAssembly 开发 LLM 应用--Michael Yuan
มุมมอง 317ปีที่แล้ว
LLM 应用生态的基础设施 用 serverless Rust 和 WebAssembly 开发 LLM 应用 Michael Yuan
GOTC Cloud Native Summit：用容器工具构建和管理 WebAssembly 应用
มุมมอง 26ปีที่แล้ว
GOTC Cloud Native Summit：用容器工具构建和管理 WebAssembly 应用
估计已经倒闭了……😂这哥们已经在桥洞底下卖U盘了
没有逻辑
🤔
It's so damn hard to use, like a puzzle game
看了你的两个新视频后，来看这个旧的。感谢分享
檔案空間小，看不到好處，現在50MB 和 800K，完全沒優勢，像就摩爾，現在可以說摩爾死了，但qlc 堆疊產生更ssd更高容量，更小體積的情況下，比容量沒有優勢，不是必要的 我依然不理解，原生比wasm還慢的事實
一句话，都想从现在的AI风口里割一块肉。
llama.cpp现在有50多K的stars了
Rust 入門 = 寫程式、貢獻社群、與編譯器鬥志鬥勇。 真要說 性能 C++ = Rust >>> Python 安全 Rust > Python >> C++ 易用 Python >>> C++ > Rust 社群 Python >> C++ > Rust 綜合 Python > C++ > Rust
我只认C++和python
最近出了一個叫 Mojo 的 Compiler 對 Python backward compatible 支持 Strong typing 效能很不錯❤
我觉得Haskell还有空间
应该比对一下，Python / C++ / Rust 三种语言，有关 AGI 的常用库， 哪些是独占的 / 可部分替代的 / 正好等着人改写一遍的 仅讨论运行速度或跨平台兼容性，在变化如此之快的当下，意义不大
Mojo也非常值得期待
今年找个项目试试你们的产品
是flows.network 还是跨GPU CPU本地跑大模型的这个工具哇 github.com/LlamaEdge/LlamaEdge
等你做出了， 市场都凉了。
为什么呢 已经做了很多工作呀 可以尝试我们的这个工具 叫LlamaEdge llamaedge.com The Rust+Wasm stack provides a strong alternative to Python in AI inference. * Lightweight. Total runtime size is 30MB as opposed 4GB for Python and 350MB for Ollama. * Fast. Full native speed on GPUs. * Portable. Single cross-platform binary on different CPUs, GPUs and OSes. * Secure. Sandboxed and isolated execution on untrusted devices. * Modern languages for inference apps. * Container-ready. Supported in Docker, containerd, Podman, and Kubernetes. * OpenAI compatible. Seamlessly integrate into the OpenAI tooling ecosystem. Give it a try --- www.secondstate.io/articles/wasm-runtime-agi/
反正底层始终是cuda，顶层始终是python，至于中间的框架层，用什么语言重要吗？好用就行，谁管你用什么语言实现
反正大部分人也不会想要去修改框架层
讲的不错
谢谢☺️可以试试视频详情里的LlamaEdge
大哥您講話速度真快！
😆是台北的小伙伴吗 视频做了剪辑 有调快
@@mileyfu5208 感謝回覆，我只是個路人而已
拿某个语言来说是以后AGI特定支持语言 看着都觉得搞笑
类似于dominating的语言吧。
为什么不用容器化的 c++ 呢？wasm比这个更有优势么？另外你们这个编译出来的wasm代码是如何运行在gpu甚至其他的异构device上面的呀？
容器化的C++不是真正的跨平台，wasm可以cross CPU GPU compatible
聽起來真的很誘人 能理解py包起來那大小與速度確實差強人意 c本身安全性問題 不過還是要看社群態度如何，畢竟遷移成本也是問題
相对pthon，rust的问题可能更多
可能会有工具链不成熟的问题 但是它可以结合Wasm做到真正跨平台而且非常轻量
vlang
只和python的短板比较有失公允，不过说的rust的优点确实非常棒准备尝试去用用。希望rust社区风波能过去，再撕裂下去就看不到前景。
原來 Rust 有撕裂？關於什麼的？
好像是基金会和社区有一些争执@@2sourcerer
什麼風波沒跟到 反正別回去寫西都是進步
没说明白什么理由 哪有马斯克？
why not C
Containerized的C不是真正的跨平台，比如说docker不能跨CPU别提GPU
RUST也是无法平滑地跨平台。
编译成Wasm就可以啦
照你这么说c c++ go 等都可以wasm
@@mingz7596确实是这样 其实任何可以编译成的都可以
主要还是虚拟机的存在，例如 JVM ，V8 这些 PL 运行时问题，wasm 运行时就是针对 wasm 的。
能力集跨平台就行。各个平台自有其特性，代码跨平台其实是不现实的。 虚拟机只是做不同平台的翻译器，然后提供给用户一个虚构的唯一平台来使用。
不应该是python吗
这里面最后讲了为什么不是python或者C++哇
向量数据库的应用场景不至于此
怎么能联系到你。我们有资金，想搭建大模型，
请问您这边是大陆的企业吗？这边可以进一下我们的WebAssembly微信群 加fantabulous-me
@@WasmEdgeRuntime 加你留的微信了，
这给能用在嵌入式芯片中不，资源有限
wasm apps是少于10兆 但是你的设备要装下llm本身的噢。
Good for introduction!
没用
哈哈哈why
要是能看清ppt就好了
Ppt能在描述里面的链接下载呀
@@mileyfu5208 视频从头看到尾，竟然忘了视频描述😂
志佬威武
完整列表和PPT下载戳 github.com/second-state/meetups