Skip to content

已发布内容

端侧AI,快抓住这个机会!:产业链核心环节、技术原理、三大主流端侧AI框架、Google AI Edge Gallery、可部署到手机端的模型

今年是谁的元年呢?:行业资讯、产业链条三大环节、人形机器人使用案例、OpenLoong开源了公版人形机器人

"听说"一体化小模型:实时TTS模型(Fun-CosyVoice3 0.5B)、实时ASR模型(Fun-ASR-Nano-2512 0.8B)

硅谷的疯狂抢人大战正在上演!人才+技术授权,掐尖式并购:英伟达"收购"了Groq、Meta收购了Manus

端侧AI

产业链核心环节

  1. AI芯片:提供端侧算力支持,涵盖IPC、物联网、智能硬件等领域。
  2. 通信模组:为设备提供无线连接,推动AI模型在端侧落地
  3. 智能终端:涉及智能穿戴、AI眼镜/耳机、智能音箱等硬件制造与解决方案。
  4. AI玩具:结合AI交互功能,可开发智能玩具与童伴机器人。
  5. 其他关键部件:提供传感器、存储等配套技术支持。

Open-AutoGLM: 搭建及测试项目地址获取模型技术博客

三大主流端侧AI框架

1、TensorFlow Lite

TensorFlow Lite 是 Google 官方推出的、用于移动设备和嵌入式设备的轻量级解决方案。

官方项目链接https://www.tensorflow.org/lite

案例与教程文档https://www.tensorflow.org/lite/examples

2、PyTorch Mobile

PyTorch Mobile 是 PyTorch 官方支持的、在移动端进行推理的部署框架。

官方项目链接https://pytorch.org/mobile/home/

安卓和苹果手机使用方法:https://pytorch.org/mobile/android/https://pytorch.org/mobile/ios/

Android 官方 Demo 应用https://github.com/pytorch/android-demo-app

iOS 官方 Demo 应用https://github.com/pytorch/ios-demo-app

3、ONNX Runtime

ONNX Runtime 是由 Microsoft 维护的高性能跨平台推理引擎,支持包括 CPU, GPU, NPU 在内的多种硬件。

官方项目链接https://onnxruntime.ai

GitHub 主仓库https://github.com/microsoft/onnxruntime

官方示例代码https://github.com/microsoft/onnxruntime-inference-examples

这个仓库包含了在Python, C++, C#, Java, JavaScript等多种语言/平台上运行 ONNX 模型的详细示例,是学习和集成的主要参考。

OpenLoong

项目社区项目代码