docs/cn/get-started/what-is-geniex.mdx
import Feedback from "/snippets/page-feedback.mdx";
GenieX 是为 Qualcomm 平台打造的端侧生成式 AI 推理框架。是在 Hexagon NPU、Adreno GPU 或 CPU 上本地运行前沿语言模型与视觉语言模型的最简单方式——仅几行代码。GenieX 是 Qualcomm GENIE 的社区版。
<Info>GenieX 目前处于开发者预览阶段。 欢迎反馈——提交 issue 或 加入 Slack。</Info>
GenieX 通过同一套 SDK 提供五种入口:
在底层,该 SDK 会按需分发到 llama.cpp 运行环境(覆盖 CPU / GPU / Hexagon HTP 的 GGML 内核)或 Qualcomm® AI Engine Direct 运行环境(仅 NPU)。同一套 SDK 可运行在 Windows ARM64、Android 与 Linux ARM64 上。
<Note>Qualcomm AI Engine Direct 是官方名称,它也被称为 Qualcomm AI Engine Direct SDK、Qualcomm AI Runtime 以及 QAIRT。本文档中我们统一使用该官方名称。</Note>
这样你就能在同一套 SDK 中同时获得广泛的模型支持与最佳性能:
何时选哪一种,详见平台与运行环境。
llama.cpp 适配任意社区 GGUF 模型,Qualcomm AI Engine Direct(qairt)适配 Qualcomm AI Hub 预编译的 NPU 模型包。