| /ohos5.0/docs/zh-cn/application-dev/ai/nnrt/ |
| H A D | Neural-Network-Runtime-Kit-Introduction.md | 4 Neural Network Runtime（NNRt, 神经网络运行时）是面向AI领域的跨芯片推理计算运行时，作为中间桥梁连通上层AI推理框架和底层加速芯片，实现AI模型的跨芯片推理计算。
6 Neural Network Runtime的Native接口主要面向AI推理框架的开发者，或者希望直接使用AI加速硬件实现模型推理加速的应用开发者。
8 AI推理框架可以调用NNRt的构图接口将推理框架的模型图转换为NNRt内部使用的模型图，然后调用NNRt的编译和执行接口在NNRt底层对接的AI加速硬件上进行模型推理。该方式可以实现无感知的跨AI硬…
10 AI推理框架和应用开发者也可以无需调用NNRt构图接口，直接使用某款具体硬件对应的离线模型在NNRt上执行模型推理。该方式仅能实现在特定AI硬件上执行推理，但是首次加载模型速度较快。
19 5. <b>设备管理</b>：负责展示NNRt对接的AI硬件信息，并提供了选择AI硬件的功能。
21 …Rt也支持直接使用AI硬件相关的模型文件（简称为离线模型）进行推理。应用开发者使用AI硬件厂商提供的模型转换器将原始训练模型转换为AI硬件对应的离线模型文件，并将它部署在应用程序中，在应用运行期间…
28 - NNRt面向AI推理框架和AI应用开放了统一的AI加速硬件推理接口，可支持无感知的跨AI硬件推理。
29 - NNRt提供了构图接口，可以让AI推理框架将内部模型图对接到NNRt。
37 - NNRt仅可提供已在底层接入的AI加速硬件的AI推理能力，不提供CPU等通用硬件上的AI推理能力。
38 - NNRt仅能提供大多数AI硬件共有的基础AI推理能力和硬件属性配置，例如编译、执行、内存管理、优先级、性能模式等。如果希望配置某款AI硬件特有的硬件属性，可以通过NNRt提供的自定义扩展属性接口…
[all …]
|
| /ohos5.0/docs/zh-cn/application-dev/ai/mindspore/ |
| H A D | MindSpore-Lite-Kit-Introduction.md | 5 MindSpore Lite是OpenHarmony内置的轻量化AI引擎，面向全场景构建支持多处理器架构的开放AI架构，使能全场景智能应用，为开发者提供端到端的解决方案，为算法工程师和数据科学家提供…
15 MindSpore Lite提供面向不同硬件设备的AI模型推理能力，使能全场景智能应用，为开发者提供端到端的解决方案，使用MindSpore Lite的优势如下：
18 - 轻量化：提供超轻量的解决方案，支持模型量化压缩，模型更小跑得更快，使能AI模型极限环境下的部署执行。
19 - 全场景支持：支持多种操作系统以及嵌入式系统，适配多种软硬件智能设备上的AI应用。
44 MindSpore Lite已作为系统部件在OpenHarmony标准系统内置，基于MindSpore Lite开发AI应用的开发方式有：
46 …一：[使用MindSpore Lite ArkTS API开发AI应用](./mindspore-guidelines-based-js.md)。开发者直接在UI代码中调用 MindSpore L…
47 - 方式二：[使用MindSpore Lite Native API开发AI应用](./mindspore-guidelines-based-native.md)。开发者将算法模型和调用 MindS…
51 Neural Network Runtime（NNRt, 神经网络运行时）是面向AI领域的跨芯片推理计算运行时，作为中间桥梁连通上层AI推理框架和底层加速芯片，实现AI模型的跨芯片推理计算。
53 …Lite原生支持配置Neural Network Runtime使能AI专用芯片（如NPU）加速推理，开发者可直接配置MindSpore Lite来使用NNRt硬件。因此，这里不再对NNRt具体展…
|
| H A D | mindspore-lite-converter-guidelines.md | 5 - MindSpore Lite：OpenHarmony内置AI推理引擎，提供深度学习模型的推理部署能力。
7 - Neural Network Runtime：神经网络运行时，简称NNRt。作为中间桥梁，连通上层 AI 推理框架和底层加速芯片，实现 AI 模型的跨芯片推理计算。
15 MindSpore Lite AI模型部署流程是：
119 执行推理时，MindSpore Lite会直接将离线模型传给接入NNRt的 AI 硬件，无需在线构图即可加载，大幅降低模型加载时延，并且可携带额外的硬件特定信息，协助 AI 硬件推理。
134 - 最后，还提供扩展参数字段，可将离线模型所需的自定义配置用键值对的形式一同封装到.ms文件，在推理时由NNRt传递给AI硬件使用。
|
| /ohos5.0/docs/en/application-dev/ai/nnrt/ |
| H A D | Neural-Network-Runtime-Kit-Introduction.md | 4 …nnect the upper-layer AI inference framework and underlying acceleration chips, implementing cross…
6 …Is are intended for developers of the AI inference framework or application developers who want to…
8 …AI inference framework can call the NNRt image composition API to convert its model image into an …
10 …AI inference framework or application can also directly use the offline model dedicated to the spe…
16 … objects on the underlying AI hardware driver through the NNRt build API. This way, model inferenc…
19 … management**: Display information about the AI hardware connected to NNRt and allow for selection…
21 …AI hardware for inference. Specifically, use the model converter provided by the AI hardware vendo…
29 - Opens unified AI acceleration hardware inference APIs for the AI inference framework to implement…
30 - Provides image composition APIs for the AI inference framework to pass internal model images to N…
34 - Implements zero copy of data by applying for shared memory on the AI hardware driver, improving t…
[all …]
|
| /ohos5.0/foundation/ai/neural_network_runtime/ |
| H A D | README_zh.md | 5 Neural Network Runtime（NNRt, 神经网络运行时）是面向AI领域的跨芯片推理计算运行时，作为中间桥梁连通上层AI推理框架和底层加速芯片，实现AI模型的跨芯片推理计算。
7 …AI推理框架接入，当前NNRt对接了系统内置的[MindSpore Lite](https://gitee.com/openharmony/third_party_mindspore)推理框架。同…
11 通常，AI应用、AI推理引擎、Neural Network Runtime处在同一个进程下，芯片驱动运行在另一个进程下，两者之间需要借助进程间通信（IPC）传递模型和计算数据。Neural Netw…
57 - AI推理引擎/应用开发请参考：[Neural Network Runtime对接AI推理框架开发指导](./neural-network-runtime-guidelines.md)。
58 - AI加速芯片驱动/设备开发请参考：[Neural Network Runtime设备接入指导](./example/drivers/README_zh.md)。
|
| H A D | README.md | 5 …nnect the upper-layer AI inference framework and bottom-layer acceleration chip, implementing cros…
7 …AI inference framework to access. Currently, NNRt interconnects with the built-in [MindSpore Lite]…
11 Generally, the AI application, AI inference engine, and NNRt are in the same process, and the chip …
57 - For details about AI inference engine/application development, see Neural Network Runtime App Dev…
58 - For details about how to develop AI acceleration chip drivers and devices, see Neural Network Run…
|
| /ohos5.0/docs/zh-cn/device-dev/subsystems/ |
| H A D | subsys-ai-nnrt-guide.md | 7 NNRt（Neural Network Runtime，神经网络运行时）是面向AI领域的跨芯片推理计算运行时，作为中间桥梁连通上层AI推理框架和底层加速芯片，实现AI模型的跨芯片推理计算。
20 - 接入设备：具备AI计算能力的芯片。
29 …AI应用在应用层，AI推理框架和NNRt在系统层，设备服务在芯片层。AI应用如果要使用AI专用加速芯片进行模型推理，需要经过AI推理框架和NNRt才能调用到底层AI专用加速芯片，NNRt就是负责适…
31 程序运行时，AI应用、AI推理框架、NNRt都运行在用户进程中，底层AI芯片设备服务运行在HDI服务进程中。NNRt根据HDI接口实现了HDI Client，服务端也需要根据HDI接口实现HDI S…
36 当需要将一款AI加速芯片接入NNRt的时候，可以参考下文。下文以RK3568芯片为例，展示RK3568 CPU如何通过NNRt的V2.0版本HDI接口接入NNRt，并完成AI模型推理。V1.0版本H…
40 AI专用加速芯片接入NNRt的整体流程如下：
42 **图2** AI专用加速芯片接入NNRt流程
47 AI芯片设备HDI服务开发者具体可通过以下步骤实现AI专用加速芯片对接NNRt：
71 ├── iprepared_model.h # 编译AI模型对象头文件
75 ├── model_types.h # AI模型结构定义头文件
[all …]
|
| H A D | subsys-ai-aiframework-devguide.md | 1 # AI框架开发指导
6 AI业务子系统是OpenHarmony提供原生的分布式AI能力的子系统。AI业务子系统提供了统一的AI引擎框架，实现算法能力快速插件化集成。
7 AI引擎框架主要包含插件管理、模块管理和通信管理模块，完成对AI算法能力的生命周期管理和按需部署。插件管理主要实现插件的生命周期管理及插件的按需部署，快速集成AI能力插件；模块管理主要实现任务的调度…
8 AI引擎框架结构如下图所示。
11 **图1** AI引擎框架
28 AI引擎框架各模块之间的代码依赖关系如下图所示：
31 **图1** AI引擎代码依赖关系
36 #### 建议：插件与OpenHarmony SDK在AI引擎指定的路径下进行代码开发
38 在AI引擎框架的整体规划中，OpenHarmony SDK属于client端的一部分，插件由server端调用，属于server端的一部分，因此AI引擎框架为接入的插件与OpenHarmony SD…
191 #### 规则：plugin需要使用AI引擎提供的统一数据通道
[all …]
|
| /ohos5.0/foundation/ai/neural_network_runtime/example/drivers/ |
| H A D | README_zh.md | 7 NNRt（Neural Network Runtime，神经网络运行时）是面向AI领域的跨芯片推理计算运行时，作为中间桥梁连通上层AI推理框架和底层加速芯片，实现AI模型的跨芯片推理计算。
20 - 接入设备：具备AI计算能力的芯片。
29 …AI应用在应用层，AI推理框架和NNRt在系统层，设备服务在芯片层。AI应用如果要使用AI专用加速芯片进行模型推理，需要经过AI推理框架和NNRt才能调用到底层AI专用加速芯片，NNRt就是负责适…
31 程序运行时，AI应用、AI推理框架、NNRt都运行在用户进程中，底层AI芯片设备服务运行在HDI服务进程中。NNRt根据HDI接口实现了HDI Client，服务端也需要根据HDI接口实现HDI S…
36 当需要将一款AI加速芯片接入NNRt的时候，可以参考下文。下文以RK3568芯片为例，展示RK3568 CPU如何通过NNRt的V2.0版本HDI接口接入NNRt，并完成AI模型推理。V1.0版本H…
40 AI专用加速芯片接入NNRt的整体流程如下：
42 **图2** AI专用加速芯片接入NNRt流程
47 AI芯片设备HDI服务开发者具体可通过以下步骤实现AI专用加速芯片对接NNRt：
71 ├── iprepared_model.h # 编译AI模型对象头文件
75 ├── model_types.h # AI模型结构定义头文件
[all …]
|
| /ohos5.0/docs/zh-cn/application-dev/reference/apis-arkui/ |
| H A D | errorcode-image-analyzer.md | 1 # 图像AI分析错误码
7 ## 110001 AI分析功能不支持
11 AI analysis is unsupported.
15 当开发者调用startImageAnalyzer()接口时，若当前不支持AI分析功能，会抛出此错误码。
25 ## 110002 AI分析正在进行中
29 AI analysis is ongoing.
|
| /ohos5.0/docs/zh-cn/application-dev/reference/apis-mindspore-lite-kit/ |
| H A D | js-apis-mindSporeLite.md | 1 # @ohos.ai.mindSporeLite (端侧AI框架)
3 MindSpore Lite 是一个轻量化、高性能的端侧AI引擎，提供了标准的模型推理和训练接口，内置通用硬件高性能算子库，原生支持Neural Network Runtime Kit使能AI专用芯…
5 本模块主要介绍MindSpore Lite AI引擎支持模型端侧推理/训练的相关能力。
25 **系统能力：** SystemCapability.AI.MindSporeLite
49 **系统能力：** SystemCapability.AI.MindSporeLite
76 **系统能力：** SystemCapability.AI.MindSporeLite
106 **系统能力：** SystemCapability.AI.MindSporeLite
136 **系统能力：** SystemCapability.AI.MindSporeLite
178 **系统能力：** SystemCapability.AI.MindSporeLite
223 **系统能力：** SystemCapability.AI.MindSporeLite
[all …]
|
| /ohos5.0/docs/zh-cn/readme/ |
| H A D | AI业务子系统.md | 1 # AI业务子系统<a name="ZH-CN_TOPIC_0000001083278044"></a>
8 - [AI引擎开发导航](#section6808423133718)
12 AI业务子系统是OpenHarmony提供原生的分布式AI能力的子系统。本次开源范围是提供了统一的AI引擎框架，实现算法能力快速插件化集成。框架中主要包含插件管理、模块管理和通信管理等模块，对AI算…
14 **图 1** AI引擎框架<a name="fig17296164711526"></a>
15 
20 /foundation/ai/engine # AI子系统主目录
22 │ └── kits # AI子系统对外接口
52 1. **AI业务子系统编译**
54 轻量级AI引擎框架模块，代码所在路径：//foundation/ai/engine/services
418 [AI子系统](https://gitee.com/openharmony/docs/blob/master/zh-cn/readme/AI%E4%B8%9A%E5%8A%A1%E5%AD%90%E…
[all …]
|
| /ohos5.0/foundation/ai/ai_engine/ |
| H A D | README_zh.md | 1 # AI业务子系统<a name="ZH-CN_TOPIC_0000001072614474"></a>
8 - [AI引擎开发导航](#section6808423133718)
12 AI业务子系统是OpenHarmony提供原生的分布式AI能力的子系统。本次开源范围是提供了统一的AI引擎框架，实现算法能力快速插件化集成。框架中主要包含插件管理、模块管理和通信管理等模块，对AI算…
14 **图 1** AI引擎框架<a name="fig17296164711526"></a>
15 
20 /foundation/ai/ai_engine # AI子系统主目录
22 │ └── kits # AI子系统对外接口
48 **AI服务启动的约束与限制**：SAMGR（System Ability Manager）启动且运行正常
52 1. **AI业务子系统编译**
418 [AI子系统](https://gitee.com/openharmony/docs/blob/master/zh-cn/readme/AI%E4%B8%9A%E5%8A%A1%E5%AD%90%E…
[all …]
|
| H A D | README.md | 1 # AI<a name="EN-US_TOPIC_0000001072614474"></a>
12 …AI subsystem is the part of OpenHarmony that provides native distributed AI capabilities. At the h…
14 **Figure 1** AI engine framework<a name="fig17296164711526"></a>
20 /foundation/ai/ai_engine # Home directory of the AI subsystem
22 │ └── kits # External APIs of the AI subsystem
24 │ ├── client # Client module of the AI subsystem
27 │ ├── common # Common tools and protocol modules of the AI subsystem
31 │ └── server # Server module of the AI subsystem
52 1. Compile the AI subsystem.
54 …The source code for lightweight AI framework is available at **//foundation/ai/ai_engine/services…
[all …]
|
| /ohos5.0/docs/zh-cn/application-dev/reference/apis-arkui/arkui-ts/ |
| H A D | ts-image-common.md | 10 图像AI分析配置项。
18 | types | [ImageAnalyzerType[]](#imageanalyzertype) | 是 | 图像AI分析类型。
22 图像AI分析类型，未设置时默认开启主体识别和文字识别功能。
36 图像AI分析选项。
44 | types | [ImageAnalyzerType[]](#imageanalyzertype) | 否 | 图像AI分析类型。 |
45 | aiController | [ImageAnalyzerController](#imageanalyzercontroller) | 否 | 图像AI分析控制器。 |
|
| H A D | ts-basic-components-xcomponent.md | 79 | imageAIOptions | [ImageAIOptions](ts-image-common.md#imageaioptions) | 否 | 给组件设置一个AI分析选项，通过此项可配置分…
99 设置组件支持AI分析，当前支持主体识别、文字识别和对象查找等功能。
365 配置AI分析并启动AI分析功能，使用前需先[使能](#enableanalyzer12)图像AI分析能力。<br>该方法调用时，将截取调用时刻的画面帧进行分析，使用时需注意启动分析的时机，避免出现画…
380 … | [ImageAnalyzerConfig](ts-image-common.md#imageanalyzerconfig) | 是 | 执行AI分析所需要的入参，用于配置AI分析功能。 |
386 | Promise\<void> | Promise对象，用于获取AI分析是否成功执行。 |
390 以下错误码的详细介绍请参见[AI分析类库错误码](../errorcode-image-analyzer.md)。
402 停止AI分析功能，AI分析展示的内容将被销毁。
493 ### 示例1（图像AI分析功能）
495 使用enableAnalyzer属性开启图像AI分析功能。可通过XComponentController控制开始、停止图形AI分析。
548 Button('start AI analyze')
[all …]
|
| /ohos5.0/docs/en/application-dev/reference/apis-arkui/ |
| H A D | errorcode-image-analyzer.md | 1 # AI Image Analyzer Error Codes
7 ## 110001 AI Image Analysis Not Supported
11 AI analysis is unsupported.
15 This error code is reported when **startImageAnalyzer()** is called while AI image analysis is not …
25 ## 110002 AI Image Analysis in Progress
29 AI analysis is ongoing.
|
| /ohos5.0/docs/en/application-dev/ai/mindspore/ |
| H A D | MindSpore-Lite-Kit-Introduction.md | 5 …AI engine built in OpenHarmony. Its open AI framework comes with a multi-processor architecture to…
15 MindSpore Lite provides AI model inference capabilities for hardware devices and end-to-end solutio…
18 …ization and compression to enable smaller models to run faster and empower AI model deployment in …
19 - All-scenario support: Supports different types of OS and embedded system to adapt to AI applicati…
44 … in the OpenHarmony standard system as a system component. You can develop AI applications based o…
46 …You can directly call MindSpore Lite ArkTS APIs in the UI code to load the AI model and perform mo…
47 - Method 2: [Using MindSpore Lite native APIs to develop AI applications](./mindspore-guidelines-ba…
51 …onnect the upper-layer AI inference framework and underlying acceleration chips, implementing cros…
53 …AI-dedicated chips (such as NPUs) to accelerate inference. Therefore, you can configure MindSpore …
|
| /ohos5.0/docs/zh-cn/application-dev/reference/apis-basic-services-kit/ |
| H A D | js-apis-intelligentVoice-sys.md | 32 **系统能力：** SystemCapability.AI.IntelligentVoice.Core
72 **系统能力：** SystemCapability.AI.IntelligentVoice.Core
113 **系统能力：** SystemCapability.AI.IntelligentVoice.Core
162 **系统能力：** SystemCapability.AI.IntelligentVoice.Core
214 **系统能力：** SystemCapability.AI.IntelligentVoice.Core
263 **系统能力：** SystemCapability.AI.IntelligentVoice.Core
319 **系统能力：** SystemCapability.AI.IntelligentVoice.Core
352 **系统能力：** SystemCapability.AI.IntelligentVoice.Core
386 **系统能力：** SystemCapability.AI.IntelligentVoice.Core
424 **系统能力：** SystemCapability.AI.IntelligentVoice.Core
[all …]
|
| /ohos5.0/docs/zh-cn/release-notes/ |
| H A D | OpenHarmony-1-1-0-LTS.md | 7 - OpenHarmony1.1.0扩充组件能力，新增AI子系统、电源管理子系统、泛Sensor子系统、升级子系统。
8 - OpenHarmony1.1.0有了统一AI引擎框架。
56 …AI子系统 | - 新增统一的AI引擎框架，实现算法能力快速插件化集成。框架中主要包含插件管理、模块管理和通信管理等模块，对AI算法能力进行生命周期管理和按需部署<br/>- 为开发者…
58 | XTS认证 | 增加AI、DFX、global、OTA兼容性测试用例。 | 应用程序框架、公共通信、分布式任务调度、IOT、内核等测试能力增…
|
| /ohos5.0/drivers/interface/nnrt/v2_1/ |
| H A D | IPreparedModel.idl | 20 * @brief Provides a unified interface for AI chip drivers to access OpenHarmony.\n
21 …rk Runtime (NNRt) is a cross-chip inference computing runtime environment oriented to the AI field.
30 * @brief Defines the APIs for AI model inference, obtaining the input tensor dimension range,\n
31 * and exporting the AI model built.
48 * @brief Provides the APIs for exporting AI models and performing AI model inference.
55 * @brief Exports an AI model from the cache.
67 … * @brief Obtains the tensor dimension range supported by AI model. If a fixed dimension is used,\n
84 * @brief Performs AI model inference.
86 …* @param inputs Input data for AI model inference. The data is input in the sequence defined by th…
88 …* @param outputs Output data of AI model inference. After inference, the output data is written to…
|
| /ohos5.0/docs/zh-cn/device-dev/reference/hdi-apis/nnrt/ |
| H A D | _n_n_rt_v10.md | 6 Neural Network Runtime（NNRt, 神经网络运行时）是面向AI领域的跨芯片推理计算运行时，作为中间桥梁连通上层AI推理框架和底层加速芯片，实现AI模型的跨芯片推理计算。提供统一…
20 | [ModelTypes.idl](_model_types_8idlv.md) | 该文件定义AI模型相关的结构体。 |
225 用于AI计算芯片的状态。
246 AI计算芯片的类型。
255 | ACCELERATOR | AI专用加速芯片，比如NPU、DSP |
448 芯片执行AI计算的性能模式。
455 | PERFORMANCE_LOW | 低性能模式，执行AI计算速度慢，功耗低 |
456 | PERFORMANCE_MEDIUM | 中性能模式，执行AI计算速度较慢，功耗较低 |
457 | PERFORMANCE_HIGH | 高性能模式，执行AI计算速度较快，功耗较高 |
458 | PERFORMANCE_EXTREME | 最高性能模式，执行AI计算速度快，功耗高 |
[all …]
|
| H A D | _n_n_rt_v20.md | 6 Neural Network Runtime（NNRt, 神经网络运行时）是面向AI领域的跨芯片推理计算运行时，作为中间桥梁连通上层AI推理框架和底层加速芯片，实现AI模型的跨芯片推理计算。提供统一…
20 | [ModelTypes.idl](_model_types_8idl_v20.md) | 该文件定义AI模型相关的结构体。 |
222 用于AI计算芯片的状态。
243 AI计算芯片的类型。
252 | ACCELERATOR | AI专用加速芯片，比如NPU、DSP |
496 芯片执行AI计算的性能模式。
503 | PERFORMANCE_LOW | 低性能模式，执行AI计算速度慢，功耗低 |
504 | PERFORMANCE_MEDIUM | 中性能模式，执行AI计算速度较慢，功耗较低 |
505 | PERFORMANCE_HIGH | 高性能模式，执行AI计算速度较快，功耗较高 |
506 | PERFORMANCE_EXTREME | 最高性能模式，执行AI计算速度快，功耗高 |
[all …]
|
| /ohos5.0/docs/en/readme/ |
| H A D | ai.md | 1 # AI chapter
5 …AI subsystem is the part of OpenHarmony that provides native distributed AI capabilities. At the h…
7 **Figure 1** AI engine framework<a name="fig17296164711526"></a>
13 /foundation/ai/engine # Home directory of the AI subsystem
15 │ └── kits # External APIs of the AI subsystem
17 │ ├── client # Client module of the AI subsystem
20 │ ├── common # Common tools and protocol modules of the AI subsystem
24 │ └── server # Server module of the AI subsystem
45 1. Compile the AI subsystem.
47 … The source code for lightweight AI framework is available at **//foundation/ai/engine/services**.
[all …]
|
| /ohos5.0/docs/en/application-dev/reference/apis-arkui/arkui-ts/ |
| H A D | ts-image-common.md | 10 Provides AI analyzer configuration.
18 | types | [ImageAnalyzerType[]](#imageanalyzertype) | Yes| AI analysis types. |
22 Defines the AI analysis type. If it is not set, subject recognition and text recognition are enable…
36 Provides the AI analysis options.
44 | types | [ImageAnalyzerType[]](#imageanalyzertype) | No| AI analysis types.|
45 | aiController | [ImageAnalyzerController](#imageanalyzercontroller) | No| AI analysis controller.|
|