Lines Matching refs:AI

7 NNRt（Neural Network Runtime，神经网络运行时）是面向AI领域的跨芯片推理计算运行时，作为中间桥梁连通上层AI推理框架和底层加速芯片，实现AI模型的跨芯片推理计算。
20 - 接入设备：具备AI计算能力的芯片。
29 …AI应用在应用层，AI推理框架和NNRt在系统层，设备服务在芯片层。AI应用如果要使用AI专用加速芯片进行模型推理，需要经过AI推理框架和NNRt才能调用到底层AI专用加速芯片，NNRt就是负责适…
31 程序运行时，AI应用、AI推理框架、NNRt都运行在用户进程中，底层AI芯片设备服务运行在HDI服务进程中。NNRt根据HDI接口实现了HDI Client，服务端也需要根据HDI接口实现HDI S…
36 当需要将一款AI加速芯片接入NNRt的时候，可以参考下文。下文以RK3568芯片为例，展示RK3568 CPU如何通过NNRt的V2.0版本HDI接口接入NNRt，并完成AI模型推理。V1.0版本H…
40 AI专用加速芯片接入NNRt的整体流程如下：
42 **图2** AI专用加速芯片接入NNRt流程
47 AI芯片设备HDI服务开发者具体可通过以下步骤实现AI专用加速芯片对接NNRt：
71         ├── iprepared_model.h                     # 编译AI模型对象头文件
74         ├── model_types.cpp                       # AI模型结构定义实现文件
75         ├── model_types.h                         # AI模型结构定义头文件
85         ├── node_attr_types.cpp                   # AI模型算子属性定义实现文件
86         ├── node_attr_types.h                     # AI模型算子属性定义
89         ├── prepared_model_service.cpp            # 编译AI模型对象服务端实现参考样例
90         ├── prepared_model_service.h              # 编译AI模型对象服务端头文件
109             │   └── prepared_model_service.h          # 编译AI模型对象服务端头文件
117                 └── prepared_model_service.cpp        # 编译AI模型对象服务端实现文件