媒体应用开发概述

媒体系统架构

• 音频（audio）：提供音量管理、音频路由管理、混音管理接口与服务。

• 视频（media）：提供音视频解压播放、压缩录制接口与服务。

• 图片（image）：提供图片编解码、图片处理接口与服务。

Audio Kit音视频

音视频概述

开发说明

• 音频量化的过程：采样 > 量化 > 编码

• 音频量化过程的相关概念：模拟信号和数字信号、采样率、声道、采样格式、位宽、码率、常见编码格式（如AAC、MP3、PCM、WMA等）、常见封装格式（如WAV、MPA、FLAC、AAC、OGG等）

• 播放过程：网络协议 > 容器格式 > 音视频编解码 > 图形/音频渲染

• 网络协议：比如HLS、HTTP/HTTPS；容器格式：比如mp4，mkv，mpeg-ts，webm。

• 编码格式：比如h263/h264/h265，MPEG4/MPEG2。

音频流介绍

音频流使用场景信息

• 播放场景
音频播放场景的信息，通过StreamUsage和ContentType进行描述。
StreamUsage指音频流本身的用途类型，包括媒体、语音通信、语音播报、通知、铃声等。
ContentType指音频流中数据的内容类型，包括语音、音乐、影视、通知、铃声等。

• 录制场景
音频流录制场景的信息，通过SourceType进行描述。
SourceType指音频流中录音源的类型，包括麦克风音频源、语音识别音频源、语音通话音频源等。

支持的音频格式

• 支持的常用的音频采样率（Hz）：8000、11025、12000、16000、22050、24000、32000、44100、48000、64000、96000，具体参考枚举AudioSamplingRate。
不同设备支持的采样率规格会存在差异。

• 支持单声道、双声道，具体参考AudioChannel。

• 支持的采样格式：U8（无符号8位整数）、S16LE（带符号的16位整数，小尾数）、S24LE（带符号的24位整数，小尾数）、S32LE（带符号的32位整数，小尾数）、F32LE（带符号的32位浮点数，小尾数），具体参考AudioSampleFormat。
由于系统限制，S24LE、S32LE、F32LE仅部分设备支持，请根据实际情况使用。
小尾数指的是小端模式，即数据的高字节保存在内存的高地址中，而数据的低字节保存在内存的低地址中。这种存储模式将地址的高低和数据的位权有效结合起来，高地址部分权值高，低地址部分权值低。

AVPlayer和AVRecorder

AVPlayer

1. 音乐应用将媒体资源传递给AVPlayer接口。

2. Player Framework将音频PCM数据流输出给Audio Framework，再由Audio Framework输出给音频HDI。

1. 应用从XComponent组件获取窗口SurfaceID，获取方式参考XComponent。

2. 应用把媒体资源、SurfaceID传递给AVPlayer接口。

3. Player Framework把视频ES数据流输出给解码HDI，解码获得视频帧（NV12/NV21/RGBA）。

4. Player Framework把音频PCM数据流输出给Audio Framework，Audio Framework输出给音频HDI。

5. Player Framework把视频帧（NV12/NV21/RGBA）输出给Graphic Framework，Graphic Framework输出给显示HDI。

AVRecorder

• 音频录制：应用通过调用JS接口层提供的AVRecorder接口实现音频录制时，框架层会通过录制服务（Player Framework），调用音频服务（Audio Framework）通过音频HDI捕获音频数据，通过软件编码封装后保存至文件中，实现音频录制功能。

• 视频录制：应用通过调用JS接口层提供的AVRecorder接口实现视频录制时，先通过Camera接口调用相机服务（Camera Framework）通过视频HDI捕获图像数据送至框架层的录制服务，录制服务将图像数据通过视频编码HDI编码，再将编码后的图像数据封装至文件中，实现视频录制功能。

说明

AVRecorder只负责视频数据的处理，需要与视频数据采集模块配合才能完成视频录制。视频数据采集模块需要通过Surface将视频数据传递给AVRecorder进行数据处理。

当前常用的数据采集模块为相机模块，相关说明以相机举例，相机模块目前仅对系统应用开放。

1. 应用通过AVRecorder接口从录制服务获取SurfaceID。

2. 应用将SurfaceID设置给相机服务，相机服务可以通过SurfaceID获取到Surface。相机服务通过视频HDI捕获图像数据送至框架层的录制服务。

3. 相机服务通过Surface将视频数据传递给录制服务。

4. 录制服务通过视频编码HDI模块将视频数据编码。

5. 录制服务将音频参数设置给音频服务，并从音频服务获取到音频数据。

支持的格式

音频播放

音频播放开发概述

• AVPlayer：功能较完善的音频、视频播放ArkTS/JS API，集成了流媒体和本地资源解析、媒体资源解封装、音频解码和音频输出功能。可以用于直接播放mp3、m4a等格式的音频文件，不支持直接播放PCM格式文件。

• AudioRenderer：用于音频输出的的ArkTS/JS API，仅支持PCM格式，需要应用持续写入音频数据进行工作。应用可以在输入前添加数据预处理，如设定音频文件的采样率、位宽等，要求开发者具备音频处理的基础知识，适用于更专业、更多样化的媒体播放应用开发。

• OpenSL ES：一套跨平台标准化的音频Native API，目前阶段唯一的音频类Native API，同样提供音频输出能力，仅支持PCM格式，适用于从其他嵌入式平台移植，或依赖在Native层实现音频输出功能的播放应用使用。

• 在音频播放中，应用时常需要用到一些急促简短的音效，如相机快门音效、按键音效、游戏射击音效等，当前只能使用AVPlayer播放音频文件替代实现，在HarmonyOS后续版本将会推出相关接口来支持该场景。

使用AVPlayer开发音频播放功能

1. 创建实例createAVPlayer()，AVPlayer初始化idle状态。

2. 设置业务需要的监听事件，搭配全流程场景使用。支持的监听事件包括：

事件类型	说明
stateChange	必要事件，监听播放器的state属性改变。
error	必要事件，监听播放器的错误信息。
durationUpdate	用于进度条，监听进度条长度，刷新资源时长。
timeUpdate	用于进度条，监听进度条当前位置，刷新当前时间。
seekDone	响应API调用，监听seek()请求完成情况。 当使用seek()跳转到指定播放位置后，如果seek操作成功，将上报该事件。
speedDone	响应API调用，监听setSpeed()请求完成情况。 当使用setSpeed()设置播放倍速后，如果setSpeed操作成功，将上报该事件。
volumeChange	响应API调用，监听setVolume()请求完成情况。 当使用setVolume()调节播放音量后，如果setVolume操作成功，将上报该事件。
bufferingUpdate	用于网络播放，监听网络播放缓冲信息，用于上报缓冲百分比以及缓存播放进度。
audioInterrupt	监听音频焦点切换信息，搭配属性audioInterruptMode使用。 如果当前设备存在多个音频正在播放，音频焦点被切换（即播放其他媒体如通话等）时将上报该事件，应用可以及时处理。

3. 设置资源：设置属性url，AVPlayer进入initialized状态。

说明

下面代码示例中的url仅作示意使用，开发者需根据实际情况，确认资源有效性并设置：

• 如果使用本地资源播放，必须确认资源文件可用，并使用应用沙箱路径访问对应资源，参考获取应用文件路径。应用沙箱的介绍及如何向应用沙箱推送文件，请参考文件管理。

• 如果使用网络播放路径，需申请相关权限：ohos.permission.INTERNET。

• 如果使用ResourceManager.getRawFd打开HAP资源文件描述符，使用方法可参考ResourceManager API参考。

• 需要使用支持的播放格式与协议。

4. 准备播放：调用prepare()，AVPlayer进入prepared状态，此时可以获取duration，设置音量。

5. 音频播控：播放play()，暂停pause()，跳转seek()，停止stop() 等操作。

6. （可选）更换资源：调用reset()重置资源，AVPlayer重新进入idle状态，允许更换资源url。

7. 退出播放：调用release()销毁实例，AVPlayer进入released状态，退出播放。

多音频播放的并发策略

• 共享焦点模式（SHARE_MODE）：由同一应用创建的多个音频流，共享一个音频焦点。这些音频流之间的并发规则由应用自主决定，音频打断策略不会介入。当其他应用创建的音频流与该应用的音频流并发播放时，才会触发音频打断策略的管控。

• 独立焦点模式（INDEPENDENT_MODE）：应用创建的每一个音频流均会独立拥有一个音频焦点，当多个音频流并发播放时，会触发音频打断策略的管控。

• 若使用AVPlayer开发音频播放功能，则可以通过修改AVPlayer的audioInterruptMode属性进行设置。

• 若使用AudioRenderer开发音频播放功能，则可以调用AudioRenderer的setInterruptMode函数进行设置。

• 强制打断类型（INTERRUPT_FORCE）：由系统进行操作，强制打断音频播放。

• 共享打断类型（INTERRUPT_SHARE）：由应用进行操作，可以选择打断或忽略。

• 若使用AVPlayer开发音频播放功能，则可以调用AVPlayer的on('audioInterrupt')函数进行监听，当收到音频打断事件（InterruptEvent）时，应用需根据其内容，做出相应的调整。

• 若使用AudioRenderer开发音频播放功能，则可以调用AudioRenderer的on('audioInterrupt')函数进行监听，当收到音频打断事件（InterruptEvent）时，应用需根据其内容，做出相应的调整。

AVSession Kit（音视频播控服务）

AVSession Kit简介

能力范围

• 提供音视频统一管控能力，音视频类应用接入AVSession后，可以发送应用的数据（比如正在播放的歌曲、歌曲的播放状态等），用户可以通过系统播控中心、语音助手等应用切换多个应用、多个设备播放。

• 提供音频后台约束能力，音频接入AVSession后，可以进行后台音频播放。此功能需要同时申请后台任务。

亮点/特征

• 投播体验一致
提供音视频统一管控能力，音视频类应用接入AVSession后，可以发送应用的数据（比如正在播放的歌曲、歌曲的播放状态等）。
用户可以通过系统播控中心、语音助手等应用切换多个应用、多个设备播放。

• 规范后台播放管理
通过播控中心，应用后台播放可见可控，音视频应用可统一控制。
系统针对后台播放进行强制管控，未接入AVSession的应用在退到后台时，将会被强制暂停音频播放。解决应用在后台恶意播放，而用户无法找到对应应用无法关闭的问题。

基础概念

• 媒体会话（AVSession）
媒体会话的一端连接被控的音视频应用，另一端连接音视频应用的控制端（如播控中心、语音助手等）。媒体会话提供了音视频应用和音视频应用控制端之间进行信息交换的通道。

• 媒体会话提供方
媒体会话提供方指接入媒体会话的音视频应用。音视频应用接入媒体会话后，需要向媒体会话提供播放的媒体信息，例如播放曲目名称、播放状态等。同时，音视频应用需要通过媒体会话接收控制端发出的控制命令并进行正确响应。

• 媒体会话控制方
媒体会话控制方指接入媒体会话并具有全局管控音视频行为功能的应用，例如系统播控中心、语音助手等。为便于开发者理解，下文将多处使用系统应用播控中心，作为媒体会话控制方举例。播控中心等系统应用接入媒体会话后，可以通过监听媒体会话获取最新的媒体信息，也可以通过媒体会话向音视频应用发出控制命令。

• 媒体会话控制器（AVSessionController）
媒体会话控制器的持有者，一般指媒体会话控制方，可以控制媒体会话提供方的应用播放行为，也可以获取应用的播放信息，还可以监听音视频应用播放状态的变化，用于确保媒体会话信息在音视频应用和播控中心之间的同步。

• 媒体会话管理器（AVSessionManager）
媒体会话管理器提供了管理媒体会话的能力，可以创建媒体会话、创建媒体会话控制器、发送系统控制事件，也支持对媒体会话的状态进行监听。

媒体会话交互过程

• 本地媒体会话
本地媒体会话在本地设备中的媒体会话提供方和媒体会话控制方之间建立连接，实现系统中音视频应用统一的媒体播放控制和媒体信息显示。

• 分布式媒体会话
分布式媒体会话在跨设备场景中的媒体会话提供方和媒体会话控制方之间建立连接，实现音视频应用跨设备的媒体播放控制和媒体信息显示。例如，将设备A中播放的内容投播到设备B，并在设备B中进行播放控制。

约束和限制

与相关Kit的关系

图片

图片开发概述

相关概念

• 图片解码

• PixelMap

• 图片处理

• 图片编码

开发流程

图片解码

图像变化

位图操作

图片编码

图片工具

Camera Kit（相机服务）

Camera Kit简介

开发场景

开发模型

• 相机设备调用摄像头采集数据，作为相机输入流。

• 会话管理可配置输入流，即选择哪些镜头进行拍摄。另外还可以配置闪光灯、曝光时间、对焦和调焦等参数，实现不同效果的拍摄，从而适配不同的业务场景。应用可以通过切换会话满足不同场景的拍摄需求。

• 配置相机的输出流，即将内容以预览流、拍照流或视频流输出。

开发准备