默认
即时通讯网 资讯 [动态] 实时音视频云Agora.io声网2.3.2版发布
即时通讯网 首页 资讯 查看内容
想开发IM:买成品怕坑?租第3方怕贵?找开源自已撸?尽量别走弯路了... 找站长给点建议

[动态] 实时音视频云Agora.io声网2.3.2版发布

JackJiang · 5 年前 | 阅读(15502)· 评论(0) 转发 收藏

摘要 声网SDK 2.3.2版于2019年01月17日发布。声网 Agora.io 是为 App 开发者提供全球范围实时音视频通信服务的云服务商.

1、简介

以下是来自声网官方网站的介绍:

声网 Agora.io 是首家为 App 开发者提供全球范围实时音视频通信服务的服务商,在全球部署了近 100 个数据中心,搭建 SD-RTN™(Software Defined Real Time Network)这个专为「实时」所设计的虚拟通信网,来极大优化全球范围内的实时传输。声网Agora.io 为开发者提供有质量保证 QoE 的实时云服务。

声网 Agora.io 于 2014 年成立,隶属于上海兆言网络科技有限公司,总部位于硅谷,研发中心位于上海。团队 90% 均为全球技术工程师,包括苹果Apple 视频算法架构师、Vidyo 产品负责人、Polycom 工程总监等,平均行业经验 10 年以上,团队有年服务数千亿分钟音视频通话经验和千万级并发的互联网直播经验。

2、更新内容

声网 Agora SDK 2.3.2 已经正式上线,开发者们可以在官网「下载」中找到各系统、平台对应的版本。我们在这次版本中有多项新增功能及优化,可全行业场景的实时互动体验带来提升,尤其针对在线教育的多个场景进行了优化。

本次升级针对音视频处理增加了多个新接口。随着新版本的上线,我们也在网络抗丢包、动态自适应、抗抖动策略等网络层方面进行了优化,针对全行业场景的网络传输质量均得到了提升。在抗丢包方面,优化的前向纠错,丢包边界提升了约10%我们还提升 iOS 低端设备和Windows设备上的 SDK 性能,优化比率约20% - 30%。接下来,我们详细看一下本次的新增接口、功能改进。

新增功能

1.Windows 新增视频自采集

为方便开发者在通话或直播中使用外部视频数据,此次新增两个接口:

  • setExternalVideoSource:配置外部视频源

  • pushVideoFrame: 它会通过ExternalVideoFrame推送外部视频帧给 Agora SDK

支持在推流端进行视频自采集。启用后,应用程序将外部的视频帧数据推送给 Agora SDK 进行编码和传输。该方法适用于用户在发送端自己做采集、渲染,然后把视频帧发送给 Agora SDK 进行编码和传输的场景。开发者可以拿到裸数据后做前处理。

2.移动端前置摄像头曝光与对焦

当用户在视频通话或直播连麦时,可以通过点击屏幕来调整对焦、曝光,可以带来更好的体验。2.3.2版本新增如下接口,支持对兴趣点自动曝光功能。开发者可以将需要自动曝光的区域位置发送给  Agora SDK,摄像头会基于该区域自动曝光。

  • isCameraExposurePositionSupported:检查设备前置摄像头是否支持手动调整曝光位置

  • setCameraExposurePosition:设置手动曝光的位置,会通过positionXinViewpositionYinView两个参数分别表示触摸点相对于视图的横、纵坐标

  • onCameraExposureAreaChanged:摄像头曝光区域已更改时会有回调

3.Windows 与 Mac 端新增自定义视频源画质

为了提升自定义视频源的画质,并可以更好地满足多种需要调整画面大小的场景,新版本引入了setVideoEncoderConfiguration可用来替换原setVideoProfile接口,设置视频编码属性。该新接口中的VideoEncoderConfiguration类对应一套视频参数,包含视频的分辨率、帧率、码率、最低编码码率 以及视频方向。原接口 setVideoProfile 仍可使用。

4. Windows 端支持音频自渲染

为了给开发者灵活的开发体验,Windows SDK 新版本开始支持音频自渲染。启用后,应用程序会采用主动拉取的方式从音频引擎拉取远端已解码混音后的音频帧,用于外部音频播放。

  • setExternalAudioSink: 设置外部音频自渲染,可以将采样率设置为 8KHz、16KHz、32KHz、44.1KHz 或 48KHz。

  • pullAudioFrame:拉取音频帧用于外部播放

5.新增虚拟声卡采集

新版本在enableLoopbackRecording接口中新增参数 deviceName,支持用户使用虚拟声卡进行采集,相对之前版本,能让人声与背景音乐合成后的音质效果更好。请注意,当该参数 NULL 时默认使用当前声卡采集。如需使用虚拟声卡,直接使用虚拟声卡的产品名传参即可。

6.控制音乐文件的播放音量

为方便用户控制混音音乐文件的播放音量,新版本在已有adjustAudioMixingVolume的基础上新增adjustAudioMixingPlayoutVolumeadjustAudioMixingPublishVolume接口,用于分别控制混音音乐文件在本地和远端的播放音量。该版本梳理了用户在音频采集到播放过程中可能会需要调整音量的场景,及各场景对应的 API,供用户参考使用。详见官网文档「调整通话音量」部分。

网络传输质量优化

与此同时,我们在这段时间,还进一步优化了网络传输质量,例如在抗丢包方面,优化的前向纠错与自动重传特性,丢包边界提升了约10%。我们还在原基础上优化了动态自适应算法,进一步降低视频卡顿的发生几率。针对音频传输,本阶段还优化了抗抖动策略,改进音频的延迟与质量。

更多改进与优化

  • 音乐文件音量控制:adjustAudioMixingVolume接口基础上新增adjustAudioMixingPlayoutVolumeadjustAudioMixingPublishVolume接口,用于分别控制混音音乐文件在本地和远端的播放音量。

  • 改进网络连接状态生成策略:新增getConnectionStateonConnectionStateChanged接口,用以获取 SDK 的网络连接状态,以及连接状态发生改变的原因。废弃了原有的onConnectionInterruptedonConnectionBanned回调。

  • 改进音频质量数据统计:增加onRemoteAudioStats,替换onAudioQuality接口,可提供分段统计音频 E2E 时延,便于开发者查询。

  • 提供更精准的质量报告:优化了onNetworkQuality接口的算法。

  • 优化打分反馈机制:rate接口的打分范围缩小到了1 - 5,方便终端用户为本次通话、直播连麦打分和反馈。

  • 音乐教学场景的音质优化:针对音乐教学等高音质需求场景,进行了音质改进。通过调用setAudioProfile,将 Profile 设置为 MUSIC_HIGH_QUALITY(4),Scenario设置为 GAME_STREAMING(3) 实现。

3、声网链接

官网地址:http://www.agora.io/cn

即时通讯网 - 即时通讯开发者社区! 来源: - 即时通讯开发者社区!

1 推荐

相关阅读

最新评论

返回顶部