联系我们

小丸工具箱官方网站

小丸工具箱视频压制后音画不同步(小丸工具箱怎么转音频格式)

发布者:小丸工具箱发布时间:2022-09-14访问量:149

七牛直播云在 2016 年 6 月发布之后小丸工具箱视频压制后音画不同步,帮助广大客户解决过形形色色的问题,如直播卡顿、马赛克、花屏、黑屏、杂音、音画不同步等等等等,这其中,有一些是网络原因,有一些是开发者的使用姿势问题,有一些是参数配置错误,当然,也有一些是 SDK 本身的问题。

总结下来,如果开发者能够对直播领域的一些基础知识有更深入的小丸工具箱视频压制后音画不同步了解,掌握一些基本的排障手段,很多问题是能够很快自行解决的,甚至也能够更好地防患于未然。

因此,继《直播技术详解》系列文章之后,我们推出了这个新的系列《直播疑难杂症排查》,我们会把协助客户解决直播问题的经验逐步分享出来,同时也会穿插一些音视频开发的基础知识和优化经验,希望能够帮助到直播领域的开发者们。

本系列会涵盖的内容包括但不限于如下一些主题小丸工具箱视频压制后音画不同步

播放失败

直播卡顿

首开慢

延时高

音画不同步

马赛克严重

播放黑屏、花屏、绿屏

播放杂音、噪音、回声

点播拖动不准

直播发热问题

其他问题(待续)

展开全文

播放失败

直播卡顿

首开慢

延时高

音画不同步

马赛克严重

播放黑屏、花屏、绿屏

播放杂音、噪音、回声

点播拖动不准

直播发热问题

其他问题(待续)

第一篇文章我们从播放开始,因为观看直播最重要的一个环节就是打开播放器,很多问题的直接反馈也是来自观众端。

导致播放失败的原因有很多种,不一定是播放器本身的问题,不过通过播放器,我们很容易反过来排查服务端或者推流端的问题。下面我们会从播放失败的表现、播放问题排查工具、常见问题分析等多个方面展开讨论。

播放失败的表现

播放失败的表现总结下来包括但不限于以下这些:

界面上一直显示「加载中」,或者提示播放失败的错误小丸工具箱视频压制后音画不同步

播放画面卡死不动,但 UI 按钮可以点击;

有声音没有画面,有画面没有声音。

这里并不讨论如播放卡顿、音画不同步、马赛克、延时、花屏等问题,这些话题,我们将会在后续的文章中探讨,本文重点关注的是:为啥无法顺利 「打开」 直播流 ?

播放问题的排查工具

一旦我们遇到视频播放不了,第一件事,就是要找几个别的播放器也播放看看,做一下对比测试,或者对码流做一些基础分析,以便更好地定位问题的源头,各个平台比较常见的播放/分析工具有如下几个:

命令行工具:ffplay、ffprobe、mediainfo、hls-analyzer 等

网页端工具

http://www.cutv.com/demo/live_test.swf

http://www.ossrs.net/players/srs_player.html

App 应用:VLC,VPlayer,MXPlayer 等

Windows 工具:mp4info、FlvParse、FLVMeta、Elecard StreamEye Studio 等

命令行工具:ffplay、ffprobe、mediainfo、hls-analyzer 等

网页端工具

http://www.cutv.com/demo/live_test.swf

http://www.ossrs.net/players/srs_player.html

App 应用:VLC,VPlayer,MXPlayer 等

Windows 工具:mp4info、FlvParse、FLVMeta、Elecard StreamEye Studio 等

常见播放失败问题排查

基础概念

从给播放器传入播放地址,到播放画面显示出来,一般有如下几个步骤:

DNS 解析,将播放地址中的域名解析为对应的服务器 IP 地址;

连接服务器,完成 http 请求或者 rtmp 握手过程;

接收服务器发送的数据,解协议解封装,拿到音视频数据解码播放。

任何一个环节出了问题,都有可能导致播放失败,不同的协议,由于协议层原因,播放报错往往不太一样,我们下面的讨论,主要以 RTMP/HTTP 这两种协议为主,假设正常的播放测试地址如下:

香港卫视的 RTMP 直播流:rtmp://live.hkstv.hk.lxdns.com/live/hks

W3C School 的测试 mp4 流:http://www.w3school.com.cn/i/movie.mp4

香港卫视的 RTMP 直播流:rtmp://live.hkstv.hk.lxdns.com/live/hks

W3C School 的测试 mp4 流:http://www.w3school.com.cn/i/movie.mp4

域名解析失败

如果播放地址的域名无法解析,会导致播放失败,一般断网了或者域名无效,则播放的时候,会有类似如下报错:

$ffplay rtmp://live.hkstv.hk.lxdns.com1/live/hks

Failed to resolve hostname live.hkstv.hk.lxdns.com1: nodename nor servname provided, or not known

Failed to resolve hostname live.hkstv.hk.lxdns.com1: No address associated with hostname

当然,如果有网络,但是域名解析失败,一般 ISP 运营商可能会返回一些类似 404 页面,或者跳转到其他的默认网页,因此,对于 HLS,HTTP-FLV,HTTP-mp4 等码流,会因为读到一些「脏数据」从而返回一些其他的错误,例如:

$ ffplay http://www.w3school2.com.cn1/i/movie.m3u8

http://www.w3school2.com.cn1/i/movie.m3u8: Operation timed out

$ ffplay http://www.w3school2.com.cn1/i/movie.mp4

http://www.w3school2.com.cn1/i/movie.mp4: Invalid data found when processing input

遇到这类错误,一般可以通过 ping 一下域名试试,看看是否可以 ping 通,如果 ping 不通,则可能要检查下域名解析的配置了。

服务器连接失败

如果域名正确,并且有网络连接的状态,多半是可以正常解析出服务器 ip 地址的,但是依然有连接失败的可能,比如,这台服务器相应的服务挂掉了,或者并没有在相应的端口提供服务,从而导致播放器连接失败,类似问题的报错如下:

$ ffplay rtmp://www.jhuster.com/live/hks

Cannot open connection tcp://www.jhuster.com:1935

rtmp://www.jhuster.com/live/hks: Operation timed out

因为 www.jhuster.com 对应的服务器并没有提供 rtmp 拉流服务,因此通过 1935 连接该服务器会失败。

$ ffplay https://www.w3school.com.cn/i/movie.mp4

Connection to tcp://www.w3school.com.cn:443 failed: Connection refused

因为 www.w3school.com.cn 并不支持 https 访问,因此通过 443 接口请求 https 连接失败。

当然,也有可能是这台服务器虽然提供了 rtmp 拉流服务但是宕机了,因此,我们需要通过 dig 命令确定最终访问的是哪一台服务器,并排查下该服务器为什么无法连接,当然,最好是修改下 ffpmeg 源码,把解析出来的服务器 IP 地址打印出来,这样就可以直接看到所连接的服务器地址了。

请求的资源不存在

对于 http 协议的直播地址,请求的播放资源不存在,返回的错误还是比较快的,比如:

$ ffplay http://jhuster.com/live/hks.mp4

http://jhuster.com/live/hks.mp4: Server returned 404 Not Found

$ ffplay http://www.w3school2.com.cn/i/movie2.mp4

http://www.w3school2.com.cn/i/movie2.mp4: Invalid data found when processing input

注:由于读到 ISP 运营商返回的跳转页面的 「脏数据」,因此也有可能返回上面这种错误。

而 RTMP 直播协议,跟 HTTP 协议的播放,有着一个很大的不同,就是播放器请求的数据,并不一定 「存放」在服务器,因此,服务器无法简单通过 URI 定位不到则返回 404,这些数据可能是在 RTMP 握手之后,由生产端逐步产生并由服务器转发到客户端,因此很难简单判断说 「资源不存在」。

通常 RTMP 协议的直播流,如果推流端没有推流了,播放器这边一般是读数据超时后才会返回错误,例如:

$ ffplay rtmp://live.hkstv.hk.lxdns.com/live/hks1

rtmp://live.hkstv.hk.lxdns.com/live/hks1: Input/output error

不支持的格式

视频流的采用的网络协议、编码格式、封装格式有很多种,网络协议比如 http/https/rtmp/rtsp 等等,编码格式比如 h.264,mpeg4,aac,speex 等等,封装格式比如 flv,mp4,avi,rmvb 等等,这些协议和格式的流,都是需要播放器专门添加支持的,因此,播放器遇到不支持的协议或者格式,也会导致播放失败,如下所示:

https://www.jhuster.com/xxxx.mp4 Protocol not found

https://www.jhuster.com/xxxx.rmvb Invalid data found when processing input

只有音频没有视频,或者只有视频没有音频

出现该错误的原因可能有如下几点:

音频/视频的编码格式不支持,导致解码失败

音频/视频的数据内容异常,导致解码失败

基于 ffmpeg 的播放器的 `probesize` 设置太小,导致解析码流信息不足

码流/文件本身的前半段只有音频没有视频,或者只有视频没有音频

这个问题播放启动流程已经完成,只是出现了画面缺失、或者音频缺失,也算是一种播放失败,限于本文篇幅,该问题后面会抽出专门的章节来分析。

其他播放失败

上面只分析了常见的播放失败问题,其实导致播放失败的原因还有很多种,这里无法一一都列出来,不过通过 ffplay 的报错,就可能知道大概的原因,再联合服务端一起调试调试,一般都是可以找到根本原因的。下面是 ffmpeg 常见的错误分类:

http://ffmpeg.org/doxygen/trunk/error_8h_source.html