RTP、RTCP和RTSP协议基础

Wesley13
• 阅读 1045

1 RTSP概述

1.1 RTSP概念

RTSP(Real-Time Stream Protocol )是一种基于文本的应用层协议,在语法及一些消息参数等方面,RTSP协议与HTTP协议类似。

RTSP被用于建立的控制媒体流的传输,它为多媒体服务扮演“网络远程控制”的角色。RTSP本身并不用于传送媒体流数据。媒体数据的传送可通过RTP/RTCP等协议来完成。

1.2 基本的RTSP操作过程

首先,客户端连接到流服务器并发送一个OPTIONS命令查询服务器提供的方法收到服务器的回应后,发送DESCRIBE命令查询某个媒体文件的SDP信息。流服务器通过一个SDP描述来进行回应,回应信息包括流数量、媒体类型等信息。客户端分析该SDP描述,并为会话中的每一个流发送一个SETUP命令,SETUP命令告诉服务器客户端用于接收媒体数据的端口。流媒体连接建立完成后,客户端发送一个PLAY命令,服务器就开始传送媒体流数据。在播放过程中客户端还可以向服务器发送PAUSE等其他命令控制流的播放。通信完毕,客户端可发送TERADOWN命令来结束流媒体会话。

1.3 RTSP与HTTP的区别

可以发现RTSP协议的格式与http协议很类似,都是基于文本的协议,语法也基本相同。但是它们并不相同,有以下主要差别:

首先,方法名称不同。RTSP新增了DESCRIBE、SETUP、PLAY等方法。

其次,HTTP协议是无状态的协议,方法之间的发送并无明显的次序关系。而RTSP是有状态的协议,各方法存在次序关系。

在者,HTTP协议可以以内带载荷数据的方式传送数据,如网页数据。而RTSP仅仅提供流播放的控制,并不传送流媒体数据。流媒体数据可以通过RTP/RTCP的方式传送。

1.4 RTSP以及RTP等在TCP/IP协议簇中位置

RTP、RTCP和RTSP协议基础

2 RTSP消息


2.1 RTSP消息格式

2.1.1 RTSP请求消息格式

方法名称 URL RTSP版本   回车换行     
     header   回车换行  回车换行
     body     回车换行

注意:方法名称 包括OPTIONS、DESCRIBE、SETUP、PLAY、TEARDOWN等。

URL 是接受方的地址,如:rtsp://192.168.0.1/video1.3gp。

RTSP版本一般是RTSP/1.0

消息的每一行都会以回车换行结尾,为了便于定位识别,消息头header的最后一行有两个回车换行。

消息体body有时是可选的。

2.1.2 RTSP响应消息格式

RTSP版本  状态码  对应文本解释  回车换行    
    header  回车换行  回车换行
    body    回车换行

注音: RTSP版本 一般为RTSP/1.0。

状态码 表示对应消息的执行结果。

部分状态码与文本解释对应列表如下:

状态码 文本解释 含义

“200” OK 执行成功

“400” Bad Request 错误请求

“404” Not Found 未找到

“500” Internal Server Error 服务器内部错误

2.2 RTSP中各方法详细介绍

2.2.1 OPTIONS

Client用OPTIONS来查询Server提供的方法。Server在响应消息的public字段给出自己提供的方法集合。

注意:

1 OPTIONS方法并非必须,Client可以绕过OPTIONS,而直接向server发送其他消息。

2 OPTIONS可以再任何时间发送。有的客户端会定时向服务器发送OPTION消息。而服务器也可以通过是否定时收到OPTIONS消息来判断客户端是否在线。但并不是所有客户端和服务器都这样做。

Server给Client的响应消息的各个字段的含义:

A CSeq字段 请求的序号

客户端的每一个请求都会被赋值一个序号。每个请求消息也会对应一个同样序号的回应消息。

B Public字段 Server给出自己提供的方法的集合。

Client给Server的请求消息的各个字段含义:

A UserAgent字段 用户标识不同公司或是不同的客户端

该域用于用户标识不同公司或是不同的客户端。不同客户端发出的消息中的这个域的内容都不大相同。有时会指明客户端的版本号、型号等等。

Clinet------>Server:
OPTIONS rtsp://10.34.3.80/D:/a.264 RTSP/1.0

CSeq: 2                                                                                              //请求序号

User-Agent: LibVLC/2.0.7 (LIVE555 Streaming Media v2012.12.18)

Server------>Client:
RTSP/1.0 200 OK

CSeq: 2                                                                                              //回复序号

Date: Tue, Jul 22 2014 02:41:21 GMT

Public: OPTIONS, DESCRIBE, SETUP, TEARDOWN, PLAY, PAUSE, GET_PARAMETER, SET_PARAMETER

2.2.2 DESCRIBE

DESCRIBE消息是由客户端发送到服务器端,用于客户端得到请求链接中指定的媒体文件的相关描述,一般是SDP信息。

Server把SDP放在RTSP的响应消息中发给Client。 SDP(Session Description Protocol)包含了会话的描述、媒体编码类型、媒体的码率等信息。对于流媒体服务而言,以下几个域是在SDP中一定要包含的。

“a=control:”
“a=range:”
“a=rtpmap:”
“a=fmtp:”

当一个录像中即包含音频又包含视频时,会有多个上述结构。每个媒体描述以m开始。m行又称媒体行,描述了发送方所支持的媒体类型等信息,需要详细说明下。a行为媒体的属性行,以属性的名称:属性值的方式表示。

音频的m行的格式:

    m=audio 3458  RTP/AVP  0   96   97       第一个参数audio为媒体名称:表明支持音频类型。
    第二个参数3488为端口号,表明UE在本地端口为3458上发送音频流。
    第三个参数RTP/AVP为传输协议,表示基于UDP的RTP协议。
    第四到七个参数为所支持的四种净荷类型编号。
    a=rtpmap:0   PCMU
    a=rtpmap:96  G726-32/8000
    a=rtpmap:97  AMR-WB
    a行为媒体的属性行,以属性的名称:属性值的方式表示。
   格式为:a=rtpmap:<净荷类型><编码名称> 
   净荷类型0固定分配给了PCMU,
   净荷类型96对应的编码方案为G.726,为动态分配的。
   净荷类型97对应的编码方式为自适应多速率宽带编码(AMR-WB),为动态分配的。

视频的m行的格式:

   m=video 3400 RTP/AVP 98  99   第一个参数video为媒体名称:表明支持视频类型。
   第二个参数3400为端口号,表明UE在本地端口为3400上发送视频流。
   第三个参数RTP/AVP为传输协议,表示RTP over UDP。
   第四、五参数给出了两种净荷类型编号
   a=rtpmap:98  MPV
   a=rtpmap:99  H.261
   净荷类型98对应的编码方案为MPV,为动态分配的。
   净荷类型97对应的编码方式为H.261,为动态分配的。

Server给Client的响应消息的各个字段的含义:

A Content-Base字段   指明对某个媒体的描述信息

B Content-Typte字段   请求类型

C Content-Length字段  SDP的长度(因为这里的body中)

Client给Server的请求消息的各个字段含义:

A Accept字段  用于指定客户端可以接受的媒体描述信息类型,此处为SDP信息。

2.2.3 SETUP

SETUP消息用于确定转输机制,建立RTSP会话。

注意:客户端也可以在建立RTSP后再次发出一个SETUP请求为正在播放的媒体流改变传输参数,服务器可能同意这些参数。若不同意,会回应 "455 Method Not Valid In This State"。

Server给Client的响应消息的各个字段的含义:

A Transport字段 由服务器确认后的传输参数

Client给Server的请求消息的各个字段含义:

A Transport字段 客户端可接受的数据传输参数

如果该请求不包含SessionID,则服务器会产生一个SessionID。

例子1:使用RTP over UDP方式

Client-------------->Server:
SETUP rtsp://10.34.3.80/D:/a.264/track1 RTSP/1.0   //track1表示对1号通道进行设置

CSeq: 4

User-Agent: LibVLC/2.0.7 (LIVE555 Streaming Media v2012.12.18)   //客户端版本信息

Transport: RTP/AVP;unicast;client_port=60094-60095       //约定传输参数 RTP/AVP表示采用RTP over UDP, unicast表示单播,用以区别组播。Client_port约定客户端RTP端口为60094,RTCP端口为60095

Server-------------->Client:
RTSP/1.0 200 OK

CSeq: 4

Date: Tue, Jul 22 2014 02:41:25 GMT

Transport: RTP/AVP;unicast;destination=10.34.3.80;source=10.34.3.80;client_port=60094-60095;server_port=6970-6971 //服务器端所指定的传输参数
这里要注意:RTP用偶数端口,RTCP为相邻的奇数端口
Session: 54DAFD56;timeout=65    //SessionID

例子2: 使用RTP over TCP方式

CLient--------------->Server: request 消息
SETUP rtsp://10.34.3.80/D:/a.264/track1 RTSP/1.0   //track1表示对1号通道进行设置
CSeq: 4
User-Agent: LibVLC/2.0.7 (LIVE555 Streaming Media v2012.12.18)  
Transport: RTP/AVP/TCP;unicast;interleaved= 0-1
SETUP命令的Transport字段为RTP/AVP/TCP,同时多了一个interleaved=0-1字段。
由于RTP over TCP将RTP包和RTCP包发至同一个TCP端口,
因此使用interleaved的值来区分到底是RTP还是RTCP包。I
nterleaved=0表示RTP包,interleaved=1表示RTCP包。

Server--------------->Client:response 消息
RTSP/1.0 200 OK
CSeq: 4
Date: Tue, Jul 22 2014 02:41:25 GMT
Transport: RTP/AVP/TCP;interleaved=0-1
Session: 54DAFD56;timeout=65

2.2.4 PLAY

PLAY方法通知服务器按照SETUP中指定的机制开始传送数据。服务器会从PLAY消息指定范围的开始时间开始传送数据,直到该范围结束。

注意:服务器可能会将PLAY请求放到队列中,后一个PLAY请求需要等待前一个PLAY请求完成才能得到执行。

Client给Server的请求消息的各个字段含义:

A Range字段 指定了播放开始的时间。

如果在这个指定时间后收到消息,那么播放立即开始。不含Range头的PLAY请求也是合法的,此时将从媒体流开始位置播放,直到媒体流被暂停。如果媒体流通过PAUSE暂停,媒体流传输将在暂停点继续传输。如果媒体流正在播放,那么该PLAY请求将不起作用。客户端可以利用此来测试服务器是否存活。

例子:

Client----------->Server:
PLAY rtsp://10.34.3.80/D:/a.264/ RTSP/1.0
CSeq: 5
User-Agent: LibVLC/2.0.7 (LIVE555 Streaming Media v2012.12.18)
Session: 54DAFD56                 //SessionID,SETUP回应中返回
Range: npt=0.000-   /                /指定开始播放的时间
Server----------->Client:
RTSP/1.0 200 OK
CSeq: 5
Date: Tue, Jul 22 2014 02:41:25 GMT
Range: npt=0.000- 
Session: 54DAFD56
RTP-Info: url=rtsp://10.34.3.80/D:/a.264/track1;seq=10244;rtptime=2423329550  //RTP信息
Url字段为RTP参数对应的流媒体链接地址,seq字段为流媒体第一个包的序列号,rtptime为range域对应的RTP时间戳

2.2.5 PAUSE

PAUSE消息通知服务器暂停流传输的传输。

如果请求URL中指定了具体的媒体流,那么只有该媒体流的播放被暂停。可以指定仅暂停音频,此后的播放将会静音。

如果请求URL指定了一组流,那么在该组中的所有流的传输将被暂停。

注意:服务器有可能不支持PAUSE消息。例如,实时流就有可能不支持暂停。当一个服务器不支持某一个消息时,会回应给客户端“501 Not Implemented”。

Client给Server的请求消息的各个字段含义:

A Range字段(可选)  用来指定媒体流暂停的时间点,称之为暂停点。

这里的Range头必须包含一个精确的值,而不是一个时间范围。如果Range头指定了一个时间超出了PLAY请求的范围,服务器将将返回"457 Invalid Range" 。如果Range头缺失,那么在收到暂停消息后媒体流传输立即暂停,并将暂停点设置成当前播放时间。

2.2.6 TEARDOWN

TEARDOWN请求终止了给定URL的媒体流传输,并释放了与该媒体流相关的资源。

3 RTP、RTCP协议

3.1 RTP协议

1 RTP概述

RTP是实时传输协议(Real-Time Transport Protocol)的缩写,是针对多媒体数据流的实时传输协议。

通常建立在UDP协议之上,也可以建立在TCP协议之上。有人将其归为应用层协议,也有人将其归为传输层协议,这都是可以的。

Rtp协议提供了时间戳和序列号。发送端在采样时设置时间戳,接收端收到后,会按照时间戳依次播放。RTP本身只保证实时数据的传输,并不能为按顺序传送的数据包提供可靠的传送机制,也不提供流量和拥塞控制,它依靠RTCP来提供这些服务。

2 RTP报文格式

RTP、RTCP和RTSP协议基础

版本号(V):0-1  2b 用来标识使用的RTP版本。

填充位(P):2  1b 如果该位被置为1,则RTP包的尾部会跟附加的填充字节。

扩展位(X):3 1b 如果该位被置为1,则RTP包的尾部会跟附加扩展帧头。

CSRC计数器(CC): 4-7 4b 固定头部后跟着的CSRC数目。

标记位(M): 8 1b 该位的解释由配置文档解释。

载荷类型(PT):9-15 7b标识RTP载荷的类型。

序列号(SN): 16- 31 16b发送方在发送完每一个RTP包后会将该域 的值加1,接收方可以通过检测序列号来判断是否出现RTP丢包现象。注意:序列号的初始值是随机的。

时间戳:32 32b 该包中第一个字节的采样时刻。时间戳有一个初始值,随着时间的流逝而不断增加。即使此时没有包被发出,时间戳也会不段增加。时间戳是实现去除抖动和实现同步必不可少的。

SSRC:同步源标识符: 32b  RTP包的来源,在同一个RTP会话中不能 有两个相同的SSRC值。该字段是根据一定的算法随机生成。

CSRC List:贡献源列表 0-15个,每项32b 用来标识对一个RTP混合器产生的新包有贡献的所有RTP包的源。

3.2 RTCP协议

1 RTCP协议概述

RTCP是实时控制协议(Real-Time Control Protocol)的缩写。RTCP通常与RTP配合使用,用以管理传输质量在当前进程之间的交换信息。

在RTP会话期间,各参与者周期性的传送RTCP包,RTCP包中包含已发送数据包的数量、丢失的数据包的数量等统计资料。服务器可以利用这些信息动态的改变传输速率,甚至改变有效载荷的类型。

RTP和RTCP配合使用,可以有效且以最小的开销达到最佳传输效率,非常适合传送实时流。

2 RTCP协议的端口以及五种包

RTSP通常使用RTP协议来传送实时流,RTP一般使用偶数端口,而RTCP使用相邻的奇数端口,即RTP端口号+1。

在RTCP通信控制中,RTCP协议的功能是通过不同类型的RTCP包来实现的。RTCP也是基于UDP包来传送的,主要有五种类型的封包:

1.SR:发送端报告,由发送RTP数据报的应用程序或中端发出的。

2.RR:接收端报告,由接受但不发送RTP数据报的应用程序或中端发出。

3.SDES: 源描述,传递与会话成员有关的标识信息的载体,如用户名、邮件、电话等。

4.BYE: 通知离开,通知回话中的其他成员将退出会话。

5.APP: 由应用程序自己定义,作为RTCP协议的扩展。

3 RTCP协议报文格式

RTP、RTCP和RTSP协议基础

版本(V):同RTP包头部

填充(P) :同RTP包头部。

接收报告计数器(RC):5b 该SR包中接收的报告块的数目。

包类型(PT): 8bit SR包类型为200

长度(length):SR包以32bit为1单位的长度减1

同步源(SSRC):SR包发送的同步源标识符。与对应RTP包中的SSRC一样。

NTP时间戳(Network Time Protocol):SR包发送时的绝对时间。用于同步不同的流。

RTP时间戳:与NTP时间戳对应,与RTP包中的时间戳具有相同的初始值。

Send’s Packet count:从开始发包到产生这个SR包的这段时间内发送者发送的有效数据的总字节数,不包括头部和填充,发送者改变SSRC时,该域要清零。

同步源n的SSRC标识符:该报告中包含的是从该源接收到的包的统计信息。

丢失率:表明从上一个SR或RR包发出依来从同步源n发送的RTP包的丢失率。

累计丢失数据:从开始接受SSRC_n的包到发送SR这个时间段内SSRC_n发送的RTP丢失的总数目。

收到的扩展最大序列号:从SSRC_n收到的从RTP数据包中的最大序列号。

接收抖动(Interarrival jitter):RTP数据包接收时间的统计方差估计。

上次SR时间戳(Last SR):取最近从SSRC_n收到的SR包中的NTP时间戳中的中间32bit。如果还未收到SR包,则为0。

上次依赖SR延迟(Delay since Last SR):从上次SSRC_n收到SR包到发送本包的延迟

4 音视频同步


传送的音频和视频流位于两个不同的RTP会话中,每个RTP包均有自己的时间戳,同时RTCP包中的NPT字段(Network Protocol Time)保存的绝对时间可以用来将音视频映射到同一时间轴上,从而实现音视频同步。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
2年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
2个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这