Chrome下使用WebRTC实现屏幕共享

响应式编程
• 阅读 6835

概述

屏幕共享就是将自己电脑的屏幕内容以视频的方式分享给其他人观看,以提高沟通效率。屏幕共享作为一种实现互动的方式,经常出现在用户的生活场景中,比如:

  • 视频会议中,屏幕共享可以将讲话者本地的文件、数据、网页、PPT 等画面分享给其他与会人。
  • 在线课堂场景中,屏幕共享可以将老师的课件、笔记、讲课内容等画面展示给学生观看。

那么如何能够简单方便的实现屏幕共享呢?本篇文章将详细介绍如何在Chrome下使用WebRTC快速实现屏幕共享。

屏幕共享实现

 屏幕共享大致可以分为屏幕流捕捉,流传输和屏幕流渲染。

  • 屏幕流捕捉:可以使用Chrome提供的getDisplayMedia方法来捕获屏幕流,为流传输提供数据。
  • 流传输:使用WebRTC来将数据传输给服务器或者另一个客户端,因WebRTC提供的低延迟和抗弱网等能力可以保证很好的用户体验,所以是一个非常合适的选择
  • 屏幕流渲染:可以使用Canvas或者Video来渲染播放,本篇文章中使用Video元素来渲染播放。

一些准备

Windows 10系统
Chrome 93(注意本篇文章使用了Chrome提供的api来捕获屏幕流,此api需要Chrome 72及以上版本)
准备一个html文件,编写另个video标签,一个用来播放本地捕获的屏幕共享流,一个用来渲染播放远端传输过来的屏幕共享流

<div id="videos">

<div class="video-container">
    <h2>本地捕获的屏幕共享流</h2>
    <video id="srcVideo" playsinline controls muted loop class="srcVideo">

    </video>
</div>
<div class="video-container">
    <h2>远端传输过来的屏幕共享流渲染</h2>
    <video id="shareStreamVideo" playsinline autoplay muted class="shareStreamVideo"></video>
</div>

</div>

  • 准备一个js文件用来编写屏幕共享的逻辑,并且在之前准备的html文件引入。

屏幕流捕获

捕获屏幕流可以使用navigator.mediaDevices.getDisplayMedia(displayMediaOptions)方法获取,此方法为异步方法,会将屏幕流包装成一个Promise对象,解析Promise后会返回一个MediaStream对象,我们可以从这个对象中取出视频或者音频Track进行流传输。

const srcVideo = document.getElementById('srcVideo');
const shareStreamVideo = document.getElementById('shareStreamVideo');

let srcStream;
let shareStream;
// 定义捕获流的参数
let displayMediaOptions = {
  video: {
    width: {max: 1280},
    height: {max: 720},
    frameRate: {ideal: 15}
  }
};
navigator.mediaDevices.getDisplayMedia(option).then(stream => {
  srcStream = stream;
  srcVideo.srcObject = stream;
  srcVideo.play();
  // 传输流
  call();
});`

可以看到,捕获流的时候能够设置不同的参数来获取能够满足我们需要的流。这里我们设置捕获一个1280*720分辨率,15帧的屏幕流。

流传输与渲染

在我们进行流传输之前,先科普一个概念,针对屏幕共享流的传输,根据共享内容的不同,我们一般会分为两个模式:

清晰度优先 针对一些静态文件的分享,比如PTT,笔记和一些展示文本为主的场景下适用此种模式。此种模式可以保证在网络情况不好的情况下,依然不会降低分辨率,保证画面有一个比较好的清晰度。但与此同时可能会降低帧率,导致看起来比较卡顿。
流畅度优先 针对一些动态画面的分享,比如视频,动态网页等场景下适用于此模式。此种模式可以保证在网络情况不好的情况下,尽量保证共享画面不会出现中断和卡顿,帧率也不会降低。但同时可能降低码率和分辨率,导致画面的清晰度无法保证。
 说到这里告诉大家一个好消息,WebRTC已经给我们提供了设置这两种传输模式的方式,那就是通过MediaStreamTrack的contentHint属性设置,我们来置一下

function setVideoTrackContentHints(stream, hint) {
  const track = stream.getVideoTracks()[0];
  if ('contentHint' in track) {
    track.contentHint = hint;
    if (track.contentHint !== hint) {
      console.log('Invalid video track contentHint: \'' + hint + '\'');
    }
  } else {
    console.log('MediaStreamTrack contentHint attribute not supported');

  }
}

function call() {
    // 克隆流
  shareStream = srcStream.clone();
  // "detail"设置清晰度优先(也可使用"text"),如果需要设置流畅度优先,使用"motion"
  setVideoTrackContentHints(shareStream, 'detail');
   // 建立PeerConnection
  establishPC(shareStreamVideo, shareStream);
}

接下来我们创建PeerConnection,并且传输流。之后模拟接收流后去渲染。我们这里会创建两个PeerConnection来模拟两个客户端。

function establishPC(videoTag, stream) {
   // 创建两个PeerConnection模拟两个客户端,pc1相当于本地,pc2相当于远端
  const pc1 = new RTCPeerConnection(null);
  const pc2 = new RTCPeerConnection(null);
  pc1.onicecandidate = e => {
    // 可以理解为通知pc2连接pc1的地址
    onIceCandidate(pc1, pc2, e);
  };
  // 可以理解为通知pc1接pc2地址
  pc2.onicecandidate = e => {
    onIceCandidate(pc2, pc1, e);
  };
  //  将需要传输的流添加给PeerConnection
  stream.getTracks().forEach(track => pc1.addTrack(track, stream));
    // 设置offer和answer,可理解为通知两边另一边的编解码等媒体信息
    pc1.createOffer(offerOptions)
    .then(desc => {
    pc1.setLocalDescription(desc)
    .then(() => pc2.setRemoteDescription(desc))
    .then(() => pc2.createAnswer())
    .then(answerDesc => onCreateAnswerSuccess(pc1, pc2, answerDesc))
    .catch(onSetSessionDescriptionError);
    })
    .catch(e => console.log('Failed to create session description: ' + e.toString()));
  //  远端接收到流,交给video去播放
    pc2.ontrack = event => {
    if (videoTag.srcObject !== event.streams[0]) {
      videoTag.srcObject = event.streams[0];
    }
  };

}

function onSetSessionDescriptionError(error) {
  console.log('Failed to set session description: ' + error.toString());
}

function onCreateAnswerSuccess(pc1, pc2, desc) {
  pc2.setLocalDescription(desc)
    .then(() => pc1.setRemoteDescription(desc))
    .catch(onSetSessionDescriptionError);
}

function onIceCandidate(pc, otherPc, event) {
  otherPc.addIceCandidate(event.candidate);
}

至此我们代码就写完了,来看看效果怎么样
Chrome下使用WebRTC实现屏幕共享

选择需要共享的内容后,正常的共享了选择的内容
Chrome下使用WebRTC实现屏幕共享
Chrome下使用WebRTC实现屏幕共享

总结

 至此我们就介绍完了如何简单的在Chrome上实现屏幕共享功能,但是在实际使用场景会更复杂,比如声音的共享,与android和ios端等其他类型终端实现屏幕共享,复杂网络下的网络穿透以及各端的兼容性处理。对于这些问题唐桥WebRTC 团队经过大量的开发测试,已经提供了一整套的解决方案,迎大家来了解使用。唐桥WebRTC 团队也会持续跟大家分享音视频方面有意思的技术问题,欢迎大家指正和交流。

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
美凌格栋栋酱 美凌格栋栋酱
7个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
Jacquelyn38 Jacquelyn38
4年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
WeiSha100 WeiSha100
3年前
直播课堂系统搭建源码
这是一个直播课堂源码,在线直播教学,师生互动零距离,弹性带宽,可满足千人在线,除了有直播课堂,还有在线学习,刷题,考试以及支付功能。源码完整,搭建起来比较简单,可二次开发,源码及文档分享给大家。测试功能如下,除了有直播功能,其他功能也挺全的,可以下载源码搭建研究哦1、直播课堂:可以屏幕共享,电子白板,文字交流,过程录制可上传对应章节转为点播回放,直播课时可设
Wesley13 Wesley13
3年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Stella981 Stella981
3年前
IBC+Palette 实现屏幕内容编码优化
在屏幕内容编码中采用IBCPalette编码技术可显著提升其压缩效率。本文主要介绍了腾讯屏幕内容编码优化技术探索与实践:加入IBCPalette编码工具集,并针对屏幕内容优化ME模块等。本文由腾讯音视频实验室视频编码技术负责人,王诗涛在LiveVideoStack线上分享中的演讲内容整理而成。文/王诗涛整理/LiveVideo
WeiSha100 WeiSha100
3年前
【职业技能提升】职业技能培训在线学习系统2022版.net源码
分享一个职业技能培训在线学习系统,可以做会计培训,育婴师,心理咨询师培训等,功能完整:点播,直播,刷题,考试,在线支付,分销功能都有,亲测好用。分享给想转型线上职业技能培训的老师们。后台的功能有很多,以下是测试过的一些功能,更多功能可以自行下载研究哦1、点播:支持在线点播,可以上传课件,图文资料2、直播:视频直播课程,通过电子白板,屏幕共享,音视频直播等还原
公孙晃 公孙晃
2年前
Macos显示器校准工具:BetterDisplay Pro for Mac 支持M1
是一款Mac电脑上的高级屏幕调整工具,它可以帮助用户优化和调整Mac电脑的屏幕显示效果,提高用户的使用体验。BetterDisplayPro的主要特点如下:多种屏幕调整选项:BetterDisplayPro提供了多种屏幕调整选项,包括亮度、对比度、色彩、饱
铁扇公主 铁扇公主
1年前
快速捕捉屏幕上的任何内容就选 Snagit 最新中文
Snagit是一款屏幕截图和视频录制软件,它可以帮助用户快速捕捉屏幕上的任何内容,并将其编辑、标注和共享。以下是Snagit的特点:多种截图模式:支持全屏截图、窗口截图、区域截图、延时截图等多种截图模式,满足不同用户的需求。视频录制:除了截图,Snagit
铁扇公主 铁扇公主
1年前
Mac平台优秀屏幕录屏软件:ScreenFlow 汉化介绍+安装教程
ScreenFlow是一款功能强大的屏幕录制和视频编辑软件,专为Mac用户设计。它可以帮助用户轻松录制Mac电脑屏幕、麦克风声音、摄像头视频等,并进行高质量的视频编辑和导出。ScreenFlow的核心功能包括屏幕录制和视频编辑。在屏幕录制方面,Screen
WeiSha100 WeiSha100
3年前
【学习提升】成人类培训在线学习系统2022最新版.net源码
内容介绍:分享一个成人类培训在线学习系统,可以做专升本,高起专,考研培训,功能完整:点播,直播,刷题,考试,在线支付,分销功能都有,亲测好用。分享给想转型线上教育的老师们。后台的功能有很多,以下是测试过的一些功能,更多功能可以自行下载研究哦1、点播:支持在线点播,可以上传课件,图文资料2、直播:视频直播课程,通过电子白板,屏幕共享,音视频直播等还原真实授课
响应式编程
响应式编程
Lv1
春风十里扬州路,卷上珠帘总不如。
文章
8
粉丝
0
获赞
0