캡처 핸들 - 화면 공유 시 협업 부트스트래핑

한 탭에서 실행 중인 웹 애플리케이션을 생각해 보겠습니다. 이를 "main_app"이라고 부르겠습니다. main_app이 getDisplayMedia를 호출하고 사용자가 다음 중 하나를 선택한다고 가정합니다:

• "captured_app"이라고 부를 애플리케이션이 실행 중인 다른 탭을 공유합니다.
• 그러한 탭을 호스팅하는 사용자 에이전트 창을 공유합니다.

다음 사항에 유의하십시오:

1. main_app은 자신이 무엇을 캡처하고 있는지 알지 못합니다.
2. captured_app은 자신이 캡처되고 있다는 사실도, 더구나 누구에게 캡처되는지도 알지 못합니다.

이 두 특성은 일반적인 경우에는 바람직하지만, 브라우저가 애플리케이션이 그 간극을 메우고 연결을 가능하게 하도록 옵트인하는 것을 허용하고자 하는 정당한 사용 사례가 존재합니다.

우리는 일반적인 경우를 이전과 같이 유지하면서, 정당한 사용 사례를 가능하게 하고자 합니다.

협업 프레젠테이션 소프트웨어와 화상 회의 소프트웨어를 생각해 보겠습니다. 사용자가 VC 세션에 있다고 가정합니다. 사용자는 프레젠테이션 공유를 시작합니다. 두 애플리케이션 모두 VC 앱이 슬라이드 세션을 캡처하고 있다는 사실, 어떤 애플리케이션인지, 나아가 어떤 세션인지까지 발견할 수 있게 하는 데 관심이 있습니다. 그러면 VC 애플리케이션은 사용자에게 슬라이드를 넘기는 컨트롤을 노출할 수 있습니다. 사용자가 그 컨트롤을 클릭하면, VC 앱은 프레젠테이션 앱에 메시지를 보내 슬라이드 넘기기, 프레젠테이션 모드 진입/종료 등의 작업을 요청할 수 있습니다.

이러한 메시지를 전송하는 수단은 이 문서의 범위를 벗어납니다. 몇 가지 선택지는 다음과 같습니다:

• 공유 클라우드 인프라.
• 워커를 통한 메시징. (참고: Storage Partitioning이 이 선택지를 방해할 수 있습니다.)
• 이 목적을 위해 명시적으로 기초적인 메시징 API가 추가될 수 있습니다.

캡처하는 애플리케이션은 사용자가 어떤 애플리케이션을 캡처하는 경향이 있는지에 대한 통계를 수집하고자 하는 경우가 많습니다. 예를 들어 VC 애플리케이션은 사용자가 특정 제공자의 프레젠테이션 애플리케이션, Wikipedia, CNN 등을 얼마나 자주 공유하는지 알고자 합니다. 이러한 정보를 수집하면 위에서 설명한 것과 같은 새로운 협업을 도입하여 사용자에 대한 서비스를 개선하는 데 사용할 수 있습니다.

사용자는 때때로 잘못된 탭을 공유하도록 선택합니다. 때로는 실수로 share-this-tab-instead 버튼을 클릭하여 잘못된 탭 공유로 전환하기도 합니다. 선의의 애플리케이션은 사용자가 실수했을 수 있다고 판단하면, 사용자를 보호하기 위해 앱 내부 대화상자를 표시하여 재확인을 요청할 수 있습니다.

이 사용 사례는 #3의 하위 사례이지만, 그 중요성 때문에 자체 절을 둘 가치가 있습니다. "거울의 방" 효과는 사용자가 VC 통화가 이루어지는 탭을 공유하기로 선택할 때 발생합니다. 자기 캡처를 감지하면 VC 애플리케이션은 캡처된 스트림을 사용자에게 다시 표시하지 않음으로써, 우려되는 이 효과를 피할 수 있습니다.

CaptureHandleConfig 딕셔너리는 캡처되는 애플리케이션이 어떤 정보를 노출하려는지, 그리고 어떤 애플리케이션에 그 정보를 노출할 의향이 있는지를 사용자 에이전트에 지시하는 데 사용됩니다.

WebIDLdictionary CaptureHandleConfig {
  boolean exposeOrigin = false;
  DOMString handle = "";
  sequence<DOMString> permittedOrigins = [];
};

exposeOrigin

true이면, 사용자 에이전트는 캡처되는 애플리케이션의 origin을 CaptureHandle의 origin 필드를 통해 노출해야 MUST 합니다. false이면, 사용자 에이전트는 캡처되는 애플리케이션의 origin을 노출해서는 MUST NOT 안 됩니다.

handle

사용자 에이전트는 이 값을 handle로 노출해야 MUST 합니다.

참고: 이 필드의 값은 1024개의 16비트 문자로 제한됩니다. 이 제한은 setCaptureHandleConfig에서 더 자세히 명세됩니다.

permittedOrigins

이 필드의 유효한 값은 다음을 포함합니다:

• 빈 목록.
• 단일 항목 "*"을 가진 목록
• 유효한 origin들로 구성된 목록.

permittedOrigins가 단일 항목 "*"으로 구성되어 있으면, CaptureHandle은 모든 캡처하는 쪽에서 관찰 가능합니다. 그렇지 않으면, CaptureHandle은 자신의 origin이 permittedOrigins에 나열된 캡처하는 쪽에게만 관찰 가능합니다.

MediaDevices는 setCaptureHandleConfig라는 메서드로 확장되며, 이 메서드는 CaptureHandleConfig 객체를 받습니다. 이 메서드를 호출함으로써 애플리케이션은 캡처하는 애플리케이션이 어떤 정보를 관찰할 수 있도록 허용하는지 사용자 에이전트에 알립니다.

WebIDLpartial interface MediaDevices {
  undefined setCaptureHandleConfig(optional CaptureHandleConfig config = {});
};

setCaptureHandleConfig

사용자 에이전트는 다음 검증을 실행해야 MUST 합니다:

• handle이 유효하지 않은 값으로 설정되어 있으면, 사용자 에이전트는 TypeError를 발생시켜 거부해야 MUST 합니다.
• permittedOrigins가 유효하지 않은 값으로 설정되어 있으면, 사용자 에이전트는 NotSupportedError를 발생시켜 거부해야 MUST 합니다.
• setCaptureHandleConfig() 호출이 최상위 브라우징 컨텍스트에서 이루어진 것이 아니면, 사용자 에이전트는 InvalidStateError를 발생시켜 거부해야 MUST 합니다.

모든 검증을 통과하면, 사용자 에이전트는 새 config를 받아들여야 MUST 합니다. 사용자 에이전트는 setCaptureHandleConfig에 대한 이전 호출을 모두 잊어야 MUST 하며, 이제부터 애플리케이션의 CaptureHandleConfig는 config입니다.

관찰 가능한 CaptureHandle은 모든 캡처하는 애플리케이션에 대해 다시 평가됩니다.

1. 새 관찰 가능한 CaptureHandle이 setCaptureHandleConfig 호출 전과 다른 모든 캡처하는 애플리케이션에 대해, 사용자 에이전트는 capturehandlechange라는 이름의 이벤트를 발화해야 MUST 합니다.
2. 사용자 에이전트는 getCaptureHandle이 호출될 때마다 새 관찰 가능한 CaptureHandle을 보고해야 MUST 합니다.

사용자 에이전트는 캡처되는 애플리케이션에 대한 정보를 CaptureHandle 딕셔너리를 통해 캡처하는 애플리케이션에 노출합니다. CaptureHandle 객체는 그것을 관찰하도록 허용되지 않은 캡처하는 애플리케이션에 제공되어서는 MUST NOT 안 됩니다.

WebIDLdictionary CaptureHandle {
  DOMString origin;
  DOMString handle;
};

origin

캡처되는 애플리케이션이 (exposeOrigin을 true로 설정하여) 자신의 origin 노출에 옵트인했다면, 사용자 에이전트는 origin을 캡처되는 애플리케이션의 origin으로 설정해야 MUST 합니다. 그렇지 않으면 origin은 설정되지 않습니다.

handle

사용자 에이전트는 이 필드를 캡처되는 애플리케이션이 handle에 설정한 값으로 설정해야 MUST 합니다.

MediaStreamTrack을 getCaptureHandle이라는 메서드로 확장합니다. MediaStreamTrack이 화면 캡처에서 파생된 비디오 트랙이면, getCaptureHandle은 최신의 관찰 가능한 CaptureHandle을 반환합니다. 그렇지 않으면 null을 반환합니다.

WebIDLpartial interface MediaStreamTrack {
  CaptureHandle? getCaptureHandle();
};

getCaptureHandle

해당 트랙이 비디오 트랙이 아니면 사용자 에이전트는 null을 반환해야 MUST 합니다.

트랙이 browser 또는 window display surface 중 어느 하나도 나타내지 않으면, 사용자 에이전트는 null을 반환해야 MUST 합니다.

트랙이 ended 상태이면, 사용자 에이전트는 null을 반환해야 MUST 합니다.

캡처되는 애플리케이션이 CaptureHandleConfig를 설정하지 않았거나, 마지막으로 그것을 빈 CaptureHandleConfig로 설정했다면, 사용자 에이전트는 null을 반환해야 MUST 합니다.

사용자 에이전트는 캡처하는 문서의 origin을 캡처되는 애플리케이션이 permittedOrigins에 나열한 origin들과 비교해야 MUST 합니다. 캡처하는 origin이 CaptureHandle을 관찰하도록 허용되지 않은 경우, 사용자 에이전트는 null을 반환해야 MUST 합니다.

이전의 모든 검증을 통과했다면, 사용자 에이전트는 캡처되는 애플리케이션이 마지막으로 설정한 CaptureHandleConfig에서 파생된 값을 가진 CaptureHandle 딕셔너리를 반환해야 MUST 합니다.