미디어 소스 확장™

MediaSource를 미디어 요소에 연결하는 메커니즘은 해당 MediaSource 객체가 Window에서 생성되었는지 또는 DedicatedWorkerGlobalScope에서 생성되었는지에 따라 달라집니다:

• Window에서 생성된 MediaSource를 연결하는 방법은, 해당 MediaSource에 대한 MediaSource 객체 URL을 미디어 요소의 src 특성이나 미디어 요소 내부의 <source>의 src 특성에 할당하는 것입니다. MediaSource 객체 URL은 MediaSource 객체를 createObjectURL()에 전달하여 생성됩니다.

  구현체가 해당 워커에서 생성된 MediaSource에 대해 DedicatedWorkerGlobalScope에서 MediaSource 객체 URL 생성을 허용할 수도 있지만, 그러한 MediaSource 객체 URL을 사용하여 미디어 요소의 src 특성이나 미디어 요소 내부 <source>의 src 특성로 연결을 시도하는 것은, 아래에 확장된 대로 미디어 요소의 리소스 가져오기 알고리즘에서 반드시 실패해야 합니다.

  Note

  객체 URL 연결 메커니즘을 워커의 MediaSource 객체 URL까지 확장하면, srcObject 사용에 비해 덜 선호되는 관용구를 더욱 확산시키게 되며, 사용자 에이전트 간 상호운용성 위험과 구현 복잡성을 불필요하게 증가시킬 수 있습니다.

• MediaSource가 DedicatedWorkerGlobalScope에서 생성된 경우에는, handle을 통해 핸들을 얻고, 해당 MediaSourceHandle을 Window 컨텍스트로 전달하여 미디어 요소의 srcObject 특성에 할당하는 방법으로만 연결할 수 있습니다. 이 명세를 HTMLMediaElement의 리소스 로딩 및 가져오기 알고리즘과 정렬하기 위해, 하부의 DedicatedWorkerGlobalScope MediaSource가 그곳에서 언급되는 MediaSource 객체이며, MediaSourceHandle 객체가 미디어 제공자 객체입니다.

리소스 가져오기 알고리즘이 미디어 제공자 객체로 MediaSource 객체, MediaSourceHandle 객체, 또는 객체가 MediaSource인 URL 레코드로 호출된 경우, 모드를 local로 설정하고 (그렇지 않으면 모드를 remote로 설정할 수 있는) 리소스 가져오기 알고리즘의 첫 번째 단계를 건너뛴 뒤 알고리즘 실행을 계속합니다.

리소스 가져오기 알고리즘의 “그 외(모드가 로컬)” 섹션 시작 시, 아래의 추가 단계를 실행합니다.

1. 리소스 가져오기 알고리즘이 미디어 제공자 객체로 MediaSource 객체, MediaSourceHandle 객체, 또는 객체가 MediaSource인 URL 레코드로 호출된 경우:

   미디어 제공자 객체가, 예컨대 DedicatedWorkerGlobalScope에서 생성된 MediaSource의 MediaSource 객체 URL을 사용하려는 경우처럼, 객체가 MediaSource인 URL 레코드인 경우

   리소스 가져오기 알고리즘의 미디어 데이터 처리 단계 목록에서 "네트워크 오류로 인해 미디어 데이터를 전혀 가져올 수 없어, 사용자 에이전트가 리소스 가져오기를 포기하는 경우" 단계를 실행합니다.

   Note

   이는 DedicatedWorker의 MediaSource 연결에 MediaSource 객체 URL을 사용하는 것을 방지합니다. DedicatedWorker에서 Window 컨텍스트로 MediaSource의 handle을 전달하고 미디어 요소의 srcObject 특성에 할당하는 것이 그러한 MediaSource를 연결하는 유일한 방법입니다.

   미디어 제공자 객체가 MediaSourceHandle이고, 그 내부 슬롯 [[Detached]]가 true인 경우

   리소스 가져오기 알고리즘의 미디어 데이터 처리 단계 목록에서 "네트워크 오류로 인해 미디어 데이터를 전혀 가져올 수 없어, 사용자 에이전트가 리소스 가져오기를 포기하는 경우" 단계를 실행합니다.

   미디어 제공자 객체가 MediaSourceHandle이고, 그 기저의 MediaSource의 [[has ever been attached]] 내부 슬롯이 true인 경우

   리소스 가져오기 알고리즘의 미디어 데이터 처리 단계 목록에서 "네트워크 오류로 인해 미디어 데이터를 전혀 가져올 수 없어, 사용자 에이전트가 리소스 가져오기를 포기하는 경우" 단계를 실행합니다.

   Note

   이는 MediaSource가 Window에서 생성되었고 이전에 MediaSource 객체 URL을 사용해 로드되었더라도, 동일한 기저 MediaSource를 MediaSourceHandle로 두 번 이상 로드하는 것을 방지합니다. 다만, 이후에는 Window의 MediaSource에 대해 MediaSource 객체 URL을 사용하는 것이 성공하는 것을 배제하지는 않습니다.

   readyState가 "closed"로 설정되어 있지 않은 경우

   리소스 가져오기 알고리즘의 미디어 데이터 처리 단계 목록에서 "네트워크 오류로 인해 미디어 데이터를 전혀 가져올 수 없어, 사용자 에이전트가 리소스 가져오기를 포기하는 경우" 단계를 실행합니다.

   그 외의 경우

   1. MediaSource의 [[has ever been attached]] 내부 슬롯을 true로 설정합니다.
   2. 미디어 요소의 delaying-the-load-event-flag를 false로 설정합니다.

   3. MediaSource가 DedicatedWorkerGlobalScope에서 생성된 경우, 워커 연결 통신을 설정하고 MediaSource를 엽니다:

      1. [[channel with worker]]를 새로운 MessageChannel로 설정합니다.
      2. [[port to worker]]를 port1의 값으로 설정합니다(대상: [[channel with worker]]).
      3. StructuredSerializeWithTransfer를 실행하되, port2를 값이자 transferList의 유일한 멤버로 사용하고, 그 결과를 serialized port2로 둡니다.
      4. 작업을 큐에 추가하여 MediaSource의 DedicatedWorkerGlobalScope에서 다음을 수행하도록 합니다:
         1. StructuredDeserializeWithTransfer를 serialized port2와 DedicatedWorkerGlobalScope의 realm으로 실행하고, [[port to main]]을 전송된 port2의 역직렬화된 복제본으로 설정합니다(대상: [[channel with worker]]).
         2. readyState 특성을 "open"으로 설정합니다.
         3. 작업을 큐에 추가하여 이벤트 sourceopen을 MediaSource에서 발생시킵니다.

      그 외의 경우, MediaSource가 Window에서 생성된 경우:

      1. [[channel with worker]]를 null로 설정합니다.
      2. [[port to worker]]를 null로 설정합니다.
      3. [[port to main]]을 null로 설정합니다.
      4. readyState 특성을 "open"으로 설정합니다.
      5. 작업을 큐에 추가하여 이벤트 sourceopen을 MediaSource에서 발생시킵니다.

   4. 리소스 가져오기 알고리즘을 계속 수행하되, 남은 "그 외(모드가 로컬)" 단계를 다음 요구사항과 함께 실행합니다:
      1. 리소스 가져오기 알고리즘이나 미디어 데이터 처리 단계 목록에서 "the download", "bytes received", "whenever new data for the current media resource becomes available" 같은 표현은 appendBuffer()를 통해 전달된 데이터를 의미합니다.
      2. 리소스 가져오기 알고리즘과 미디어 데이터 처리 단계 목록의 HTTP에 관한 언급은 적용되지 않습니다. 이는 MediaSource가 연결된 경우 HTMLMediaElement가 HTTP로 미디어 데이터를 가져오지 않기 때문입니다.

다음 단계는 미디어 요소가 NETWORK_EMPTY로 전환하고, 미디어 요소에서 작업을 큐에 추가하여 이벤트를 발생시키는데 이름이 emptied인 경우에 항상 실행됩니다. 이러한 단계는 전환 직전에 실행되는 것이 권장됩니다.

1. MediaSource가 DedicatedWorkerGlobalScope에서 생성된 경우:

   1. 내부 detach 메시지를 [[port to worker]]에 게시하여 MediaSource에 알립니다.
   2. [[port to worker]]를 null로 설정합니다.
   3. [[channel with worker]]를 null로 설정합니다.
   4. 이 detach 알림에 대한 암묵적 메시지 핸들러는 나머지 단계들을 DedicatedWorkerGlobalScope의 MediaSource에서 실행합니다.

   그 외의 경우, MediaSource가 Window에서 생성된 경우:

   나머지 단계들을 Window의 MediaSource에서 계속 실행합니다.

2. [[port to main]]을 null로 설정합니다.
3. readyState 특성을 "closed"로 설정합니다.
4. this가 ManagedMediaSource인 경우, streaming 특성을 false로 설정합니다.
5. duration을 NaN으로 업데이트합니다.
6. SourceBuffer 객체를 모두 activeSourceBuffers에서 제거합니다.
7. 작업을 큐에 추가하여 이벤트를 발생시키는데 이름은 removesourcebuffer이며, 대상은 activeSourceBuffers입니다.
8. SourceBuffer 객체를 모두 sourceBuffers에서 제거합니다.
9. 작업을 큐에 추가하여 이벤트를 발생시키는데 이름은 removesourcebuffer이며, 대상은 sourceBuffers입니다.
10. 작업을 큐에 추가하여 이벤트를 발생시키는데 이름은 sourceclose이며, 대상은 MediaSource입니다.

다음 단계를 탐색 알고리즘의 “사용자 에이전트가 새 재생 위치의 미디어 데이터가 사용 가능한지 여부를 파악하고, 사용 가능하다면 해당 위치를 재생할 만큼 충분한 데이터를 디코딩할 때까지 기다린다” 단계의 일부로 실행합니다:

1. Note

   미디어 요소는 SourceBuffer의 각 객체(대상: activeSourceBuffers)에서, media segments 중 new playback position을 포함하는 것을 찾습니다. 현재 HTMLMediaElement의 buffered 특성 값의 TimeRanges 내 임의의 위치는 해당 위치에 필요한 모든 미디어 세그먼트가 버퍼링되어 있습니다.

   new playback position이 TimeRanges 중 어느 것에도 포함되어 있지 않은 경우(대상: HTMLMediaElement의 buffered)

   1. HTMLMediaElement의 readyState 특성이 HAVE_METADATA보다 크면, HTMLMediaElement의 readyState 특성을 HAVE_METADATA로 설정합니다.
      Note

      HTMLMediaElement ready states [HTML] 로직에 따라, HTMLMediaElement의 readyState 변경은 HTMLMediaElement에서 이벤트를 트리거할 수 있습니다.

   2. 미디어 요소는 appendBuffer() 호출이 coded frame processing 알고리즘을 통해 HTMLMediaElement의 readyState 특성을 HAVE_METADATA보다 큰 값으로 설정할 때까지 대기합니다.
      Note

      웹 애플리케이션은 buffered와 HTMLMediaElement의 buffered를 사용하여 재생 재개에 필요한 것이 무엇인지 판단할 수 있습니다.

   그 외의 경우

   계속 진행

   Note

   readyState 특성이 "ended"이고, new playback position이 현재 TimeRanges 중 하나에 포함되어 HTMLMediaElement의 buffered에 나타나 있다면, 현재 선택 또는 활성화된 트랙 버퍼 중 하나 이상의 최대 범위 종료 타임스탬프가 new playback position보다 작더라도, 탐색 동작은 여기서 완료될 때까지 계속되어야 합니다. 이 조건은 buffered의 로직이 readyState가 "ended"일 때 발생시키는 경우에만 나타나야 합니다.

2. 미디어 요소는 모든 디코더를 재설정하고, 각 디코더를 적절한 initialization segment의 데이터로 초기화합니다.
3. 미디어 요소는 활성 트랙 버퍼에서 coded frames를 디코더에 공급하되, new playback position 이전의 가장 가까운 random access point부터 시작합니다.
4. 탐색 알고리즘의 “안정 상태를 대기” 단계에서 재개합니다.

다음 단계는 재생 중 주기적으로 실행되어, SourceBuffer 객체들이 activeSourceBuffers 내에서 중단 없는 재생을 보장할 만큼 충분한 데이터를 보유하는지 확인합니다. 또한 activeSourceBuffers의 변경은 상태 전환을 트리거하는 조건에 영향을 미치므로, 이러한 단계의 실행을 유발합니다.

중단 없는 재생을 보장할 만큼 충분한 데이터가 있다는 것은, 사용자 에이전트가 현재 의미 있는 시간 동안 정지 없이 프레젠테이션을 재생할 수 있을 만큼 충분한 데이터가 있다고 판단하는 구현별 조건입니다. 이 조건은 미디어 요소를 HAVE_ENOUGH_DATA 준비 상태로 들어가거나 빠져나가게 할 시점을 결정하기 위해 지속적으로 평가됩니다. 이러한 전환은 사용자 에이전트가 충분한 데이터가 버퍼링되었다고 믿는지, 아니면 더 많은 데이터가 필요한지를 각각 나타냅니다.

HTMLMediaElement의 readyState 특성이 HAVE_NOTHING인 경우:

1. 이 단계를 중단합니다.

HTMLMediaElement의 buffered가 현재 재생 위치를 포함하는 TimeRanges를 포함하지 않는 경우:

1. HTMLMediaElement의 readyState 특성을 HAVE_METADATA로 설정합니다.
   Note

   HTMLMediaElement ready states [HTML] 로직에 따라, HTMLMediaElement의 readyState 변경은 HTMLMediaElement에서 이벤트를 트리거할 수 있습니다.

2. 이 단계를 중단합니다.

HTMLMediaElement의 buffered가 현재 재생 위치를 포함하고, 또한 중단 없는 재생을 보장할 만큼 충분한 데이터가 있는 TimeRanges를 포함하는 경우:

1. HTMLMediaElement의 readyState 특성을 HAVE_ENOUGH_DATA로 설정합니다.
   Note

   HTMLMediaElement ready states [HTML] 로직에 따라, HTMLMediaElement의 readyState 변경은 HTMLMediaElement에서 이벤트를 트리거할 수 있습니다.

2. 이전에 HAVE_CURRENT_DATA로 전환하면서 재생이 일시 중단되었다면, 이 시점에 재생이 재개될 수 있습니다.
3. 이 단계를 중단합니다.

HTMLMediaElement의 buffered가 현재 재생 위치를 포함하고, 현재 위치 이후의 일부 시간도 포함하는 TimeRanges를 포함하는 경우, 다음 단계를 실행합니다:

1. HTMLMediaElement의 readyState 특성을 HAVE_FUTURE_DATA로 설정합니다.
   Note

   HTMLMediaElement ready states [HTML] 로직에 따라, HTMLMediaElement의 readyState 변경은 HTMLMediaElement에서 이벤트를 트리거할 수 있습니다.

2. 이전에 HAVE_CURRENT_DATA로 전환하여 재생이 일시 중단되었다면, 이 시점에 재생이 재개될 수 있습니다.
3. 이 단계를 중단합니다.

HTMLMediaElement의 buffered가 현재 재생 위치에서 끝나고, 현재 위치 직후를 덮는 범위가 없는 TimeRanges를 포함하는 경우:

1. HTMLMediaElement의 readyState 특성을 HAVE_CURRENT_DATA로 설정합니다.
   Note

   HTMLMediaElement ready states [HTML] 로직에 따라, HTMLMediaElement의 readyState 변경은 HTMLMediaElement에서 이벤트를 트리거할 수 있습니다.

2. 미디어 요소는 미디어 타임라인을 전진시키기에 충분한 데이터가 없으므로, 이 시점에 재생이 일시 중단됩니다.
3. 이 단계를 중단합니다.

재생 중, activeSourceBuffers는 다음의 경우 업데이트되어야 합니다. 즉, 비디오 트랙의 selected 상태, 오디오 트랙(들)의 enabled 상태, 또는 텍스트 트랙의 mode가 변경될 때입니다. 이러한 변경이 하나 이상 발생하면 다음 단계를 따라야 합니다. 또한 MediaSource가 DedicatedWorkerGlobalScope에서 생성된 경우, 내부 create track mirror 메시지의 암묵적 핸들러가 이전에 생성한 트랙의 Window 미러에 발생하는 각 변경도 반드시 [[port to worker]]에 게시되는 내부 update track state 메시지를 사용하여 해당 DedicatedWorkerGlobalScope 트랙에도 반영되어야 하며, 암묵적 핸들러가 변경을 적용하고 다음 단계를 실행합니다. 마찬가지로 DedicatedWorkerGlobalScope의 트랙에 발생하는 각 변경도 반드시 [[port to main]]에 게시되는 내부 update track state 메시지를 사용하여 해당 트랙의 Window 미러에도 반영되어야 하며, 암묵적 핸들러가 미러에 변경을 적용합니다.

선택된 비디오 트랙이 변경되면 다음 단계를 실행합니다:

1. 이전에 선택된 비디오 트랙과 연관된 SourceBuffer가 다른 활성화된 트랙과 연관되어 있지 않다면, 다음 단계를 실행합니다:
   1. 해당 SourceBuffer를 activeSourceBuffers에서 제거합니다.
   2. 작업을 큐에 추가하여 이벤트를 발생시키는데 이름은 removesourcebuffer이며, 대상은 activeSourceBuffers입니다.
2. 새로 선택된 비디오 트랙과 연관된 SourceBuffer가 아직 activeSourceBuffers에 없다면, 다음 단계를 실행합니다:
   1. 해당 SourceBuffer를 activeSourceBuffers에 추가합니다.
   2. 작업을 큐에 추가하여 이벤트를 발생시키는데 이름은 addsourcebuffer이며, 대상은 activeSourceBuffers입니다.

오디오 트랙이 비활성화되고, 이 트랙과 연관된 SourceBuffer가 다른 활성화되거나 선택된 트랙과 연관되어 있지 않다면, 다음 단계를 실행합니다:

1. 해당 오디오 트랙과 연관된 SourceBuffer를 activeSourceBuffers에서 제거합니다.
2. 작업을 큐에 추가하여 이벤트를 발생시키는데 이름은 removesourcebuffer이며, 대상은 activeSourceBuffers입니다.

오디오 트랙이 활성화되고, 이 트랙과 연관된 SourceBuffer가 아직 activeSourceBuffers에 없다면, 다음 단계를 실행합니다:

1. 해당 오디오 트랙과 연관된 SourceBuffer를 activeSourceBuffers에 추가합니다.
2. 작업을 큐에 추가하여 이벤트를 발생시키는데 이름은 addsourcebuffer이며, 대상은 activeSourceBuffers입니다.

텍스트 트랙의 mode가 "disabled"로 바뀌고, 이 트랙과 연관된 SourceBuffer가 다른 활성화되거나 선택된 트랙과 연관되어 있지 않다면, 다음 단계를 실행합니다:

1. 해당 텍스트 트랙과 연관된 SourceBuffer를 activeSourceBuffers에서 제거합니다.
2. 작업을 큐에 추가하여 이벤트를 발생시키는데 이름은 removesourcebuffer이며, 대상은 activeSourceBuffers입니다.

텍스트 트랙의 mode가 "showing" 또는 "hidden"으로 바뀌고, 이 트랙과 연관된 SourceBuffer가 아직 activeSourceBuffers에 없다면, 다음 단계를 실행합니다:

1. 해당 텍스트 트랙과 연관된 SourceBuffer를 activeSourceBuffers에 추가합니다.
2. 작업을 큐에 추가하여 이벤트를 발생시키는데 이름은 addsourcebuffer이며, 대상은 activeSourceBuffers입니다.

duration을 new duration 값으로 변경할 때 다음 단계를 따릅니다.

1. 현재 duration 값이 new duration과 같으면 return합니다.
2. new duration이 sourceBuffers 내 모든 SourceBuffer의 버퍼된 coded frames 중 가장 높은 presentation timestamp보다 작으면, InvalidStateError 예외를 던지고 단계를 중단합니다.
   Note

   현재 버퍼링된 미디어를 잘라내는 Duration 감소는 허용되지 않습니다. 잘라내야 할 경우 remove()로 버퍼링 범위를 먼저 줄인 뒤 duration을 업데이트하세요.

3. highest end time을 sourceBuffers 내 모든 SourceBuffer의 track buffers의 track buffer ranges의 최대 종료값으로 합니다.
4. new duration이 highest end time보다 작으면
   Note

   이 조건은 coded frame removal 알고리즘이 제거 범위 시작 이전의 coded frame을 남겨두기 때문에 발생할 수 있습니다.

   1. new duration을 highest end time으로 업데이트합니다.
5. duration 값을 new duration으로 업데이트합니다.
6. mirror if necessary 알고리즘을 사용해 Window에서 미디어 요소의 duration을 업데이트하는 다음 단계를 실행합니다:
   1. 미디어 요소의 duration을 new duration으로 업데이트합니다.
   2. HTMLMediaElement duration change algorithm을 실행합니다.

이 알고리즘은 애플리케이션이 endOfStream()를 호출하거나, 어떤 알고리즘에서 디코드 오류 신호가 필요할 때 호출됩니다. 이 알고리즘은 오류가 신호되어야 하는지 여부를 나타내는 error 파라미터를 받습니다.

1. readyState 특성 값을 "ended"로 변경합니다.
2. 작업을 큐에 추가하여 이벤트 이름이 sourceended인 이벤트를 MediaSource에서 발생시킵니다.

3. error가 설정되지 않은 경우

   1. duration change 알고리즘을 sourceBuffers의 모든 SourceBuffer의 track buffers의 track buffer ranges 중 가장 큰 end time을 new duration으로 설정해 실행합니다.
      Note

      이렇게 하면 duration이 append된 미디어 세그먼트의 끝을 제대로 반영하게 됩니다. 예를 들어 duration이 10초로 명시적으로 설정되어 있는데 endOfStream() 호출 전에 0~5초 미디어 세그먼트만 append되었다면, duration은 5초로 업데이트됩니다.

   2. 미디어 요소에 모든 미디어 데이터가 준비되었음을 알립니다.

   error가 "network"로 설정된 경우

   mirror if necessary 알고리즘을 사용해 Window에서 다음 단계를 실행합니다:

   HTMLMediaElement의 readyState 특성이 HAVE_NOTHING과 같으면

   resource fetch algorithm의 media data processing steps list에서 "네트워크 오류로 인해 미디어 데이터를 전혀 가져올 수 없어, 사용자 에이전트가 리소스 가져오기를 포기하는 경우" 단계를 실행합니다.

   HTMLMediaElement의 readyState 특성이 HAVE_NOTHING보다 크면

   resource fetch algorithm의 media data processing steps list에서 "일부 미디어 데이터가 수신된 뒤 연결이 중단되어, 사용자 에이전트가 리소스 가져오기를 포기하는 경우" 단계를 실행합니다.

   error가 "decode"로 설정된 경우

   mirror if necessary 알고리즘을 사용해 Window에서 다음 단계를 실행합니다:

   HTMLMediaElement의 readyState 특성이 HAVE_NOTHING과 같으면

   resource fetch algorithm의 media data processing steps list에서 "미디어 데이터를 가져올 수 있으나 검사 결과 지원되지 않는 포맷이거나, 전혀 렌더링할 수 없는 경우" 단계를 실행합니다.

   HTMLMediaElement의 readyState 특성이 HAVE_NOTHING보다 크면

   media data is corrupted 단계와, resource fetch algorithm의 media data processing steps list 단계를 실행합니다.

이 알고리즘은 Window에서 MediaSource가 동일 Window 또는 DedicatedWorkerGlobalScope에서 연결되어 있을 때, 일반적으로 연결된 HTMLMediaElement의 상태를 업데이트하기 위해 Window에서 실행할 steps 목록을 받습니다.

MediaSource가 DedicatedWorkerGlobalScope에서 생성된 경우:

내부 mirror on window 메시지를 [[port to main]]에 게시하면, Window의 암묵적 핸들러가 steps를 실행합니다. 이 메시지 핸들러가 메시지를 받을 때까지 기다리지 않고 바로 제어를 반환합니다.

Note

미러 메시지 메커니즘의 목적은 다음을 보장하는 것입니다:

1. steps가 Window에서 자체 작업으로 비동기적으로 실행되고, steps가 다른 Window 작업 중간에 실행되지 않도록 함
2. steps가 DedicatedWorkerGlobalScope에서 이 알고리즘의 동기 실행과 반환을 막지 않도록 함

그 외의 경우:

steps를 실행합니다.

각 SourceBuffer 객체는 세그먼트 파싱 상태를 추적하는 [[append state]] 내부 슬롯을 가집니다. 이 슬롯은 처음에는 WAITING_FOR_SEGMENT로 설정되며, 데이터가 append될 때 다음 상태들로 전이될 수 있습니다.

각 SourceBuffer 객체는 [[input buffer]] 내부 슬롯을 가지며, 이는 appendBuffer() 호출 사이에서 파싱되지 않은 바이트를 저장하는 바이트 버퍼입니다. 이 버퍼는 SourceBuffer 객체가 생성될 때 비어 있습니다.

각 SourceBuffer 객체는 [[buffer full flag]] 내부 슬롯을 가지며, appendBuffer()가 더 많은 바이트를 받아들일 수 있는지 추적합니다. 이 슬롯은 SourceBuffer 객체가 생성될 때 false로 설정되고, 데이터가 append되거나 제거될 때 업데이트됩니다.

각 SourceBuffer 객체는 [[group start timestamp]] 내부 슬롯을 가지며, "sequence" 모드에서 새로운 코딩된 프레임 그룹의 시작 타임스탬프를 추적합니다. 이 슬롯은 SourceBuffer 객체가 생성될 때 미설정 상태(unset)이며, mode 속성이 "sequence"이고 timestampOffset 속성이 설정될 때, 또는 coded frame processing 알고리즘이 실행될 때 업데이트됩니다.

각 SourceBuffer 객체는 [[group end timestamp]] 내부 슬롯을 가지며, 현재 코딩된 프레임 그룹 내 모든 코딩된 프레임 종료 타임스탬프 중 가장 높은 값을 저장합니다. 이 슬롯은 SourceBuffer 객체가 생성될 때 0으로 설정되며, coded frame processing 알고리즘에 의해 업데이트됩니다.

각 SourceBuffer 객체는 [[generate timestamps flag]] 내부 슬롯을 가지며, 이는 코딩된 프레임에 대해 coded frame processing 알고리즘에 전달할 때 타임스탬프 생성이 필요한지 여부를 나타내는 boolean입니다. 이 플래그는 addSourceBuffer()가 SourceBuffer 객체를 생성할 때 설정되며, changeType()에 의해 업데이트됩니다.

세그먼트 파서 루프 알고리즘이 호출되면, 다음 단계를 실행합니다:

1. 루프 시작: [[input buffer]]가 비어 있으면, 아래 데이터가 더 필요함 단계로 이동.
2. [[input buffer]]에 SourceBuffer 바이트 스트림 포맷 명세를 위반하는 바이트가 있으면, append error 알고리즘을 실행하고 이 알고리즘을 중단.
3. 바이트 스트림 포맷 명세에서 반드시 무시하라고 한 바이트를 [[input buffer]] 시작에서 제거.

4. [[append state]]가 WAITING_FOR_SEGMENT라면, 다음 단계를 실행:

   1. [[input buffer]] 시작이 초기화 세그먼트의 시작을 나타내면, [[append state]]를 PARSING_INIT_SEGMENT로 설정.
   2. [[input buffer]] 시작이 미디어 세그먼트의 시작을 나타내면, [[append state]]를 PARSING_MEDIA_SEGMENT로 설정.
   3. 위 루프 시작 단계로 이동.

5. [[append state]]가 PARSING_INIT_SEGMENT라면, 다음 단계를 실행:

   1. [[input buffer]]에 아직 완전한 초기화 세그먼트가 없으면, 아래 데이터가 더 필요함 단계로 이동.
   2. initialization segment received 알고리즘 실행.
   3. 초기화 세그먼트 바이트를 [[input buffer]] 시작에서 제거.
   4. [[append state]]를 WAITING_FOR_SEGMENT로 설정.
   5. 위 루프 시작 단계로 이동.

6. [[append state]]가 PARSING_MEDIA_SEGMENT라면, 다음 단계를 실행:

   1. [[first initialization segment received flag]]가 false이거나 [[pending initialization segment for changeType flag]]가 true이면, append error 알고리즘 실행 후 중단.
   2. [[input buffer]]에 하나 이상의 완전한 코딩된 프레임이 있으면, coded frame processing 알고리즘 실행.
      Note

      coded frame processing 알고리즘 실행 빈도는 구현별입니다. input buffer에 전체 미디어 세그먼트가 있을 때 호출할 수도 있고, 완전한 코딩된 프레임이 추가될 때마다 여러 번 호출할 수도 있습니다.

   3. 이 SourceBuffer가 가득 차서 더 이상 미디어 데이터를 받아들일 수 없으면, [[buffer full flag]]를 true로 설정.
   4. [[input buffer]]에 완전한 미디어 세그먼트가 없으면, 아래 데이터가 더 필요함 단계로 이동.
   5. 미디어 세그먼트 바이트를 [[input buffer]] 시작에서 제거.
   6. [[append state]]를 WAITING_FOR_SEGMENT로 설정.
   7. 위 루프 시작 단계로 이동.
7. 데이터가 더 필요함: 호출한 알고리즘에 제어를 반환.

파서 상태를 재설정해야 할 때, 다음 단계를 실행합니다:

1. [[append state]] 가 PARSING_MEDIA_SEGMENT와 같고, [[input buffer]] 에 완전한 코딩된 프레임이 있다면, 코딩된 프레임 처리 알고리즘을 모든 완전한 코딩된 프레임이 처리될 때까지 실행합니다.
2. 모든 트랙 버퍼의 마지막 디코드 타임스탬프를 해제합니다.
3. 모든 트랙 버퍼의 마지막 프레임 지속시간을 해제합니다.
4. 모든 트랙 버퍼의 최고 종료 타임스탬프를 해제합니다.
5. 모든 트랙 버퍼의 랜덤 액세스 포인트 필요 플래그를 true로 설정합니다.
6. mode 속성이 "sequence"이면, [[group start timestamp]] 값을 [[group end timestamp]]로 설정합니다.
7. [[input buffer]]의 모든 바이트를 제거합니다.
8. [[append state]]를 WAITING_FOR_SEGMENT로 설정합니다.

추가 작업 중 오류가 발생하면 이 알고리즘이 호출됩니다.

1. 파서 상태 재설정 알고리즘을 실행합니다.
2. updating 속성을 false로 설정합니다.
3. 작업을 큐에 추가하여 이벤트를 발생시키고, 이벤트 이름은 error입니다. 해당 SourceBuffer 객체에서 발생합니다.
4. 작업을 큐에 추가하여 이벤트를 발생시키고, 이벤트 이름은 updateend입니다. 해당 SourceBuffer 객체에서 발생합니다.
5. 스트림 종료 알고리즘을 error 파라미터를 "decode"로 설정하여 실행합니다.

추가 작업이 시작될 때, 다음 단계를 실행하여 SourceBuffer를 검증하고 준비합니다.

1. SourceBuffer가 sourceBuffers 속성에서 제거되었다면, 상위 미디어 소스에서 InvalidStateError 예외를 발생시키고, 이 단계를 중단합니다.
2. updating 속성이 true라면, InvalidStateError 예외를 발생시키고, 이 단계를 중단합니다.
3. 최근 요소 오류를 다음과 같이 결정합니다:

   MediaSource가 Window에서 생성된 경우

   HTMLMediaElement의 error 속성이 null이 아니면 최근 요소 오류를 true로 합니다. null이면 최근 요소 오류를 false로 합니다.

   그 외의 경우

   Window의 단계에 따라 값을 결정하되, HTMLMediaElement의 error 속성 변경 시 [[port to worker]] 암시 메시지를 사용해 통신합니다. 그런 메시지를 아직 받지 못한 경우, 최근 요소 오류를 false로 합니다.

4. 최근 요소 오류가 true라면, InvalidStateError 예외를 발생시키고, 이 단계를 중단합니다.

5. readyState 속성이 상위 미디어 소스에서 "ended" 상태라면 다음 단계를 실행합니다:

   1. readyState 속성을 상위 미디어 소스에서 "open"으로 설정합니다.
   2. 작업을 큐에 추가하여 이벤트를 발생시키고, 이벤트 이름은 sourceopen입니다. 상위 미디어 소스에서 발생합니다.
6. 코딩된 프레임 제거 알고리즘을 실행합니다.

7. [[buffer full flag]]가 true라면, QuotaExceededError 예외를 발생시키고 이 단계를 중단합니다.

   참고

   이는 구현체가 충분한 데이터를 제거하지 못했거나 추가가 너무 큰 경우 신호입니다. 웹 애플리케이션은 SHOULD remove()를 사용하여 명시적으로 공간을 확보하거나 추가 크기를 줄여야 합니다.

appendBuffer()가 호출되면, 다음 단계를 실행하여 추가된 데이터를 처리합니다.

1. 세그먼트 파서 루프 알고리즘을 실행합니다.
2. 이전 단계의 세그먼트 파서 루프 알고리즘이 중단되었다면, 이 알고리즘을 중단합니다.
3. updating 속성을 false로 설정합니다.
4. 작업을 큐에 추가하여 이벤트를 발생시키고, 이벤트 이름은 update입니다. 해당 SourceBuffer 객체에서 발생합니다.
5. 작업을 큐에 추가하여 이벤트를 발생시키고, 이벤트 이름은 updateend입니다. 해당 SourceBuffer 객체에서 발생합니다.

호출자가 다른 SourceBuffer 업데이트를 차단하는 JavaScript 표시 범위 제거 작업을 시작해야 할 때 다음 단계를 따릅니다:

1. start를 제거 범위의 시작 프리젠테이션 타임스탬프로 설정합니다. 이 값은 프리젠테이션 시작 시간으로부터 초 단위입니다.
2. end를 제거 범위의 종료 프리젠테이션 타임스탬프로 설정합니다. 이 값은 프리젠테이션 시작 시간으로부터 초 단위입니다.
3. updating 속성을 true로 설정합니다.
4. 작업을 큐에 추가하여 이벤트를 발생시키고, 이벤트 이름은 updatestart입니다. 해당 SourceBuffer 객체에서 발생합니다.
5. 제어를 호출자에게 반환하고 나머지 단계를 비동기로 실행합니다.
6. 코딩된 프레임 제거 알고리즘을 start와 end를 제거 범위의 시작과 종료로 사용하여 실행합니다.
7. updating 속성을 false로 설정합니다.
8. 작업을 큐에 추가하여 이벤트를 발생시키고, 이벤트 이름은 update입니다. 해당 SourceBuffer 객체에서 발생합니다.
9. 작업을 큐에 추가하여 이벤트를 발생시키고, 이벤트 이름은 updateend입니다. 해당 SourceBuffer 객체에서 발생합니다.

세그먼트 파서 루프가 완전한 초기화 세그먼트를 성공적으로 파싱했을 때 다음 단계를 실행합니다:

각 SourceBuffer 객체에는 이 알고리즘에 의해 첫 초기화 세그먼트가 추가되어 수신되었는지를 추적하는 [[first initialization segment received flag]] 내부 슬롯이 있습니다. 이 플래그는 SourceBuffer가 생성될 때 false로 설정되며 아래 알고리즘에 의해 업데이트됩니다.

각 SourceBuffer 객체에는 가장 최근 changeType() 이후 초기화 세그먼트가 필요한지 여부를 추적하는 [[pending initialization segment for changeType flag]] 내부 슬롯이 있습니다. 이 플래그는 SourceBuffer가 생성될 때 false로 설정되고, changeType()에 의해 true로 설정되며, 아래 알고리즘에 의해 다시 false로 재설정됩니다.

1. duration 속성이 현재 NaN과 같다면 업데이트합니다:

   초기화 세그먼트에 지속시간(duration)이 포함된 경우:

   duration change 알고리즘을 new duration을 초기화 세그먼트의 지속시간으로 설정하여 실행합니다.

   그렇지 않은 경우:

   duration change 알고리즘을 new duration을 양의 무한대로 설정하여 실행합니다.

2. 초기화 세그먼트에 오디오, 비디오 또는 텍스트 트랙이 없다면, append error 알고리즘을 실행하고 이 단계들을 중단합니다.
3. [[first initialization segment received flag]] 이 true이면, 다음 단계를 실행합니다:
   1. 다음 속성들을 검증합니다. 검사 중 하나라도 실패하면 append error 알고리즘을 실행하고 이 단계들을 중단합니다.
      • 오디오, 비디오, 텍스트 트랙의 개수가 첫 번째 초기화 세그먼트와 일치합니다.
      • 단일 유형에 대해 둘 이상의 트랙(예: 오디오 2개)이 있는 경우, Track IDs가 첫 번째 초기화 세그먼트의 것과 일치합니다.
      • 각 트랙의 코덱이 사용자 에이전트에서 지원됩니다.
        참고

        사용자 에이전트는, 그렇지 않으면 지원될 코덱이라도, 여기에서는 MAY 비지원으로 간주할 수 있습니다. 이는 해당 코덱이 (a) 이 SourceBuffer 객체에서 가장 최근에 성공한 changeType()의 type 파라미터에 지정되지 않았거나, (b) 이 객체에서 아직 성공한 changeType()가 없다면, 이 SourceBuffer 객체를 생성한 addSourceBuffer()에 지정되지 않았을 때 해당합니다. 예를 들어, 가장 최근에 성공한 changeType()가 'video/webm' 또는 'video/webm; codecs="vp8"'로 호출되었는데, 초기화 세그먼트에 vp9 비디오 트랙이 나타나는 경우, 다른 두 속성의 검사(위)가 통과하더라도 사용자 에이전트는 이 단계를 사용하여 디코드 오류를 트리거할 수 있습니다(MAY). 구현체는 실제로 코덱이 지원되지 않거나 다른 두 속성 검사가 실패하는 경우에만 이러한 오류를 트리거하는 것이 권장됩니다. 웹 작성자는 사용자 에이전트 지원을 보다 선제적으로 감지하기 위해 정확한 코덱 파라미터와 함께 changeType(), addSourceBuffer() 및 isTypeSupported()를 사용하는 것이 권장됩니다. changeType()는 SourceBuffer 객체의 바이트스트림 형식이 변경되는 경우에 필요합니다.

   2. 이 초기화 세그먼트에서 해당하는 트랙 설명을 각 트랙 버퍼에 추가합니다.
   3. 모든 트랙 버퍼의 need random access point flag를 true로 설정합니다.
4. active track flag를 false로 둡니다.

5. [[first initialization segment received flag]] 이 false이면, 다음 단계를 실행합니다:

   1. 초기화 세그먼트에 사용자 에이전트가 지원하지 않는 코덱의 트랙이 포함되어 있다면, append error 알고리즘을 실행하고 이 단계들을 중단합니다.
      참고

      사용자 에이전트는, 그렇지 않으면 지원될 코덱이라도, 여기에서는 MAY 비지원으로 간주할 수 있습니다. 이는 해당 코덱이 (a) 이 SourceBuffer 객체에서 가장 최근에 성공한 changeType()의 type 파라미터에 지정되지 않았거나, (b) 이 객체에서 아직 성공한 changeType()가 없다면, 이 SourceBuffer 객체를 생성한 addSourceBuffer()에 지정되지 않았을 때 해당합니다. 예를 들어, MediaSource.isTypeSupported('video/webm;codecs="vp8,vorbis"') 가 true를 반환하더라도, addSourceBuffer()가 'video/webm;codecs="vp8"'로 호출되었고 초기화 세그먼트에 Vorbis 트랙이 나타난다면, 사용자 에이전트는 이 단계를 사용해 디코드 오류를 트리거할 수 있습니다(MAY). 구현체는 이러한 경우 실제로 코덱이 지원되지 않을 때에만 오류를 트리거하는 것이 권장됩니다. 웹 작성자는 사용자 에이전트 지원을 보다 선제적으로 감지하기 위해 changeType(), addSourceBuffer() 및 isTypeSupported()를 정확한 코덱 파라미터와 함께 사용하는 것이 권장됩니다. changeType()는 SourceBuffer 객체의 바이트스트림 형식이 변경되는 경우에 필요합니다.

   2. 초기화 세그먼트의 각 오디오 트랙에 대해 다음 단계를 실행합니다:

      1. audio byte stream track ID를 현재 처리 중인 트랙의 Track ID로 둡니다.
      2. audio language를 이 트랙에 대해 초기화 세그먼트에 지정된 언어의 BCP 47 언어 태그로 설정하고, 언어 정보가 없으면 빈 문자열로 둡니다.
      3. audio language가 BCP 47의 'und' 값과 같다면, audio language에 빈 문자열을 할당합니다.
      4. audio label을 이 트랙에 대해 초기화 세그먼트에 지정된 라벨로 설정하고, 라벨 정보가 없으면 빈 문자열로 둡니다.
      5. audio kinds를 이 트랙에 대해 초기화 세그먼트에 지정된 종류(kind) 문자열의 시퀀스로 설정하고, kind 정보가 없다면 빈 문자열 하나를 원소로 갖는 시퀀스로 둡니다.
      6. audio kinds의 각 값에 대해 다음 단계를 실행합니다:
         1. current audio kind를 이 반복에서의 audio kinds 값으로 둡니다.
         2. new audio track을 새 AudioTrack 객체로 둡니다.
         3. 고유한 ID를 생성하여 id 프로퍼티에 할당합니다(new audio track).
         4. audio language를 language 프로퍼티에 할당합니다(new audio track).
         5. audio label을 label 프로퍼티에 할당합니다(new audio track).
         6. current audio kind를 kind 프로퍼티에 할당합니다(new audio track).

         7. 이 SourceBuffer 객체의 audioTracks의 length 가 0이면, 다음 단계를 실행합니다:

            1. new audio track의 enabled 프로퍼티를 true로 설정합니다.
            2. active track flag를 true로 설정합니다.
         8. new audio track을 이 audioTracks 속성(이 SourceBuffer 객체)에 추가합니다.
            참고

            이는 AudioTrackList [HTML] 로직이 작업을 큐에 추가하여 이벤트를 발생시키도록 트리거해야 합니다. 이벤트 이름은 addtrack이며, TrackEvent를 사용하고, track 속성은 new audio track으로 초기화됩니다. 이는 이 audioTracks 속성이 참조하는 AudioTrackList 객체에서 발생합니다(이 SourceBuffer 객체의 속성).

         9. 상위 미디어 소스가 DedicatedWorkerGlobalScope에서 생성된 경우:

            내부 create track mirror 메시지를 [[port to main]]에 게시하고, 그 암시적 핸들러가 Window에서 다음 단계를 실행하도록 합니다:

            1. mirrored audio track을 새 AudioTrack 객체로 둡니다.
            2. mirrored audio track의 프로퍼티 값을 new audio track에 대해 결정된 값과 동일하게 설정합니다.
            3. mirrored audio track을 HTMLMediaElement의 audioTracks 속성에 추가합니다.

            그 외의 경우:

            new audio track을 HTMLMediaElement의 audioTracks 속성에 추가합니다.

            참고

            이는 AudioTrackList [HTML] 로직이 작업을 큐에 추가하여 이벤트를 발생시키도록 트리거해야 합니다. 이벤트 이름은 addtrack이며, TrackEvent를 사용하고, track 속성은 mirrored audio track 또는 new audio track으로 초기화됩니다. 이는 HTMLMediaElement의 audioTracks 속성이 참조하는 AudioTrackList 객체에서 발생합니다.

      7. 이 트랙을 위한 트랙 버퍼를 새로 생성하여 코딩된 프레임을 저장합니다.
      8. 이 트랙의 트랙 설명을 트랙 버퍼에 추가합니다.

   3. 초기화 세그먼트의 각 비디오 트랙에 대해 다음 단계를 실행합니다:

      1. video byte stream track ID를 현재 처리 중인 트랙의 Track ID로 둡니다.
      2. video language를 이 트랙에 대해 초기화 세그먼트에 지정된 언어의 BCP 47 언어 태그로 설정하고, 언어 정보가 없으면 빈 문자열로 둡니다.
      3. video language가 BCP 47의 'und' 값과 같다면, video language에 빈 문자열을 할당합니다.
      4. video label을 이 트랙에 대해 초기화 세그먼트에 지정된 라벨로 설정하고, 라벨 정보가 없으면 빈 문자열로 둡니다.
      5. video kinds를 이 트랙에 대해 초기화 세그먼트에 지정된 종류(kind) 문자열의 시퀀스로 설정하고, kind 정보가 없다면 빈 문자열 하나를 원소로 갖는 시퀀스로 둡니다.
      6. video kinds의 각 값에 대해 다음 단계를 실행합니다:
         1. current video kind를 이 반복에서의 video kinds 값으로 둡니다.
         2. new video track을 새 VideoTrack 객체로 둡니다.
         3. 고유한 ID를 생성하여 id 프로퍼티에 할당합니다(new video track).
         4. video language를 language 프로퍼티에 할당합니다(new video track).
         5. video label을 label 프로퍼티에 할당합니다(new video track).
         6. current video kind를 kind 프로퍼티에 할당합니다(new video track).

         7. 이 SourceBuffer 객체의 videoTracks의 length 가 0이면, 다음 단계를 실행합니다:

            1. new video track의 selected 프로퍼티를 true로 설정합니다.
            2. active track flag를 true로 설정합니다.
         8. new video track을 이 videoTracks 속성(이 SourceBuffer 객체)에 추가합니다.
            참고

            이는 VideoTrackList [HTML] 로직이 작업을 큐에 추가하여 이벤트를 발생시키도록 트리거해야 합니다. 이벤트 이름은 addtrack이며, TrackEvent를 사용하고, track 속성은 new video track으로 초기화됩니다. 이는 이 videoTracks 속성이 참조하는 VideoTrackList 객체에서 발생합니다(이 SourceBuffer 객체의 속성).

         9. 상위 미디어 소스가 DedicatedWorkerGlobalScope에서 생성된 경우:

            내부 create track mirror 메시지를 [[port to main]]에 게시하고, 그 암시적 핸들러가 Window에서 다음 단계를 실행하도록 합니다:

            1. mirrored video track을 새 VideoTrack 객체로 둡니다.
            2. mirrored video track의 프로퍼티 값을 new video track에 대해 결정된 값과 동일하게 설정합니다.
            3. mirrored video track을 HTMLMediaElement의 videoTracks 속성에 추가합니다.

            그 외의 경우:

            new video track을 HTMLMediaElement의 videoTracks 속성에 추가합니다.

            참고

            이는 VideoTrackList [HTML] 로직이 작업을 큐에 추가하여 이벤트를 발생시키도록 트리거해야 합니다. 이벤트 이름은 addtrack이며, TrackEvent를 사용하고, track 속성은 mirrored video track 또는 new video track으로 초기화됩니다. 이는 HTMLMediaElement의 videoTracks 속성이 참조하는 VideoTrackList 객체에서 발생합니다.

      7. 이 트랙을 위한 트랙 버퍼를 새로 생성하여 코딩된 프레임을 저장합니다.
      8. 이 트랙의 트랙 설명을 트랙 버퍼에 추가합니다.

   4. 초기화 세그먼트의 각 텍스트 트랙에 대해 다음 단계를 실행합니다:

      1. text byte stream track ID를 현재 처리 중인 트랙의 Track ID로 둡니다.
      2. text language를 이 트랙에 대해 초기화 세그먼트에 지정된 언어의 BCP 47 언어 태그로 설정하고, 언어 정보가 없으면 빈 문자열로 둡니다.
      3. text language가 BCP 47의 'und' 값과 같다면, text language에 빈 문자열을 할당합니다.
      4. text label을 이 트랙에 대해 초기화 세그먼트에 지정된 라벨로 설정하고, 라벨 정보가 없으면 빈 문자열로 둡니다.
      5. text kinds를 이 트랙에 대해 초기화 세그먼트에 지정된 종류(kind) 문자열의 시퀀스로 설정하고, kind 정보가 없다면 빈 문자열 하나를 원소로 갖는 시퀀스로 둡니다.
      6. text kinds의 각 값에 대해 다음 단계를 실행합니다:
         1. current text kind를 이 반복에서의 text kinds 값으로 둡니다.
         2. new text track을 새 TextTrack 객체로 둡니다.
         3. 고유한 ID를 생성하여 id 프로퍼티에 할당합니다(new text track).
         4. text language를 language 프로퍼티에 할당합니다(new text track).
         5. text label을 label 프로퍼티에 할당합니다(new text track).
         6. current text kind를 kind 프로퍼티에 할당합니다(new text track).
         7. new text track의 나머지 프로퍼티를 초기화 세그먼트의 적절한 정보로 채웁니다.
         8. new text track의 mode 프로퍼티가 "showing" 이거나 "hidden"이면, active track flag를 true로 설정합니다.
         9. new text track을 이 textTracks 속성(이 SourceBuffer 객체)에 추가합니다.
            참고

            이는 TextTrackList [HTML] 로직이 작업을 큐에 추가하여 이벤트를 발생시키도록 트리거해야 합니다. 이벤트 이름은 addtrack이며, TrackEvent를 사용하고, track 속성은 new text track으로 초기화됩니다. 이는 이 textTracks 속성이 참조하는 TextTrackList 객체에서 발생합니다(이 SourceBuffer 객체의 속성).

         10. 상위 미디어 소스가 DedicatedWorkerGlobalScope에서 생성된 경우:

             내부 create track mirror 메시지를 [[port to main]]에 게시하고, 그 암시적 핸들러가 Window에서 다음 단계를 실행하도록 합니다:

             1. mirrored text track을 새 TextTrack 객체로 둡니다.
             2. mirrored text track의 프로퍼티 값을 new text track에 대해 결정된 값과 동일하게 설정합니다.
             3. mirrored text track을 HTMLMediaElement의 textTracks 속성에 추가합니다.

             그 외의 경우:

             new text track을 HTMLMediaElement의 textTracks 속성에 추가합니다.

             참고

             이는 TextTrackList [HTML] 로직이 작업을 큐에 추가하여 이벤트를 발생시키도록 트리거해야 합니다. 이벤트 이름은 addtrack이며, TrackEvent를 사용하고, track 속성은 mirrored text track 또는 new text track으로 초기화됩니다. 이는 HTMLMediaElement의 textTracks 속성이 참조하는 TextTrackList 객체에서 발생합니다.

      7. 이 트랙을 위한 트랙 버퍼를 새로 생성하여 코딩된 프레임을 저장합니다.
      8. 이 트랙의 트랙 설명을 트랙 버퍼에 추가합니다.
   5. active track flag가 true이면, 다음 단계를 실행합니다:
      1. 이 SourceBuffer를 activeSourceBuffers에 추가합니다.
      2. 작업을 큐에 추가하여 이벤트를 발생시키고, 이벤트 이름은 addsourcebuffer입니다. 이는 activeSourceBuffers에서 발생합니다.
   6. [[first initialization segment received flag]] 를 true로 설정합니다.
6. [[pending initialization segment for changeType flag]] 를 false로 설정합니다.
7. active track flag가 true이면, 다음 단계를 실행합니다:
8. 상위 미디어 소스의 필요 시 미러링 알고리즘을 사용하여 Window에서 다음 단계를 실행합니다:
   1. HTMLMediaElement의 readyState 속성이 HAVE_CURRENT_DATA보다 크면, HTMLMediaElement의 readyState를 HAVE_METADATA로 설정합니다.
      참고

      HTMLMediaElement ready states [HTML] 로직에 따라, HTMLMediaElement의 readyState 변경은 HTMLMediaElement에서 이벤트를 트리거할 수 있습니다.

9. sourceBuffers의 각 객체(해당 상위 미디어 소스)가 [[first initialization segment received flag]] 가 true와 같다면, 상위 미디어 소스의 필요 시 미러링 알고리즘을 사용하여 다음 단계를 Window에서 실행합니다:
   1. HTMLMediaElement의 readyState 속성이 HAVE_NOTHING이라면, HTMLMediaElement의 readyState를 HAVE_METADATA로 설정합니다.
      참고

      HTMLMediaElement ready states [HTML] 로직에 따라, HTMLMediaElement의 readyState 변경은 HTMLMediaElement에서 이벤트를 트리거할 수 있습니다. 만약 HAVE_NOTHING에서 HAVE_METADATA로 전이되면, 이는 HTMLMediaElement 로직이 작업을 큐에 추가하여 이벤트를 발생시키도록 트리거해야 하며, 이벤트 이름은 loadedmetadata로, 미디어 요소에서 발생합니다.

세그먼트 파서 루프에 의해 완전한 코딩된 프레임이 파싱되면 다음 단계를 실행합니다:

1. 미디어 세그먼트의 각 코딩된 프레임에 대해 다음 단계를 실행합니다:

   1. Loop Top:

      [[generate timestamps flag]] 가 true와 같다면:

      1. presentation timestamp를 0으로 둡니다.
      2. decode timestamp를 0으로 둡니다.

      그 외의 경우:

      1. presentation timestamp를 초 단위에서 코딩된 프레임의 프리젠테이션 타임스탬프를 배정밀도 부동소수점으로 표현한 값으로 둡니다.
         참고

         타임드 텍스트 프레임의 프리젠테이션/디코드 타임스탬프를 결정하려면 특수한 처리가 필요할 수 있습니다. 이 정보가 기반 포맷에 명시적으로 존재하지 않거나 프레임 순서에 의존할 수 있기 때문입니다. MPEG2-TS PSI 데이터와 같은 일부 메타데이터 텍스트 트랙은 암시적 타임스탬프만 가질 수 있습니다. 이러한 상황에 대한 포맷별 규칙은 바이트 스트림 포맷 명세 또는 별도의 확장 명세에 있어야 합니다(SHOULD).

      2. decode timestamp를 초 단위에서 코딩된 프레임의 디코드 타임스탬프를 배정밀도 부동소수점으로 표현한 값으로 둡니다.
         참고

         구현체는 내부적으로 타임스탬프를 배정밀도 부동소수점 표현으로 저장할 필요는 없습니다. 여기서는 HTML 명세에서 타임스탬프 표현이 그러하기 때문에 이 표현을 사용합니다. 의도는 불필요한 복잡성을 더하지 않으면서 동작을 명확히 하는 것입니다. 바이트 스트림 포맷이 사용하는 기반 타임스탬프 표현에서 timestampOffset을 더하면 타임스탬프 롤오버가 발생할 수 있다는 사실을 다루기 위함입니다. 구현체는 원하는 어떤 내부 타임스탬프 표현을 사용할 수 있지만, timestampOffset의 추가는 배정밀도 부동소수점 표현을 사용했을 때와 유사하게 동작해야 합니다(SHOULD).

   2. frame duration을 초 단위에서 코딩된 프레임의 지속시간을 배정밀도 부동소수점으로 표현한 값으로 둡니다.
   3. mode가 "sequence"와 같고 [[group start timestamp]] 가 설정되어 있다면, 다음 단계를 실행합니다:
      1. timestampOffset 을 [[group start timestamp]] 에서 presentation timestamp를 뺀 값으로 설정합니다.
      2. [[group end timestamp]] 를 [[group start timestamp]] 로 설정합니다.
      3. 모든 트랙 버퍼의 랜덤 액세스 포인트 필요 플래그를 true로 설정합니다.
      4. [[group start timestamp]]를 해제합니다.

   4. timestampOffset 이 0이 아니라면, 다음 단계를 실행합니다:

      1. timestampOffset 을 presentation timestamp에 더합니다.
      2. timestampOffset 을 decode timestamp에 더합니다.
   5. track buffer를 코딩된 프레임이 추가될 트랙 버퍼로 둡니다.

   6. track buffer의 마지막 디코드 타임스탬프가 설정되어 있고, decode timestamp가 마지막 디코드 타임스탬프보다 작은 경우:

      OR

      track buffer의 마지막 디코드 타임스탬프가 설정되어 있고, decode timestamp와 마지막 디코드 타임스탬프의 차이가 마지막 프레임 지속시간의 2배보다 큰 경우:

      1. mode 가 "segments"와 같다면:

         [[group end timestamp]] 를 presentation timestamp로 설정합니다.

         mode 가 "sequence"와 같다면:

         [[group start timestamp]] 를 [[group end timestamp]] 로 설정합니다.

      2. 모든 트랙 버퍼의 마지막 디코드 타임스탬프를 해제합니다.
      3. 모든 트랙 버퍼의 마지막 프레임 지속시간을 해제합니다.
      4. 모든 트랙 버퍼의 최고 종료 타임스탬프를 해제합니다.
      5. 모든 트랙 버퍼의 랜덤 액세스 포인트 필요 플래그를 true로 설정합니다.
      6. 현재 코딩된 프레임의 처리를 다시 시작하기 위해 위의 Loop Top 단계로 이동합니다.

      그렇지 않으면:

      계속합니다.

   7. frame end timestamp를 presentation timestamp와 frame duration의 합으로 둡니다.
   8. presentation timestamp가 appendWindowStart보다 작다면, 랜덤 액세스 포인트 필요 플래그를 true로 설정하고, 코딩된 프레임을 폐기(dropped)한 다음, 루프 상단으로 이동하여 다음 코딩된 프레임 처리를 시작합니다.
      참고

      일부 구현은 appendWindowStart보다 작은 presentation timestamp를 가진 코딩된 프레임을 수집하고, appendWindowStart보다 크거나 같은 프리젠테이션 타임스탬프를 가진 첫 코딩된 프레임에서 스플라이스를 생성하는 데 사용할 수 있습니다(MAY). 해당 프레임이 랜덤 액세스 포인트가 아니더라도 가능합니다. 이를 지원하려면 여러 디코더나 실시간보다 빠른 디코딩이 필요하므로, 현재로서는 이 동작을 규범 요구사항으로 두지 않습니다.

   9. frame end timestamp가 appendWindowEnd보다 크다면, 랜덤 액세스 포인트 필요 플래그를 true로 설정하고, 코딩된 프레임을 폐기한 다음 루프 상단으로 이동하여 다음 코딩된 프레임 처리를 시작합니다.
      참고

      일부 구현은 appendWindowEnd보다 작은 presentation timestamp와 appendWindowEnd보다 큰 frame end timestamp를 가진 코딩된 프레임을 수집하고, 수집 시점의 append window 내에 있는 수집된 코딩된 프레임의 일부 구간과 이후 처리된 프레임의 시작 부분(수집된 코딩된 프레임의 끝과 부분적으로만 겹치는)을 가로질러 스플라이스를 생성하는 데 사용할 수 있습니다(MAY). 이를 지원하려면 여러 디코더나 실시간보다 빠른 디코딩이 필요하므로, 현재로서는 이 동작을 규범 요구사항으로 두지 않습니다. appendWindowStart를 가로지르는 코딩된 프레임 수집과 함께 사용할 경우, 구현은 이로써 갭 없는 오디오 스플라이싱을 지원할 수 있습니다(MAY).

   10. track buffer의 랜덤 액세스 포인트 필요 플래그가 true와 같다면, 다음 단계를 실행합니다:
       1. 코딩된 프레임이 랜덤 액세스 포인트가 아니라면, 코딩된 프레임을 폐기하고 루프 상단으로 이동하여 다음 코딩된 프레임 처리를 시작합니다.
       2. track buffer의 랜덤 액세스 포인트 필요 플래그를 false로 설정합니다.
   11. spliced audio frame을 오디오 스플라이스 정보를 보관하기 위한 미설정 변수로 둡니다.
   12. spliced timed text frame을 타임드 텍스트 스플라이스 정보를 보관하기 위한 미설정 변수로 둡니다.
   13. track buffer의 마지막 디코드 타임스탬프가 미설정이고, presentation timestamp가 프리젠테이션 구간 내(의) 코딩된 프레임에 속한다면, 다음 단계를 실행합니다:
       1. overlapped frame을 위 조건에 일치하는 track buffer 내의 코딩된 프레임으로 둡니다.

       2. track buffer가 오디오 코딩된 프레임을 포함하는 경우:

          오디오 스플라이스 프레임 알고리즘을 실행하고, 스플라이스 프레임이 반환되면 이를 spliced audio frame에 할당합니다.

          track buffer가 비디오 코딩된 프레임을 포함하는 경우:

          1. remove window timestamp를 overlapped frame의 프리젠테이션 타임스탬프에 1마이크로초를 더한 값으로 둡니다.
          2. presentation timestamp가 remove window timestamp보다 작다면, track buffer에서 overlapped frame을 제거합니다.
             참고

             이는 배정밀도 부동소수점과 유리수 사이를 변환할 때 나타날 수 있는 프레임 타임스탬프 계산의 작은 오차를 보정하기 위한 것입니다. 이 허용오차는 기존 프레임의 시작 시간으로부터 1마이크로초 이내에 있으면 프레임이 기존 프레임을 대체할 수 있도록 합니다. 기존 프레임보다 약간 앞선 프레임은 아래의 제거 단계에서 처리됩니다.

          track buffer가 타임드 텍스트 코딩된 프레임을 포함하는 경우:

          텍스트 스플라이스 프레임 알고리즘을 실행하고, 스플라이스 프레임이 반환되면 이를 spliced timed text frame에 할당합니다.

   14. track buffer에서 기존 코딩된 프레임을 제거합니다:

       track buffer의 최고 종료 타임스탬프가 설정되어 있지 않은 경우:

       track buffer에서 presentation timestamp보다 크거나 같고 frame end timestamp보다 작은 코딩된 프레임을 모두 제거합니다.

       track buffer의 최고 종료 타임스탬프가 설정되어 있고 presentation timestamp보다 작거나 같은 경우:

       track buffer에서 최고 종료 타임스탬프보다 크거나 같고 frame end timestamp보다 작은 코딩된 프레임을 모두 제거합니다.

   15. 이전 두 단계에서 제거된 코딩된 프레임에 대한 모든 가능한 디코딩 의존성을 제거하기 위해, 이전 두 단계에서 제거된 프레임과 그 이후의 다음 랜덤 액세스 포인트 사이에 있는 track buffer의 모든 코딩된 프레임을 제거합니다.
       참고

       다음 랜덤 액세스 포인트까지 모든 코딩된 프레임을 제거하는 것은 보수적인 디코딩 의존성 추정입니다. 제거된 프레임과 다음 랜덤 액세스 포인트 사이의 모든 프레임이 제거된 프레임에 의존한다고 가정하기 때문입니다.

   16. spliced audio frame이 설정되어 있는 경우:

       spliced audio frame을 track buffer에 추가합니다.

       spliced timed text frame이 설정되어 있는 경우:

       spliced timed text frame을 track buffer에 추가합니다.

       그렇지 않은 경우:

       presentation timestamp, decode timestamp, frame duration을 가진 코딩된 프레임을 track buffer에 추가합니다.

   17. track buffer의 마지막 디코드 타임스탬프를 decode timestamp로 설정합니다.
   18. track buffer의 마지막 프레임 지속시간을 frame duration으로 설정합니다.
   19. track buffer의 최고 종료 타임스탬프가 미설정이거나 frame end timestamp가 최고 종료 타임스탬프보다 크다면, track buffer의 최고 종료 타임스탬프를 frame end timestamp로 설정합니다.
       참고

       코딩된 프레임 간의 양방향 예측 때문에 디코드 타임스탬프는 단조 증가하더라도 presentation timestamp는 단조 증가하지 않을 수 있으므로, 보다 큼 비교가 필요합니다.

   20. frame end timestamp가 [[group end timestamp]]보다 크다면, [[group end timestamp]]를 frame end timestamp로 설정합니다.
   21. [[generate timestamps flag]] 가 true와 같다면, timestampOffset을 frame end timestamp로 설정합니다.

2. HTMLMediaElement의 readyState 속성이 HAVE_METADATA 이고, 새 코딩된 프레임으로 인해 HTMLMediaElement의 buffered가 현재 재생 위치에 대한 TimeRanges를 갖게 되면, HTMLMediaElement의 readyState 속성을 HAVE_CURRENT_DATA로 설정합니다.

   참고

   HTMLMediaElement ready states [HTML] 로직에 따라, HTMLMediaElement의 readyState 변경은 HTMLMediaElement에서 이벤트를 트리거할 수 있습니다.

3. HTMLMediaElement의 readyState 속성이 HAVE_CURRENT_DATA 이고, 새 코딩된 프레임으로 인해 HTMLMediaElement의 buffered가 현재 재생 위치를 포함하고 그 이후의 시간까지 포함하는 TimeRanges를 갖게 되면, HTMLMediaElement의 readyState 속성을 HAVE_FUTURE_DATA로 설정합니다.

   참고

   HTMLMediaElement ready states [HTML] 로직에 따라, HTMLMediaElement의 readyState 변경은 HTMLMediaElement에서 이벤트를 트리거할 수 있습니다.

4. HTMLMediaElement의 readyState 속성이 HAVE_FUTURE_DATA 이고, 새 코딩된 프레임으로 인해 HTMLMediaElement의 buffered가 현재 재생 위치와 중단 없는 재생을 보장하기에 충분한 데이터를 포함하는 TimeRanges를 갖게 되면, HTMLMediaElement의 readyState 속성을 HAVE_ENOUGH_DATA로 설정합니다.

   참고

   HTMLMediaElement ready states [HTML] 로직에 따라, HTMLMediaElement의 readyState 변경은 HTMLMediaElement에서 이벤트를 트리거할 수 있습니다.

5. 미디어 세그먼트가 현재 duration을 넘어서는 데이터를 포함한다면, duration change 알고리즘을 new duration을 현재 duration과 [[group end timestamp]]의 최댓값으로 설정하여 실행합니다.

특정 시간 범위의 코딩된 프레임을 SourceBuffer에서 제거해야 할 때 다음 단계를 따르세요:

1. start를 제거 범위의 시작 프리젠테이션 타임스탬프로 둡니다.
2. end를 제거 범위의 종료 프리젠테이션 타임스탬프로 둡니다.

3. 이 SourceBuffer의 각 트랙 버퍼에 대해 다음 단계를 실행하세요:

   1. remove end timestamp를 현재 duration 값으로 둡니다.

   2. 이 트랙 버퍼에 랜덤 액세스 포인트 타임스탬프가 있고, 그 값이 end 이상이면, remove end timestamp를 그 랜덤 액세스 포인트 타임스탬프로 업데이트합니다.

      참고

      트랙마다 랜덤 액세스 포인트 타임스탬프가 다를 수 있습니다. 왜냐하면 트랙 내 코딩된 프레임 간의 의존성이 서로 다르기 때문입니다.

   3. 이 트랙 버퍼에서 시작 타임스탬프가 start 이상이고 remove end timestamp 미만인 모든 미디어 데이터를 제거합니다.

      1. 제거된 각 프레임에 대해, 해당 프레임의 디코드 타임스탬프가 프레임의 트랙의 마지막 디코드 타임스탬프와 같으면, 다음 단계를 실행합니다:

         mode가 "segments"와 같으면:

         [[group end timestamp]]를 프리젠테이션 타임스탬프로 설정합니다.

         mode가 "sequence"와 같으면:

         [[group start timestamp]]를 [[group end timestamp]]로 설정합니다.

      2. 모든 트랙 버퍼의 마지막 디코드 타임스탬프를 해제합니다.
      3. 모든 트랙 버퍼의 마지막 프레임 지속시간을 해제합니다.
      4. 모든 트랙 버퍼의 최고 종료 타임스탬프를 해제합니다.
      5. 모든 트랙 버퍼의 랜덤 액세스 포인트 필요 플래그를 true로 설정합니다.
   4. 이전 단계에서 제거된 코딩된 프레임에 대한 모든 가능한 디코딩 의존성을 제거하기 위해, 이전 단계에서 제거된 프레임과 그 이후의 다음 랜덤 액세스 포인트 사이에 있는 이 트랙 버퍼의 모든 코딩된 프레임을 제거합니다.
      참고

      다음 랜덤 액세스 포인트까지 모든 코딩된 프레임을 제거하는 것은 보수적인 디코딩 의존성 추정입니다. 제거된 프레임과 다음 랜덤 액세스 포인트 사이의 모든 프레임이 제거된 프레임에 의존한다고 가정하기 때문입니다.

   5. 이 객체가 activeSourceBuffers에 있고, 현재 재생 위치가 start 이상이고 remove end timestamp 미만이며, HTMLMediaElement의 readyState가 HAVE_METADATA보다 크면, HTMLMediaElement의 readyState 속성을 HAVE_METADATA로 설정하고 재생을 정지(stall)합니다.

      참고

      HTMLMediaElement ready states [HTML] 로직에 따라, HTMLMediaElement의 readyState 변경은 HTMLMediaElement에서 이벤트를 트리거할 수 있습니다.

      참고

      이 전이는 현재 위치의 미디어 데이터가 제거되었기 때문에 발생합니다. 현재 위치의 미디어가 추가되거나, 3.15.5 선택/활성 트랙 상태 변경가 일어나기 전까지 재생이 진행되지 않습니다.

4. [[buffer full flag]]가 true이고, 이 객체가 추가 바이트를 받을 준비가 되어 있으면, [[buffer full flag]]를 false로 설정합니다.

새로운 데이터가 추가될 때 이 SourceBuffer의 공간을 확보하기 위해 이 알고리즘을 실행합니다.

1. new data를 이 SourceBuffer에 곧 추가될 데이터로 둡니다.
   Issue 289: 편집? 코딩된 프레임 제거 알고리즘은 |new data|에 따라 "buffer full flag"가 즉시 업데이트될 수 있음을 명시해야 함

   구현체는 MAY 여기서 [[buffer full flag]]를 true로 설정할 수 있습니다. 이는 new data와 기존 [[input buffer]]의 바이트를 합산하여 SourceBuffer 용량을 초과한다고 예측되면 발생할 수 있습니다. 이렇게 하면 오버플로우가 예상되는 new data를 수락하기 전에 보다 적극적인 push-back이 가능합니다. 실제로 최소한 하나의 구현체는 이 방식을 사용합니다.

2. [[buffer full flag]]가 false와 같으면, 이 단계를 중단합니다.
3. removal ranges를 new data를 위한 공간을 만들기 위해 프레젠테이션에서 제거될 수 있는 프리젠테이션 시간 구간들의 리스트로 둡니다.
   참고

   구현체는 MAY removal ranges를 선택하는 다양한 방법을 사용할 수 있으므로, 웹 애플리케이션은 특정 동작에 SHOULD NOT 의존하면 안 됩니다. 웹 애플리케이션은 buffered 속성을 사용해 버퍼된 데이터의 일부가 제거되었는지 관찰할 수 있습니다.

4. removal ranges의 각 구간에 대해, 코딩된 프레임 제거 알고리즘을 start와 end를 해당 제거 구간의 시작/종료 타임스탬프로 하여 실행합니다.

코딩된 프레임 처리 알고리즘이 두 오버랩된 오디오 코딩된 프레임에 대해 스플라이스 프레임을 생성해야 할 때 다음 단계를 따르세요:

1. track buffer를 스플라이스가 포함될 트랙 버퍼로 둡니다.
2. new coded frame을 track buffer에 추가되는 새 코딩된 프레임으로 둡니다.
3. presentation timestamp를 new coded frame의 프리젠테이션 타임스탬프로 둡니다.
4. decode timestamp를 new coded frame의 디코드 타임스탬프로 둡니다.
5. frame duration을 new coded frame의 코딩된 프레임 지속시간으로 둡니다.
6. overlapped frame을 presentation timestamp를 포함하는 프리젠테이션 구간을 가진 코딩된 프레임으로 둡니다.
7. presentation timestamp와 decode timestamp를 overlapped frame의 오디오 샘플레이트에 따라 가장 가까운 오디오 샘플 타임스탬프로 업데이트합니다. 타임스탬프가 두 샘플 타임스탬프와 동일하게 떨어져 있다면 더 높은 타임스탬프를 사용하세요 (예: floor(x * sample_rate + 0.5) / sample_rate).
   참고

   예시:

   • overlapped frame의 프리젠테이션 타임스탬프 = 10
   • overlapped frame의 샘플레이트 = 8000 Hz
   • presentation timestamp = 10.01255
   • decode timestamp = 10.01255

   presentation timestamp와 decode timestamp는 10.0125로 업데이트됩니다. 10.01255는 10 + 100/8000 (10.0125)에 더 가깝기 때문입니다.

8. 사용자 에이전트가 크로스페이딩을 지원하지 않으면 다음 단계를 실행합니다:
   1. track buffer에서 overlapped frame을 제거합니다.
   2. 다음 속성으로 track buffer에 무음(silence) 프레임을 추가합니다:
      • 프리젠테이션 타임스탬프는 overlapped frame의 프리젠테이션 타임스탬프로 설정
      • 디코드 타임스탬프는 overlapped frame의 디코드 타임스탬프로 설정
      • 코딩된 프레임 지속시간은 presentation timestamp와 overlapped frame의 프리젠테이션 타임스탬프 차이로 설정
      참고

      일부 구현은 MAY 무음 프레임 양쪽의 코딩된 프레임에 페이드 효과를 적용할 수 있습니다. 이를 통해 전이가 덜 거슬릴 수 있습니다.

   3. 스플라이스 프레임을 제공하지 않고 호출자에게 반환합니다.
      참고

      이는 overlapped frame이 track buffer에 처음부터 없었던 것처럼 new coded frame을 track buffer에 추가할 수 있도록 의도되었습니다.

9. frame end timestamp를 presentation timestamp와 frame duration의 합으로 둡니다.
10. splice end timestamp를 presentation timestamp와 스플라이스 지속시간(5 밀리초)의 합으로 둡니다.
11. fade out coded frames를 overlapped frame과, presentation timestamp보다 크고 splice end timestamp보다 작은 프리젠테이션 타임스탬프를 가진 track buffer 내 다른 프레임들로 둡니다.
12. fade out coded frames에 포함된 모든 프레임을 track buffer에서 제거합니다.
13. 다음 속성으로 스플라이스 프레임을 반환합니다:
    • 프리젠테이션 타임스탬프는 overlapped frame의 프리젠테이션 타임스탬프로 설정
    • 디코드 타임스탬프는 overlapped frame의 디코드 타임스탬프로 설정
    • 코딩된 프레임 지속시간은 frame end timestamp와 overlapped frame의 프리젠테이션 타임스탬프 차이로 설정
    • 페이드 아웃 코딩된 프레임은 fade out coded frames와 같습니다.
    • 페이드 인 코딩된 프레임은 new coded frame과 같습니다.
      참고

      new coded frame의 지속시간이 5 밀리초보다 짧으면, new coded frame 이후에 추가되는 코딩된 프레임이 스플라이스를 올바르게 렌더링하는 데 필요할 수 있습니다.

    • 스플라이스 타임스탬프는 presentation timestamp와 같습니다.
    참고

    이 스플라이스 프레임이 어떻게 렌더링되는지에 대한 자세한 내용은 오디오 스플라이스 렌더링 알고리즘을 참고하세요.

audio splice frame 알고리즘이 생성한 스플라이스 프레임을 미디어 요소가 렌더링해야 할 때 다음 단계를 실행합니다:

1. fade out coded frames를 스플라이스 동안 페이드 아웃되는 코딩된 프레임으로 둡니다.
2. fade in coded frames를 스플라이스 동안 페이드 인되는 코딩된 프레임으로 둡니다.
3. presentation timestamp를 fade out coded frames의 첫 번째 코딩된 프레임의 프리젠테이션 타임스탬프로 둡니다.
4. end timestamp를 fade in coded frames의 마지막 프레임의 프리젠테이션 타임스탬프와 코딩된 프레임 지속시간의 합으로 둡니다.
5. splice timestamp를 스플라이스가 시작되는 프리젠테이션 타임스탬프로 둡니다. 이는 fade in coded frames의 첫 번째 프레임의 프리젠테이션 타임스탬프와 일치합니다.
6. splice end timestamp를 splice timestamp + 5밀리초로 둡니다.
7. fade out samples를 fade out coded frames를 디코드하여 생성한 샘플로 둡니다.
8. fade out samples를 presentation timestamp와 splice end timestamp 사이의 샘플만 포함하도록 자릅니다.
9. fade in samples를 fade in coded frames를 디코드하여 생성한 샘플로 둡니다.
10. fade out samples와 fade in samples의 샘플레이트와 채널 레이아웃이 다르면, 둘 모두를 공통 샘플레이트와 채널 레이아웃으로 변환합니다.
11. output samples를 출력 샘플을 담을 버퍼로 둡니다.
12. fade out samples의 splice timestamp에서 splice end timestamp 사이의 샘플에 대해 시작 gain 1, 종료 gain 0의 선형 게인 페이드 아웃을 적용합니다.
13. fade in samples의 splice timestamp에서 splice end timestamp 사이의 샘플에 대해 시작 gain 0, 종료 gain 1의 선형 게인 페이드 인을 적용합니다.
14. fade out samples에서 presentation timestamp부터 splice timestamp까지의 샘플을 output samples로 복사합니다.
15. splice timestamp에서 splice end timestamp까지 각 샘플에 대해, fade out samples의 샘플과 fade in samples의 해당 샘플을 합산하여 output samples에 저장합니다.
16. fade in samples에서 splice end timestamp부터 end timestamp까지의 샘플을 output samples로 복사합니다.
17. output samples를 렌더링합니다.

참고

이 알고리즘의 그래픽 표현입니다.

코딩된 프레임 처리 알고리즘이 두 오버랩된 타임드 텍스트 코딩된 프레임에 대해 스플라이스 프레임을 생성해야 할 때 다음 단계를 따르세요:

1. track buffer를 스플라이스가 포함될 트랙 버퍼로 둡니다.
2. new coded frame을 track buffer에 추가되는 새 코딩된 프레임으로 둡니다.
3. presentation timestamp를 new coded frame의 프리젠테이션 타임스탬프로 둡니다.
4. decode timestamp를 new coded frame의 디코드 타임스탬프로 둡니다.
5. frame duration을 new coded frame의 코딩된 프레임 지속시간으로 둡니다.
6. frame end timestamp를 presentation timestamp와 frame duration의 합으로 둡니다.
7. first overlapped frame을 presentation timestamp를 포함하는 프리젠테이션 구간을 가진 코딩된 프레임으로 둡니다.
8. overlapped presentation timestamp를 first overlapped frame의 프리젠테이션 타임스탬프로 둡니다.
9. overlapped frames를 first overlapped frame과, presentation timestamp보다 크고 frame end timestamp보다 작은 프리젠테이션 타임스탬프를 가진 track buffer 내 다른 프레임들로 둡니다.
10. overlapped frames에 포함된 모든 프레임을 track buffer에서 제거합니다.
11. first overlapped frame의 코딩된 프레임 지속시간을 presentation timestamp에서 overlapped presentation timestamp를 뺀 값으로 업데이트합니다.
12. first overlapped frame을 track buffer에 추가합니다.
13. 스플라이스 프레임을 제공하지 않고 호출자에게 반환합니다.
    참고

    이는 new coded frame이 처음부터 track buffer에 오버랩된 프레임이 없었던 것처럼 추가될 수 있도록 의도되었습니다.

SourceBuffer Monitoring 알고리즘이 주기적으로 실행될 때 다음 단계를 실행합니다.

중단 없는 재생을 보장할 만큼 충분한 관리 데이터가 있는 상태란 사용자 에이전트가 프레젠테이션을 의미 있는 시간 동안 멈추지 않고 재생할 수 있을 만큼 데이터를 충분히 가지고 있다고 판단하는 구현체 정의 조건입니다. 이 조건은 streaming 값 전환 시점을 항상 평가하는 기준이 됩니다. 이러한 전환은 사용자 에이전트가 충분히 버퍼링되었다고 판단하거나, 반대로 더 많은 데이터가 필요하다고 판단하는 시점을 나타냅니다.

데이터를 효율적으로 가져오고 버퍼링할 수 있는 상태란 사용자 에이전트가 원하는 메모리 사용량을 달성하면서 에너지 효율적으로 새 데이터를 가져올 수 있다고 판단하는 구현체 정의 조건입니다.

1. MediaSource의 SourceBuffer Monitoring 알고리즘을 실행합니다.
2. can play uninterrupted and efficiently 플래그를, buffered 속성이 현재 재생 위치를 포함하고, 중단 없는 재생을 보장할 만큼 충분한 관리 데이터가 있으며, 데이터를 효율적으로 가져오고 버퍼링할 수 있는 상태일 때 true로 둡니다.

   can play uninterrupted and efficiently가 streaming과 다르면, 요소 작업 큐에 추가하여 미디어 요소에서 다음 단계를 실행합니다:

   1. this의 streaming 속성을 can play uninterrupted and efficiently로 설정합니다.
   2. can play uninterrupted and efficiently가 false면, 이벤트를 발생시키고 이벤트 이름은 startstreaming이며, ManagedMediaSource에서 발생합니다.
   3. 그 외의 경우, 이벤트를 발생시키고 이벤트 이름은 endstreaming이며, ManagedMediaSource에서 발생합니다.

1. this의 sourceBuffers의 각 buffer에 대해:

   1. buffer의 memory cleanup 알고리즘을 실행합니다.

ManagedSourceBuffer buffer에 대해 buffer의 buffered가 변경되게 만드는 모든 작업이 완료되었을 때 (즉, appendBuffer(), remove() 또는 메모리 정리 알고리즘이 완료된 직후) 다음 단계를 실행합니다.

1. previous buffered ranges를 변경이 발생하기 전의 buffered 속성 값으로 둡니다.
2. new buffered ranges를 새로운 buffered TimeRanges로 둡니다.
3. added를 new buffered ranges에서 previous buffered ranges를 뺀 결과로 둡니다.
4. removed를 previous buffered ranges에서 new buffered ranges를 뺀 결과로 둡니다.
5. eventInitDict를 새로운 BufferedChangeEventInit 딕셔너리로 두되, addedRanges는 added로, removedRanges는 removed로 초기화합니다.
6. 작업을 큐에 추가하여 이벤트를 발생시키되, 이벤트 이름은 bufferedchange이고, buffer에서 BufferedChangeEvent 인터페이스로, eventInitDict로 초기화하여 발생시킵니다.

1. this가 ManagedMediaSource 부모의 activeSourceBuffers에 포함되어 있지 않다면:

   1. 코딩된 프레임 제거 알고리즘을 start는 0, end는 양의 무한대로 하여 실행하고, 이 단계를 중단합니다.

2. removal ranges를, 프레젠테이션이 다시 가져올 수 있을 때까지 currentTime부터 끊김 없는 재생을 보장하기 위해 프레젠테이션에서 축출할 수 있는 프리젠테이션 시간 구간들의 목록으로 둡니다.
   참고

   구현체는 removal ranges를 선택하는 데 서로 다른 전략을 사용할 수 있으므로, 웹 애플리케이션은 특정 동작에 의존하지 않아야 합니다. 웹 애플리케이션은 bufferedchange 이벤트를 수신하여 버퍼된 데이터의 일부가 축출되었는지 관찰할 수 있습니다.

3. removal ranges의 각 구간에 대해, 코딩된 프레임 제거 알고리즘을 start와 end를 각각 해당 제거 구간의 시작 및 종료 타임스탬프로 하여 실행합니다.