Merge branch 'release/mp4-media-stream-2024.3.0'

CHANGES.md

@@ -11,6 +11,21 @@
 
 ## develop
 
+### misc
+
+## mp4-media-stream-2024.3.0
+
+- [ADD] `Mp4MediaStream` の対応コーデックに H.265 を追加する
+  - @sile
+- [ADD] `Mp4MediaStream` の対応コーデックに AV1 を追加する
+  - @sile
+- [ADD] `Mp4MediaStream` の対応コーデックに VP9 を追加する
+  - @sile
+- [ADD] `Mp4MediaStream` の対応コーデックに VP8 を追加する
+  - @sile
+- [ADD] `Mp4MediaStream` の対応コーデックに AAC を追加する
+  - @sile
+
 ## mp4-media-stream-2024.2.0
 
 - [CHANGE] `Mp4MediaStream.play()` を非同期にする

README.md

@@ -39,6 +39,7 @@ Please read <https://github.com/shiguredo/oss/blob/master/README.en.md> before u
 - [@shiguredo/noise\-suppression \- npm](https://www.npmjs.com/package/@shiguredo/noise-suppression)
 - [@shiguredo/light\-adjustment \- npm](https://www.npmjs.com/package/@shiguredo/light-adjustment)
 - [@shiguredo/light\-adjustment\-gpu \- npm](https://www.npmjs.com/package/@shiguredo/light-adjustment-gpu)
+- [@shiguredo/mp4\-media\-stream \- npm](https://www.npmjs.com/package/@shiguredo/mp4-media-stream)
 
 ## サンプル
 

packages/mp4-media-stream/README.md

@@ -28,10 +28,21 @@ video.srcObject = stream
 
 本ライブラリは Chrome や Edge 等の Chromium ベースのブラウザで動作します。
 
+## 対応コーデック
+
+- 映像:
+  - H.264
+  - H.265
+  - VP8
+  - VP9
+  - AV1
+- 音声:
+  - AAC
+  - Opus
+
 ## 未対応機能
 
 以下の機能には現時点では対応していません:
-- H.264 / Opus 以外のコーデックを含んだ MP4 の再生
 - 再生開始位置の指定（シーク）
 - 再生の一時停止・再開
 - 数 GB を超える MP4 ファイルの再生

packages/mp4-media-stream/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@shiguredo/mp4-media-stream",
-  "version": "2024.2.0",
+  "version": "2024.3.0",
   "description": "Library to generate MediaStream from MP4 file",
   "author": "Shiguredo Inc.",
   "license": "Apache-2.0",

packages/mp4-media-stream/src/mp4_media_stream.ts

@@ -201,6 +201,10 @@ class Mp4MediaStream {
       // JSON.parse() の結果では config.description の型は number[] となって期待とは異なるので
       // ここで適切な型に変換している
       config.description = new Uint8Array(config.description as object as number[])
+      if (config.description.byteLength === 0) {
+        // コーデックによっては description が存在しないので空なら削除する
+        config.description = undefined
+      }
 
       if (!(await VideoDecoder.isConfigSupported(config)).supported) {
         throw new Error(`Unsupported video decoder configuration: ${JSON.stringify(config)}`)
@@ -238,22 +242,29 @@ class Mp4MediaStream {
     // JSON.parse() の結果では config.description の型は number[] となって期待とは異なるので
     // ここで適切な型に変換している
     config.description = new Uint8Array(config.description as object as number[])
+    if (config.description.byteLength === 0) {
+      // コーデックによっては description が存在しないので空なら削除する
+      config.description = undefined
+    }
 
     const init = {
       output: async (frame: VideoFrame) => {
-        if (player.canvas === undefined || player.canvasCtx === undefined) {
-          return
-        }
-
         try {
-          player.canvas.width = frame.displayWidth
-          player.canvas.height = frame.displayHeight
-          player.canvasCtx.drawImage(frame, 0, 0)
+          if (player.canvas === undefined || player.canvasCtx === undefined) {
+            return
+          }
+
+          try {
+            player.canvas.width = frame.displayWidth
+            player.canvas.height = frame.displayHeight
+            player.canvasCtx.drawImage(frame, 0, 0)
+          } catch (error) {
+            // エラーが発生した場合には再生を停止する
+            await this.stopPlayer(playerId)
+            throw error
+          }
+        } finally {
           frame.close()
-        } catch (error) {
-          // エラーが発生した場合には再生を停止する
-          await this.stopPlayer(playerId)
-          throw error
         }
       },
       error: async (error: DOMException) => {
@@ -286,27 +297,24 @@ class Mp4MediaStream {
     const config = this.wasmJsonToValue(configWasmJson) as AudioDecoderConfig
     const init = {
       output: async (data: AudioData) => {
-        if (player.audioInputNode === undefined) {
-          return
-        }
-
         try {
-          if (data.format !== 'f32') {
-            // フォーマットは f32 だけが来る想定。
-            // もし他のフォーマットが来ることがあれば、その都度対応すること。
-            throw Error(`Unsupported audio data format: ${data.format}"`)
+          if (player.audioInputNode === undefined) {
+            return
           }
 
-          const samples = new Float32Array(data.numberOfFrames * data.numberOfChannels)
-          data.copyTo(samples, { planeIndex: 0 })
-          data.close()
+          try {
+            const samples = new Float32Array(data.numberOfFrames * data.numberOfChannels)
+            data.copyTo(samples, { planeIndex: 0, format: 'f32' })
 
-          const timestamp = data.timestamp
-          player.audioInputNode.port.postMessage({ timestamp, samples }, [samples.buffer])
-        } catch (e) {
-          // エラーが発生した場合には再生を停止する
-          await this.stopPlayer(playerId)
-          throw e
+            const timestamp = data.timestamp
+            player.audioInputNode.port.postMessage({ timestamp, samples }, [samples.buffer])
+          } catch (e) {
+            // エラーが発生した場合には再生を停止する
+            await this.stopPlayer(playerId)
+            throw e
+          }
+        } finally {
+          data.close()
         }
       },
       error: async (error: DOMException) => {

packages/mp4-media-stream/wasm/Cargo.toml

@@ -14,4 +14,4 @@ futures = "0.3.31"
 orfail = { version = "1.1.0", features = ["serde"] }
 serde = { version = "1.0.210", features = ["derive"] }
 serde_json = "1.0.128"
-shiguredo_mp4 = "2024.3.0"
+shiguredo_mp4 = "2024.4.0"