编年史 v0.1.0

• 前端集成 VRM（12 月 5 日）

  • VRM 闲置动画（12 月 6 日）
  • VRM 眨眼睛（12 月 7 日）

• 嘴巴（6 月 8 日）

  • 创建 unspeech 项目（12 月 13 日）
    • 接入 TTS（6 月 8 日）
    • 接了 11Labs
      • 封装独立的 11Labs 类型包（12 月 3 日）

• 听觉（12 月 12 日）

  • 实现说话按钮（6 月 9 日）
  • 音频转写文字
    • 前端音频串流给后端
      • 使用 socket.io 通过 WebSocket 做双向通信 Socket.IO（6 月 10 日）
        • socket.io 其实并不是基于 WebSocket 的
          • node.js - What is the major scenario to use Socket.IO - Stack Overflow
          • node.js - Differences between socket.io and websockets - Stack Overflow
        • 前端用 socket.io-client 包，pnpm i socket.io-client
          • WebSocket 支持比较好，Nuxt 用的 Nitro 也支持，How to use with Nuxt | Socket.IO
        • 后端用 socket.io 包，pnpm i socket.io
        • Nuxt 3 与 socket.io
          • richardeschloss/nuxt-socket-io: Nuxt Socket IO - socket.io client and server module for Nuxt
          • javascript - Socket.io websocket not working in Nuxt 3 when in production - Stack Overflow
          • adityar15/nuxt3socket (github.com)
      • 使用 WebRTC 做音频串流，VueUse 也支持
        • Nuxt 和 Nitro 好像还没有支持，暂时不做这步吧，群聊或者 Discord 的时候可以考虑
        • 教程
          • 媒体设备使用入门 | WebRTC
          • WebRTC | JavaScript 标准参考教程
    • Transformers.js + Whisper 即可
      • 现在 Chrome / Edge 已经支持 WebGPU
        • 有 Real-time Whisper WebGPU - a Hugging Face Space by Xenova 这个 Demo 可以参考，暂时没有开源
      • Whisper 直接在浏览器里面推理就可以了
      • WebGPU 暂时不支持支持了
        • 🤗 Transformers.js + ONNX Runtime WebGPU in Chrome extension | by Wei Lu | Medium
      • 综上所述，转 whisper.cpp 的嵌入式 Node.js CPP Addon 的方案
      • whisper.cpp
    • 教学
      • Realtime video transcription and translation with Whisper and NLLB on MacBook Air | by Wei Lu | Medium
      • 🤗 Transformers.js + ONNX Runtime WebGPU in Chrome extension | by Wei Lu | Medium
  • Whisper WebGPU Demo（12 月 10 日）
  • MicVAD Demo（12 月 11 日）
  • MicVAD + ONNX Whisper 实时转写（12 月 12 日）
  • dcrebbin/oai-voice-mode-chat-mac: Adds realtime chat for ChatGPT Voice Mode [Unofficial]

• 表情（7 月 9 日）

  • 前端侧 VRM 表情控制（12 月 7 日）

• 多语言

  • 界面多语言支持
    • feat: basic i18n (#2)（12 月 13 日）

• 界面优化

  • Canvas 场景移动端自适应（12 月 5 日）
    • Live2D Viewer 改进（12 月 5 日）
    • Live2D 模型放大和自适应比例（12 月 5 日）
  • 屏幕安全区（12 月 4 日）
  • 设置菜单 & 优化溢出（12 月 7 日）

Models

• VRM
  • 感谢 kwaa 的 @pixiv/three-vrm 指路
  • 相关工具和插件：
    • VRM Add-on for Blender
    • VRM format — Blender Extensions
    • Steam 上的 VRM Posing Desktop
    • Characters Product List | Vket Store
  • 动画支持：VRM Animation .vrma
    • vrma Spec
    • 3D Motion & Animationの人気の同人グッズ1283点を通販 - BOOTH
      • VRMアニメーション7種セット（.vrma） - VRoid Project - BOOTH
        • VRoid Hub introduces Photo Booth for animation playback! "VRM Animation (.vrma)" now listed on BOOTH, plus 7 free animation files!
        • malaybaku/AnimationClipToVrmaSample: Sample Project to Convert AnimationClip to VRM Animation (.vrma) in Unity