遊戲 AI 伴侶「かぐや」

一個主要由 keithku321 開發的私人 Windows 伴侶項目，能觀看畫面上的遊戲並加以評論，在 Discord 上以記憶聊天，並以動態 Live2D 角色現身；預設使用本地模型，並可選用雲端後備。本人負責令角色眨眼、環顧及隨說話做出手勢的動作層、透過本地視覺模型理解 Discord 聊天中的圖片，以及較新 Python 版本的安裝路徑。此處列出的技術屬於整個項目；本人的工作以 Python 配合 VTube Studio API 進行。由於程式庫為私人性質，本頁只提供文字說明及統計數字。

• 為 VTube Studio 編寫動作引擎，646 行全部由本人提交：以種子控制的眨眼、視線及擺動，以及把 16 種情感各自表示為情緒維度（愉悅度、激發度、支配度）座標、並以 0.45 秒時間常數平滑過渡的面部表情，全部經單一 30 Hz 迴圈送出。
• 按語音片段的音量規劃語音手勢：在響亮的起音處加入細微動作，每 0.6 秒最多一次，另按片段長度加入最多三個較大的手勢；測試時使用模擬語音片段。
• 以文字驅動口部，令無人讀出的台詞同樣帶動口部及頭部；口型由文字生成，每次結果相同，並已於終端機聊天中實機驗證，Discord 一方則只以模擬物件測試。
• 視線跟隨滑鼠：每隔 25 至 70 秒，雙眼望向游標 3.5 至 7.5 秒，並會讓路給語音手勢；已讀回引擎數值，於一段 14 秒片段上核對。
• 透過本地 Ollama 視覺模型理解 Discord 聊天中的圖片，並將圖片描述視為不可信數據，確保圖片內容不會進入記憶或雲端。此功能新增 35 個測試函式，以模擬物件運行；真實視覺模型配合真實圖片尚未驗證。
• 為 Python 3.13 及 3.14 建立安裝路徑，3.11 及 3.12 的設定維持不變；較新版本尚未完成完整運行驗證。
• 項目中現存 55 個動作及安裝相關的測試函式；此數字由原始碼點算得出，並非測試運行結果。

1. 1

   伴侶的回覆

   由 keithku321 的系統決定回覆內容、展示的情感，以及台詞是否讀出。

   語音片段，或回覆文字

2. 2

   口型包絡

   語音片段使用 keithku321 的語音跟隨口型；無人讀出的台詞則以本人的文字口型走同一路徑。

   隨時間變化的音量

3. 3

   語音規劃器

   在響亮的起音處安排細微動作，並按片段長度安排最多三個較大的手勢。

   已規劃的手勢

4. 4

   動作層

   以種子控制的眨眼、視線、擺動及呼吸，加上平滑過渡的情緒及視線跟隨滑鼠，各自產生細微偏移。

   各層的偏移值

5. 5

   混合器與迴圈

   由一個混合器疊加各層，並由單一迴圈負責寫入，因此口部與動作不會互相覆蓋。

   每秒 30 次，每次一個請求

6. 6

   VTube Studio

   接收數值，帶動畫面上的 Live2D 角色。

此項目沒有錄影片段。