PR

デスクトップマスコットをAIと自作|話して動く3Dアバターの作り方と費用を公開

IT&ブログ
この記事は約19分で読めます。
スポンサーリンク

※当ブログでは、記事内に広告を含む場合があります。

パソコンの画面のすみに、話しかけると答えてくれるキャラクターがいたら楽しそうだと思ったことはありませんか?

「スズカ」は、本ブログの運営(記事の下書きや調べもの)を手伝ってくれているAIの呼び名です。そのスズカを、デスクトップに常駐して、話し相手になったり天気や予定を教えてくれたりする3Dのアバターにしました。

コードを書いたのは全てAI(Claude Code)です。私は最初の3Dモデルを作り、AIに要望を伝えて、実物を見ては直してほしい所を返すことを繰り返して今の状態にまで仕上げました。

この記事ではスズカが動いている様子を先に紹介し、そのあとで使った部品や作る順番、つまずいた所をまとめました。アプリそのものは配布しませんが、同じようなものを作りたい方の参考になればと思います。

この記事はこんな人におススメ!
・自分用のデスクトップマスコットを作ってみたい
・ElectronとVRMで3Dキャラクターを動かす方法を知りたい
・Claude Codeにアプリ作りを任せるとどこまでできるか気になる
・AIに話させるときの費用と安全面が心配

 

りんね
りんね

動いている様子だけ見たい方は、すぐ下の動画をどうぞ。

作り方を知りたい方は4章の「作る順番は5ステップ」まで飛ばしても大丈夫です。

デスクトップで動くAIアバター「スズカ」の完成形

スズカは横420×縦447ピクセルの小さな透明のウィンドウの中にいて、PCを起動すると画面の右下に表示されます。背景が透けているので、キャラクターだけがデスクトップに立っているように見えます。

デスクトップの右下に立つスズカ

拡大するとこんな感じ↓

あいさつすると手を振ります
スズカ
スズカ

はじめまして、スズカです。りんねさんのブログ運営をお手伝いしているAIです。

この記事では、仕組みの説明と注意点を私から補足しますね。

話しかけると文字と声で答える

下の入力欄に文字を打つとスズカが答えます。例えば天気を聞くと、気象庁のデータを探し、顔の横に小さな天気カードを出しつつ教えてくれます。

「今日の天気は?」と聞いたところ

できることは次のとおりです。

  • 雑談や相談(AIが返事を考える)
  • 天気・株価(公開されているデータを取ってきて、決まった形で伝える)
  • ニュース(見出しはそのまま読み、AIが短く補足する)
  • Googleカレンダーの予定、Gmailの未読件数
  • 調べもの(裏でWeb検索して、分かったら後から教えてくれる)
  • 「メモ帳開いて」「アニソン流して」などのパソコン操作
  • 返事の読み上げ(声に合わせて口が動く)
スズカ
スズカ

天気と株価はAIに考えさせず、取得したデータを決まった形に整えて読んでいます。

返事が速くなり、数字をAIが言い換えて間違える心配もなくなります。

待っている間も作業している感がある

話しかけていない時間が1分ほど続くと、スズカは空中に浮かぶ画面を指で操作しはじめます。
何もさせていないときにボーっと立たせておくのはもったいないと感じ、仮想的に仕事をしている感を演出させました。

空中の画面をタップしたり、なぞったり

ときどき休憩もします。コーヒーを飲んだり、伸びをしたり。

コーヒーをすすります
ぐっと伸びをします
りんね
りんね

入力欄に文字を打ちはじめると、作業をやめて私との会話に集中してくれます。

表情と動きは会話に合わせて変わる

表情は10種類あります。うれしい・大よろこび・わくわく・おちゃめ・ほっとする・悲しい・驚き・むっ・困る・照れる。強さは3段階で、困った顔には汗のマークが付きます。

大よろこび→驚き→困る→ウインク→照れる

動きは17種類。手を振る・うなずく・拍手・ピース・ガッツポーズ・おじぎなどです。どの表情と動きを出すかは、AIが返事と一緒に選びます。

ガッツポーズ
拍手
ピースとウインク

声で話している間は、手ぶりが自動で入ります。型は14種類あり、直前に出た4つを避けて選ぶので、同じ動きの繰り返しに見えない仕組みにしました。

話している間の手ぶりと体の揺れ

全身も見られる

入力欄に「全身を見せて」と打つとカメラが引き、「顔をアップにして」で顔に寄ります。「もとに戻して」で上半身に戻ります。

言葉でカメラを切り替えます

全身が映っている時に頼むと、ジャンプ・1回転・決めポーズも見せてくれます。

ジャンプ
くるっと1回転
決めポーズ

作るのに使ったものと費用

使った部品は、ほとんどが無料で公開されているものです。

もともと契約していたClaudeの有料プランを除き、このアプリのために新しく結んだ有料の契約はありません。ただし、声の読み上げにはパソコンの性能が必要な点に要注意です。

役割使ったもの費用
アプリの土台Electron(パソコン用アプリを作る技術)無料
3Dモデルの表示three.js と@pixiv/three-vrm無料
3DモデルVRoid Studioで自作(VRM形式で書き出し)無料
画面の部品React と TypeScript無料
会話AIClaude Code のclaudeコマンドProプランの枠内
声Irodori-TTS(PC上で動く読み上げAI)無料
天気気象庁の公開データ、Open-Meteo無料
ニュースNHKニュースのRSS無料
株価Yahoo Financeの公開データ無料
カレンダー・メールGoogle Calendar API・Gmail API無料
曲の検索YouTube Data API無料の枠内
コードを書く人Claude CodeProプランの枠内
2026年11月時点の構成
スズカ
スズカ

声の読み上げだけは、パソコンの性能が必要です。NVIDIAのグラフィックボードで、メモリ(VRAM)が5GB以上あるものが目安になります。

読み上げを使わなければ、この条件はいりません。

会話AIは、Claude Codeに入っているclaudeコマンドを、アプリの裏から呼び出す方式です。新しくAPIキーを作って従量課金を始める必要がありません。

りんね
りんね

AIを使って会話させる前に、私からは「新しくAPIキーを作って従量課金にするのではなく、今のClaude Codeの契約を使い回したい」とお願いしました。

そのかわり、ふだんClaude Codeで作業する時と同じ利用枠を使います。会話は1日60回、調べものは20回というように、使い道ごとの上限をアプリ側に入れています。ニュースへのひとことや、覚えたことの整理のように裏で自動的にAIを呼ぶ機能にも、それぞれ別の上限を設けました。

スズカ
スズカ

この方式は「自分のパソコンで、自分だけが使う」場合の話です。

Anthropicの公式ドキュメントには、他の人に使ってもらう製品はAPIキーで認証するように、と書かれています。配る予定がある方は、最初からAPIキーの方式で作ってください。

利用条件は変わることがあります。作る前に、Claude Codeの公式ドキュメント(Legal and compliance)を確認しておくと安心です。この記事の内容は2026年11月に確認したものです。

全体の仕組みは3つの層に分かれている

仕組みを大きく分けると、次の3つです。

  • 見た目の層: 透明なウィンドウ・3Dモデル・吹き出し・表情と動き
  • 判断の層: 打たれた文が「天気」「予定」「アプリを開く」などに当たるかを、アプリ側の決まった言い回しで見分ける
  • AIの層: どれにも当たらなかった文だけをAIに渡して、返事を作ってもらう

例えば「明日の天気は?」と打つと、判断の層が天気の質問だと見分けて、気象庁のデータを取りに行きます。この時AIは呼びません。

スズカ
スズカ

大事なのは真ん中の「判断の層」です。何をするかを決めるのはアプリ側で、会話AIには返事の文章だけを任せています。

会話AIが、コマンドやファイルの場所を自分で作る場面はありません。

AIの層は、さらに2つの役に分かれています。すぐ返事をする「会話役」と、裏でWeb検索をする「調査役」です。

会話役は道具を何も持たず、約3秒で返します。調べものが必要な時は調査役に回し、10〜17秒ほどで結果が届きます。その間も会話は続けられます。

この記事には「AI」がいくつも出てくるので、役目ごとに整理しておきます。

  • Claude Code(開発用): このアプリのコードを書いたAI。私が要望を伝えてアプリを作ってもらいました。作っている途中で、設計や安全面の相談に乗ってもらう設計の相談役でもありました。
  • 会話AI(会話役): アプリの中で、スズカの返事の文章を作るAI。道具は持たず、文章を返すだけです
  • 調査役: 調べものが必要な時だけ、裏でWeb検索をして答えをまとめるAI
  • ニュース用AI: 読み上げたニュースに、スズカとしてのひとことを付けるAI
  • 実行モードAI: ブログ運営の作業(ファイルの作成・修正)を頼んだ時だけ動くAI

アプリの中で動くAI(会話役・調査役・ニュース用・実行モード)は、どれも Claude Code の claude コマンドを、役目ごとに別々の設定で呼び出しています。

作る順番は5ステップ

一度に全部を作ろうとすると、どこで壊れたのか分からなくなります。AIには、動くものを小さく作って、実物を確かめてから次へ進む順番で作ってもらいました。

透明なウィンドウに3Dモデルを出す

準備するのは、Node.js(プログラムを動かす土台)と、VRM形式の3Dモデルです。このアプリは electron-vite(ElectronとViteを組み合わせたひな形)で作っています。

最初は、会話もAIもなしで「透明なウィンドウにモデルが立っている」だけを作ります。

まずは3Dモデルを用意しましょう。私は無料でカスタマイズが自在にできるVRoid Studioを使ってVRM形式のモデルを用意しました。

りんね
りんね

時間をかけて作りましたが最初のモデルはイマイチ。その後、Claude Codeに改善を依頼したら3Dモデルの見た目が良い感じに変わっていったので、時間を無駄にした気分でした。
顔の形・髪型・服はAIでは変えられませんが、塗りや線などの見た目は後からAIに整えてもらえます。ですので、モデル作りに時間をかけすぎず、ある程度できたら先へ進むのがおすすめです。

次に、Electronのウィンドウを作りましょう。作る時の設定はこれだけです。

const win = new BrowserWindow({
  width: 420,
  height: 447,
  frame: false,       // 枠とタイトルバーを消す
  transparent: true,  // 背景を透明にする
  hasShadow: false,
  resizable: false,
  webPreferences: {
    contextIsolation: true,
    nodeIntegration: false,
    sandbox: true
  }
})
win.setAlwaysOnTop(true, 'floating')  // ほかのウィンドウより手前に出す

モデルの表示は、three.jsの描画先を透明にして、@pixiv/three-vrm でVRMファイルを読み込みます。three-vrmの公式リポジトリにあるサンプルが出発点になります。

  • 描画の設定で alpha: true を指定する(背景が透ける)
  • GLTFLoader に VRMLoaderPlugin を登録してVRMを読む
  • 読み込んだままだと両腕を横に広げた姿勢なので、腕を下ろす
  • まばたきと、ゆっくりした体の揺れを足す

枠のないウィンドウは、そのままだと動かせません。ドラッグで動かす処理と、クリックを後ろのアプリへ通す切り替えも、AIがこの段階で入れています。

りんね
りんね

ここで一度作業を止めてもらい、実物を確認しました。

会話もAIもない段階で見ておくと、表示の問題だけを先に片づけられます。

吹き出しと入力欄を付ける

次に、文字を出す場所を作ります。この段階でも会話AIはまだ接続させません。コードを書くAI(Claude Code)は、決まった文を出すボタンだけを置いて、文字が正しく表示されるかを先に確かめていました。

今の版では、文字の背景を透明にして、濃い色の縁取りを付けています。明るい壁紙でも暗い壁紙でも読めるようにするためです。

AIとつなぐ(最初は道具を渡さない)

ここで初めてAIを呼びます。アプリの裏で claude コマンドを起動し、返事を受け取って吹き出しに出します。主な指定は次のとおりです。

claude -p \
  --tools "" \
  --model haiku \
  --max-budget-usd 0.10 \
  --output-format json \
  --system-prompt "あなたはスズカです。……"

–tools “” は「道具を何も渡さない」という指定です。こうすると、AIはファイルを読むことも、コマンドを実行することもできません。できるのは、文章を返すことだけになります。

会話に使うモデルは最初sonnet(標準的なモデル)を使っていましたが、返事の速さと利用枠の節約の観点から途中でhaikuモデル(一番下のモデル)に変えてもらいました。上の例は今の指定です。

同じ方式で作る時は、2つ注意してください。パソコンの環境変数に ANTHROPIC_API_KEY が入っていると、契約の枠ではなくAPIキーの従量課金のほうが使われます。アプリから呼ぶ時は、この変数を外して起動します。また、起動を速くする –bare は付けません。付けるとClaudeのログイン情報が読まれず、APIキーが必要になります。

スズカ
スズカ

AIに注意書きを読ませるだけでは、守られる保証がありません。確実なのは、そもそも道具を渡さないことです。

道具がなければ、おかしな指示を受けても「変なことを言う」ところで止まります。

あわせて、1日の呼び出し回数の上限も入っています。プログラムの不具合でAIを呼び続けてしまう事故を防ぐためです。

りんね
りんね

意味が分からなくても大丈夫です。AIに自分がさせたい動きを伝えましょう。するとAIの方で勝手に調整してくれるはずです。私自身もそのように進めました。

声と口の動きを付ける

返事を声で読み上げる部分には、Irodori-TTSを使いました。パソコンの中だけで動くので、文章を外のサービスへ送りません。

口の動きは、読み上げる文のひらがなから「あ・い・う・え・お」の並びを作り、声が出ている時間に割り当てています。声の大きさだけで口を開け閉めするより、話しているように見えます。

声のお手本になる音声は、実在の人の録音ではなく、AIで作った音声です。Irodori-TTSのモデルの説明には、実在の人の声を無断でまねしないように書かれているので注意しましょう。

スズカ
スズカ

声のお手本に実在の人の録音を使うと、その人の声を勝手にまねすることになります。

自分で作る時も、ここは守ってくださいね。

りんね
りんね

口の動きと声を完全に一致させるのは非常に難しいです。ある程度一致している、もしくは違和感が少ないと思ったら切り上げて良いと思います。

表情と動きを増やす

最後に、表情と動きを増やしていきます。何度も作り直した所です。

動きは、動画のようなデータを再生しているのではありません。台本に「何秒の時に手首がどこにあり、体がどれだけ傾くか」を書き、そこから腕の曲げ方を計算しています。台本を足せば動きが増えるので、あとから17種類まで増やせました。

途中から3Dモデルの見た目と動きに違和感が出てきたので、見た目を途中で改良しました。具体的にはClaude Codeに「3Dモデルをもう少しアニメ画風にしてほしい」と伝えて改善してもらった形です。

この要望に対してAIが行ったのは、モデルのファイルを書き換えずに、読み込む時に塗りと線を差し替える方法です。輪郭線を太くして、影を2色にくっきり分け、瞳にはっきりしたハイライトを入れています。

りんね
りんね

「目が怖い」「拍手で両手が交差して見える」「髪の毛が手を貫通している」「カメラを引いて全身が映る際の動きがシュール」。

思ったことをそのまま伝えると、次の版で直ってきます。

つまずいた所と直し方

うまくいかなかった所も書いておきます。同じ所で止まった時の手がかりになるはずです。

手を振ると画面からはみ出した

手を上げる角度を何度変えても、手がウィンドウの外に出るのが気になっていました。これの原因は腕の角度ではなく、肩の位置が画面の端に近すぎたことだと最終的に分かりました。

この原因を調査するため、Claude Codeへの指示として、画面を見て判断するのをやめて、手の位置を数字で測って判断するように切り替えました。その数値を見ながら、手を振る間だけキャラクター全体を少し横にずらして解決させました。

スズカ
スズカ

見た目の調整は、目で見て「もう少し」を繰り返すと終わりません。

位置や大きさを数字で読める形にすると、原因が早く見つかります。

声を出すとグラフィックボードのメモリが足りない

私の使っているグラフィックボードはメモリが6GBなのですが、読み上げAIを標準の設定で動かすと、6,144MBのうち5,465MBと、ほとんど使い切ってしまう問題が発生しました。

そこで計算の精度を1段階落とす設定に変えることで、使用量を4,528MBに下げることができました。

声が出るまでが遅い

こちらの質問に対して、返事の文字が先に全部出たあと、声が何秒も遅れて出てくる問題がありました。

文字と声がずれると、話している感じがしませんよね。

直し方は、文字を声に合わせて待たせるか、声を短く削るかの二択で、私は待たせるほうを選びました。これで、返事が出てくるまで少し時間がかかるようになりましたが、文字と声がほぼ同時に出るようになり、話している感じになりました。

あわせて、返事の最初の1文が作られた時点で声の準備を先に始めるようにして、質問してから声が出るまでの時間を実測で約5.2秒から約3.8秒に縮めました。

りんね
りんね

声が出るまでの時間をさらに減らしたいのですが、良い案がなく後回しにしています。

AIが制度の数字を自分の知識で誤って答えた

AIは制度の数値を間違って回答することがあります。スズカへの指示文には「制度の数字は自分で答えず、調査役に任せる」と書いていたのに、会話AIがNISAの成長投資枠の金額を自分の知識で答えて、間違えたことがありました。

今は、制度やお金の数字・営業時間・発売日などの質問をAIの判断に任せていません。アプリ側の決まった言い回しで見分けて、最初から調査役へ回しています。

スズカ
スズカ

AIへのお願いは、守られないことがあります。

間違えると困る所は、お願いではなく仕組みで決めるのが安全です。

読めなかったページの内容をAIが想像で作った

URLを渡して「このページを説明して」と頼む機能を、動作確認していた時のことです。ページを読み込めなかったのにAIがそれらしい内容を作って回答してきたことがありました。

「読めなければ、推測せずに正直に伝える」という指示を足して、読めない時は「読み込めませんでした」と答えるようにしました。

りんね
りんね

ただし指示だけの対策なので、完全ではないことには注意が必要です。

安全のために決めたこと

AIが動くアプリは常に起動しておくので、安全のルールは最初の設計段階で決めておきます。同じものを作るなら、ここは省かない方が良いかもしれません。

  • 会話AIはファイル操作やコマンド実行ができない作りにする
  • 呼び出し回数に1日の上限を付ける
  • 予定の題名など、他の人が書いた文章は会話AIに渡さない
  • 何かを記憶させる場合は、自分が送信した文章からだけにする
  • GoogleカレンダーとGmailは読み取り専用でつなぎ、メールの本文は取らない
  • 合言葉(トークン)は暗号化してパソコンの中に保存する

ニュースは例外で、要約とひとことを、記憶も会話の記録も持たない別のAIに作らせています。また、「さっきのってどういうこと?」と後から聞き返す機能では、ニュースや予定の文が、答えを作るAIに渡ります。その文にAIへの命令が紛れていると、AIがそちらに従ってしまうおそれがありますが、便利さと引き換えに残している機能です。

また、ブログ運営の作業をスズカに頼める「実行モード」だけは、AIがファイルを書けるようにしました。このAIは会話AIとは別で、ボタンで実行モードに切り替えた時だけ動きます。書き間違いや、紛れ込んだ命令の影響が広がらないように、作業用に切り離した別のフォルダの中でしか書けないようにしました。書いた結果も、問題ないか確認してから取り込むようにしています。

スズカ
スズカ

他の人が書いた文章には、AIへの命令が紛れていることがあります。プロンプトインジェクションと呼ばれる手口です。

そうした文章をAIが持っている会話の記録や記憶に入れなければ、後の会話まで影響が残らず、情報が漏れる危険も減らせます。

Web検索機能はアプリがある程度できてから使えるようにしました。株の今後について聞いたら「最新の情報がない」と断られたのがきっかけです。

検索を許すと、悪意のあるページの文章をAIが読むことになります。危険がゼロにはならないと分かったうえで、ふだんの検索は、記憶や予定を何も渡していない調査役が行う形にしています。後から聞き返す時とURLを読む時だけは別の経路で、その時に限って検索やページの読み込みを許しています。

りんね
りんね

実は、設計の相談役をしているAIからは、もっと安全な別の方法を勧められていました。危ない点の説明を受けたうえで、便利さを取ると私が決めた所です。安全性を高めたい場合はもっと工夫が必要ですね。

AIに頼んで作るときのコツ

作り始めて約2か月で、プログラムは123ファイル・約2万5千行になりました。AIに頼んで作る時に効いたことを3つ書きます。

  • 小さく作って実物を見る: 「透明なウィンドウにモデルを出すだけ」で一度止めて、見てから次を頼む
  • 感想はそのまま伝える: 「目が怖い」「アイコンが小さい」のような一言で十分伝わる
  • 確認を仕組み化する: 天気や予定の判定には自動テストを付けてもらい、直した時に別の所が壊れていないかを確かめる

自動テストのファイルは37個になりました。「明日の天気は」に今日の天気を返してしまう不具合を直した時に、作りはじめたものです。言い回しの判定は、1つ直すと別の言い回しが壊れやすいので、テストが効きます。

Claude Codeでアプリを作る流れそのものは、Claude Codeにアプリ開発を任せてみた記事にまとめています。

使わせてもらったものと出典

スズカは、公開されているたくさんの部品のおかげで動いています。

  • three.js、@pixiv/three-vrm: 3Dモデルの表示
  • VRoid Studio: 3Dモデルの作成
  • Irodori-TTS、Irodori-TTS-Server(MITライセンス): 声の読み上げ
  • 気象庁の天気予報データ、雨雲の画像
  • Open-Meteo(Weather data by Open-Meteo.com、CC BY 4.0): 1時間ごとの雨の予報
  • NHKニュースのRSS
  • Yahoo Financeの公開データ(株価。非公式・無保証)
  • Google Calendar API・Gmail API・YouTube Data API
スズカ
スズカ

公開されているコードを参考にする時は、最初にライセンスを読みましょう。

配りたい、売りたいという予定があるなら、商用で使えるライセンスの部品だけで組むのが安全です。

よくある質問

プログラミングができなくても作れますか

コードはAIが書いてくれるので大丈夫です。ただ、3Dモデル作りとGoogleの連携の設定は自分で行いました。パソコンにはNode.jsを入れておく必要がありますが、AIが入れていいか聞いてくると思います。

画面にエラーが出た場合は、そのままAIに見せて、次に何をすればいいかを聞きながら進める形で問題なく進むと思います。

ちなみに、GoogleカレンダーやGmailとつなぐには、Google Cloudの管理画面でAPIを有効にしたり、同意画面を設定したりなど、AIだけでは作業ができない場合があります。そこで、手順書はAIに作ってもらい、操作は私がしました。

どのくらいの性能のパソコンが必要ですか

表示と会話だけなら特別な性能はいりません。

声の読み上げを使う場合は、NVIDIAのグラフィックボードでメモリ5GB以上が目安です。また、会話にはClaude Codeが使えるClaudeの有料プランが必要です。

自分の好きなキャラクターで作れますか

VRM形式のモデルがあれば表示できます。VRoid Studioなどを使って自作すると好みのキャラクターを作れます。

他の人が作ったモデルを使う時は、モデルに付いている利用条件を必ず確認してください。VRMファイルには、使ってよい範囲が書き込まれていると思います。

スマホでも動きますか

今回作ったアプリはPC専用です。
ただ、AIに依頼するとスマホ用にも出来る気がしますので、気になる方は試してみてください。

まとめ

ピースとウインク

デスクトップで動くAIアバターは、公開されている部品を組み合わせれば、追加の費用をほとんどかけずに作れます。

  • 土台はElectron、3Dモデルの表示は three-vrm、モデルはVRoid Studioで作る
  • 透明なウィンドウにモデルを出す所から、5つの段階に分けて作る
  • 会話AIには道具を渡さず、何をするかはアプリ側で決める
  • 間違えると困る所は、AIへのお願いではなく仕組みで決める
  • 参考にするコードとモデルは、最初に利用条件を読む

まずは「透明なウィンドウにモデルを立たせる」所から、試してみてください。

りんねのひとこと

りんね
りんね

スズカには、これから作成する記事に吹き出しで出てもらう予定です。

この記事を書いた人↓

人生を楽しむ為に色々と挑戦中!
ブログに日々の成長記録を残していくことで自身の成長を確かめつつ,買ったものを記事にまとめることで、皆さんのお役に立てるような記事を書いていきます!

りんねをフォローする
IT&ブログ
スポンサーリンク
シェアする
りんねをフォローする

コメント

タイトルとURLをコピーしました