名古屋観光案内エージェントの実装とコスト・性能分析

本稿では、日本語特化型 LLM「Sakana Namazu」を用いて、ローカル知識ベースをfunction calling で参照する名古屋観光案内エージェントを実装し、保存済みの 12 クエリ各 1 回の実行結果を Kimi K2.6 と比較する。Sakana Namazu の平均応答時間は 5.8 秒、Kimi K2.6 は 35.3 秒で、全 12 問で Sakana Namazu の方が短かった(クエリ別速度比の中央値 6.2 倍)。入力をすべて通常単価とみなした Sakana Namazu の費用試算は 1 クエリ 7.66 mUSD(約 1.15 円、Kimi K2.6 は 8.76 mUSD)で、入力の 80%がキャッシュ単価になる仮定では約 24%低減する。API が明示したキャッシュ入力だけを割り引く保守的試算は 6.92 mUSD だが、報告内訳が不完全なため実課金額ではない。品質面では期待語の平均出現率が Namazu 92%、Kimi 96%であった。検証済み参照情報を与えた OpenAIgpt-5.6-sol 審査員では、正確さの平均が Namazu 3.83、Kimi 3.75(各 5 点満点)となり、料金の適用時点、旅程計算、施設混同などの問題を検出した。追加実験では、同一審査員の再審査 2 回と別審査員(gpt-5.6-terra)1 回で審査の一致を測定し(全基準の完全一致率は同一審査員間 86%・別審査員間 86%)、両モデルの正確さ平均の差は採点変動の範囲内にあり、別審査員では順位が逆転した。また時点依存の 6 問で Web 検索($7/1,000 回)の選択的併用を試したが、検索は 1 問でしか起動せず、正確さ平均は改善しなかった(費用は 1.3 倍)。したがって本実験が支持するのは、限定した実行環境での Namazu のレイテンシ優位と低い試算費用であり、事実正確性や一般的なモデル優位性の確証ではない。事後監査では、知識ベースに料金の曜日差の欠落と、参照 URL の対象不一致も見つかった。本番利用には出典・更新日の記録だけでなく、リンク先と格納値の定期検証、料金改定日の明示、モデルから独立した人手評価を組み込む必要がある。