C 向けパーソナル Agent の AI Infra

初日からユーザーを理解するパーソナル Agent

C 向けパーソナル Agent プロジェクトにおいて、AI Infra 全体を設計・構築しました。ユーザーの同意に基づくデータ、嗜好、長期記憶、リアルタイム行動を検索可能なコンテキストに変換し、複雑な Prompt の繰り返しを減らしながら、嗜好に沿った能動的レコメンドを実現します。EKS CPU Pod は Agent 編成、Profile、Memory、Tool Gateway、通知を担当します。ポリシールーターは複雑度、機密性、コストに応じて小型・中型・VPC 内プライベート・Embedding・安全性モデルを選択し、GPU Node Group が Private LLM、Embedding、Reranker を弾力的に実行します。

プライバシー境界を維持しながらユーザー操作を減らし、GPU の弾力運用、階層型モデルルーティング、推論高速化によって遅延とコストを制御しました。