【弥生株式会社】【東京：リモート】AIアプリケーションエンジニア（DX・AX　※年収800万円以上（正社員）

【職務詳細】
・税務、会計、その他バックオフィス領域における業務課題を理解し、AIを活用したソリューション、プロダクト、AIエージェントを設計・実装する
・顧客・実利用者へのヒアリングや利用状況の観察を、プロダクト責任者・
　事業部門と共同で行い、対象業務、期待する成果、許容できない失敗を明確にする
・AIエージェントの品質を継続的に評価するための評価セットを設計・構築する
・代表的な業務ケース、失敗ケース、境界ケースの収集・整理
・正解例、期待する振る舞い、評価基準、ルーブリックの設計
・実利用環境で発生した事例をもとにした評価セットの継続的な更新
・自動評価、人手評価、実利用結果を組み合わせ、
　AIエージェントの品質を評価・分析する
・業務要件に合わせて、モデル、プロンプト、コンテキスト、RAG、検索方式、
　ツール構成などを適応・最適化する
・複数のモデルやプロバイダーを比較し、品質、コスト、
　レイテンシを踏まえて適切な構成を選定する
・評価結果や顧客フィードバックをもとに、AIエージェントのプロンプト、
　ワークフロー、検索、ツール利用、フォールバックなどを改善する
・モデル、プロンプト、評価セット、評価器などのバージョンを管理し、
　評価結果を再現・比較できる仕組みを整備する
・LLMアプリケーションのトレース、エラー分析、実験管理、
　品質モニタリングを整備する

【業務内容変更の範囲】
会社の指示する業務