AIエンジニア（プロダクトMLOpsリード）【リモート可】（正社員） / 会社名非公開

AI活用やデータビジネスの拡大に伴い、同社製品や業務システムにおいても先端技術を取り入れ、新たな価値を創出し、DX（デジタルトランスフォーメーション）を実行することが不可欠となっています。
これを推進するためには、技術の獲得から開発・実装・運用までを一貫してリードできる人材が求められています。その中でも特に、各事業部が製品開発を行う際のAI機能実装を支援できる体制を強化することが重要です。そこで今回、事業部横断でAI導入をサポートしながら、開発現場と共に新しい価値を実現していけるエンジニアを募集することとなりました。

【具体的な業務内容】
■税務、会計、その他バックオフィス領域における業務課題を理解し、AIを活用したソリューション、プロダクト、AIエージェントを設計・実装する
■顧客・実利用者へのヒアリングや利用状況の観察を、プロダクト責任者・事業部門と共同で行い、対象業務、期待する成果、許容できない失敗を明確にする
■AIエージェントの品質を継続的に評価するための評価セットを設計・構築する
■代表的な業務ケース、失敗ケース、境界ケースの収集・整理
■正解例、期待する振る舞い、評価基準、ルーブリックの設計
■実利用環境で発生した事例をもとにした評価セットの継続的な更新
■自動評価、人手評価、実利用結果を組み合わせ、AIエージェントの品質を評価・分析する
■業務要件に合わせて、モデル、プロンプト、コンテキスト、RAG、検索方式、ツール構成などを適応・最適化する
■複数のモデルやプロバイダーを比較し、品質、コスト、レイテンシを踏まえて適切な構成を選定する
■評価結果や顧客フィードバックをもとに、AIエージェントのプロンプト、ワークフロー、検索、ツール利用、フォールバックなどを改善する
■モデル、プロンプト、評価セット、評価器などのバージョンを管理し、評価結果を再現・比較できる仕組みを整備する
■LLMアプリケーションのトレース、エラー分析、実験管理、品質モニタリングを整備する
■長時間実行されるAIエージェントについて、リトライ、冪等性、途中再開、人へのエスカレーションなどの信頼性を設計する
■複数のAI機能で再利用できる評価標準、ツール、品質管理プロセスを整備する
■開発したAI機能を、実際のプロダクトや顧客の業務フローへ組み込み、利用結果をもとに継続的に改善する…