AIデータインテグレーションエンジニア【みなとみらい】（正社員） / 会社名非公開

【概要】
■社内に蓄積された非構造化データ（テキスト、ログ、画像、音声など）を収集・分析し、構造化プロセスを経て、生成AIやRAGシステム、AIエージェントに適用可能な形に変換する役割を担います。
■最先端のAI技術を持ちいて自社データの価値を最大化し、業務の効率化や新価値創出に寄与するポジションです。
■他部署との連携（データサイエンス、システム開発、業務部門等）を通して、データの価値最大化を目指します。

【具体的な例】
■非構造化データの解析と前処理
L テキスト、画像、音声等の非構造化データの抽出、クレンジング、正規化、メタデータの付与
L NLPや画像解析、音声解析の技術を活用し、データの意味抽出や分類、タグ付けを実施
L 検索精度を向上させるための、ドキュメントパース／チャンキング処理を実施

■データ連携の設計
L RAG（Retrieval-Augmented Generation）システム、AIエージェントシステムとデータを連携するためのインタフェース設計
L 自然言語UIによる対話的クエリ実行処理の検討

■RAG（Retrieval-Augmented Generation）システムにおける検索処理最適化
L 構造化データと非構造化データのハイブリッド利用による情報検索基盤の開発・導入検討
L ベクトルDBやグラフDB活用による検索のためのデータ構造及びインデキシングの最適化
L マルチモーダルデータ基盤の導入企画

【利用技術】
■プログラミング言語：Python、SQL等
■データ処理・分析：Pandas、NumPy、Spark等
■自然言語処理（NLP）：BART, Transformers, mecab等
■機械学習/ディープラーニングフレームワーク：TensorFlow、PyTorch、scikit-learn
■データベース：リレーショナルDB（PostgreSQL, MySQL）、NoSQL（MongoDBなど）、ベクトルDB（Elasticsearchなど）、グラフDB （Neptune, neo4j）
■生成AI関連：OpenAI API、GPT、BERT系モデル、RAGのためのカスタム実装もしくは既存ライブラリの活用
■クラウドプラットフォーム：AWS、Azureなどのクラウドサービス
■バージョン管理：Git、CI/CD…