ビッグデータ基盤構築【Python】

・膨大に蓄積している動画、音声、テキストデータを解析し､ 客観的な指標を元に出来る仕組みの構築に携わります｡ ・データサイエンティストとともにデータ基盤の構築をご担当いただきます｡ ・下記を行っていただきます｡ -データレイク / データウェアハウス新規構築 （必要な情報への迅速なアクセス､PoCフェーズにおける仮説検証の効率化のため､ 非構造化データを入れたデータレイクを容易に取り扱えるようにし、分析を促進） -新プロダクト製品版開発 （PoC 完了後､データサイエンティストが実装したアルゴリズムや仕組みを 安定したデータパイプラインとデータベースを構築し､ 商品化に向けて安定稼働させ、より良いプロダクトへと改善）

・Pythonによる開発経験 ・AWSやGCPなど、パブリッククラウドを活用したデータ基盤構築経験 ・BigQuery, Redshift などデータベースの構築、運用経験 ・Digdag, Airflow, Luigi などデータフロー管理ツールの使用経験 ・AWS Glue, GCP Cloud Dataflow,TalendなどのETLツールでのデータ連携処理と運用の経験尚可スキル・ユーザと会話を重ねながらシステムを構築、改善した経験 ・データ分析基盤の立ち上げに関わった経験 ・データサイエンティストとの協業経験 ・動画、音声、テキストなどの非定形データの取り扱い経験 ・Elasticsearch での開発、パフォーマンス改善経験※上記に似た経験やスキルをお持ちであれば申し込み可能なケースもございます！まずはお気軽にご相談ください！