Mercari, Inc.

Senior Software Engineer (Data Platform) – Merpay

18 November 2024
Full Time
Apply Now
Deadline date:
£67000 - £124000 / year

Job Description

JD in Japanese follows. 英文の後に和文JDをご覧いただけます。

Senior Software Engineer (Data Platform) – Merpay

  • Employment Status:Full-time
  • Work Hours:Full Flextime (no core time) 
  • Office: Roppongi
  • For more details, see the Overview of Our Positions section on our Careers site.

    　

About Mercari

Circulate all forms of value to unleash the potential in all people

“What can I do to help society thrive with the finite resources we have?” The Mercari marketplace app was born in 2013 out of this thought by our founder Shintaro Yamada as he traveled the world. We believe that by circulating all forms of value, not just physical things and money, we can create opportunities for anyone to realize their dreams and contribute to society and the people around them. Mercari aims to use technology to connect people all over the world and create a world where anyone can unleash their potential. For more information about Mercari Group’s mission, see Mercari’s Culture Doc.

Organization/Team Mission

Mercari Engineering Principles  

Mercari Engineering Principles are a shared understanding that serves as the foundation of engineering beliefs and behavior at Mercari. The Engineering Principles are designed to complement the organizational identity (Mercari’s mission, values, and culture) from an engineering viewpoint. 

These principles ultimately help us achieve Mercari’s mission by defining the ideal state we seek to realize in the long term. 

  • Passion For The Product
  • Grow Together
  • Solve Through Mechanisms
  • Collaborate Openly

For more details, please see the following link:

See here for more information about our mission and values.

Work Responsibilities 

  • Mercari Group utilizes data for business decisions and other processes in a wide variety of areas, including marketing, machine learning, and R&D. As part of Merpay’s Data Platform Team, you will design, develop and operate the data infrastructure/data pipelines which support data utilization for the entire Mercari Group, including not only Merpay, but the Mercari marketplace app. You will also be responsible for work on the Mercari Group’s data utilization as a whole.
  • The Data Platform Team is an engineering organization which builds the systems necessary to a wide range of domains that utilize data. This work includes development of an ecosystem enabling data collection, Data Lake, DWH, use of collected data and other processes required by data utilization. The following describes the responsibilities of a software engineer on the Data Platform Team, as well as the environment and organization in which they work:
  • Job Description
    • Collecting data from microservices
      • Developing batch-based data pipelines
      • Developing streaming-based data pipelines
      • Developing SDK for logging within microservices
    • Data Lake, DWH
      • Constructing Data Lakes for storing collected data
      • Managing partial permissions and resources on DWH
    • Data utilization
      • Developing tools to support use of data in Data Lakes and on DWH
      • Developing a platform to provide stream data processing function
    • Company-wide
      • Improving performance, aiming for low latency/high throughput according to application and middleware development, operation, and requirements
      • Developing tools to automate operations and/or lower costs
      • Identifying and solving technical issues with the system caused by engineering
  • Tools Used/Dev Environment
    • Programming languages: Python, Java, Scala
    • Infrastructure: Google Cloud Platform (Compute Engine, Kubernetes Engine, Dataflow, Pub/Sub, Cloud Storage, BigQuery, Spanner, Cloud SQL, Cloud Logging etc.), Confluent Cloud
    • Distributed processing: Apache Flink / Apache Spark / Kafka Connect
    • Workflow: Argo Workflows
    • BI tools: Looker / Data Studio
    • Configuration management tools: Terraform
    • Monitoring: Stackdriver Monitoring / Datadog / PagerDuty
    • CI/CD: Github Action / Spinnaker
    • Knowledge Tool: Confluence/Jira
    • Other: GitHub / Slack
    • Development Method: Agile (Scrum, Kanban, etc.)
  • Dev Organizations
    • As part of the Data Engineering Team, you will work on development alongside members with a broad range of expertise from the following organizations.
    • Teams
      • Data Management Team
      • Data Analytics Teams
      • Machine Learning Teams (Search, Recommendation, Credit, Anti Fraud, etc)
      • Product Teams (Marketing, CRM, Customer Support, Anti Fraud, etc)

Unique Challenges 

  • Opportunity to build large-scale data infrastructure to support the massive amounts of data generated by Mercrai Group, including the Mercari Marketplace app with its over 20M monthly users.
  • Work on development of an ecosystem to support data-driven business expansion by addressing the data utilization needs of many domains including analytics/decision-making, marketing, machine learning, and R&D.
  • Take on the entire data platform creation process, from design to development to operation, to revise existing data infrastructure and develop new features which meet new data utilization needs.

Qualifications 

  • Required Experience/Skills
    • A shared belief in Mercari and Merpay’s missions and values
    • A degree in computer science or a related field, or else five or more years of practical experience in software development
    • Experience designing, developing, and operating large-scale services and/or distributed systems
    • At least two of the following:
      • Experience developing in the cloud with AWS, GCP, etc.
      • Experience developing systems utilizing container technologies such as Kubernetes
      • Development experience using message queues like Cloud Pub/Sub and Apache Kafka
      • Experience in data processing development using distributed processing frameworks like Apache Flink and Apache Spark
      • Experience with ETL system using workflow engines like Airflow and Digdag
      • Experience designing application logs for large-scale services
  • Preferred Experience/Skills
    • Experience working at a financial institution, Fintech company, or EC company
    • Ability to identify the cause of technical system issues (e.g. drop in performance) and to resolve them
    • Knowledge of network protocols such as TCP/IP, HTTP, gRPC, etc.
    • Experience developing and operating software using two or more of the following: Go, Java, Scala, or Python
    • Developed data collection systems using Treasure Data-created OSS (such as Fluentd, Embulk)
    • Experience in development using DWH like BigQuery, Redshift, or Snowflake
    • Experience in development using RDBMS, including MySQL and RDS
    • Experience in development or cluster operation using the Hadoop ecosystem
    • Experience developing software based on a microservice architecture
    • Experience publishing and contributing to OSS
  • Language 
    • English: Basic (CEFR – A2) optional
    • Japanese: Independent (CEFR – B2)

For details about CEFR, see here 　

Learn More About Mercari Group

Recruiting at Mercari

At Mercari Group, we value empathizing with and embodying the mission and values ​​of the Group and each company. To promote the creation of an organization that maximizes the total amount of value exhibited by all members, we would like to understand the experience and skills of each candidate as accurately as possible.

Recruiting cycle at Mercari Group

  • Application screening
  • Skill assessment: For engineering positions, you will be asked to complete a skill assessment on HackerRank or GitHub. For non-engineering positions, you may be asked to complete an assessment depending on the position. (The timing of the assessment may coincide with the interview process.)
  • Interview: The number of interviews may vary depending on the position.
  • Reference check: We will ask for online references around the timing of the final interview.
  • Offer: Offers will be determined carefully in consideration of the final interview and the reference check.

　Learn more about our recruiting process here.

Equal Opportunity Hiring 

Here at Mercari, we work to realize a world in which no one’s potential is limited by their background and everyone has the opportunity to freely create value. We also firmly believe that a mindset of Inclusion & Diversity is essential for us to achieve our mission.

This, of course, extends to our hiring practices as well. Mercari is committed to eliminating discrimination based on age, gender, sexual orientation, race, religion, physical disability, and other such factors so that anyone who shares our mission and values can join us, regardless of their background. For more details, please read our I&D statement.

Please read and acknowledge our Privacy Policy prior to submitting your application.

Senior Software Engineer (Data Platform) – Merpay

  • 雇用形態：正社員
  • 働き方：フレックスタイム制（コアタイムなし・フレキシブルタイムなし）　
  • 勤務地：六本木

詳細はキャリアサイトの募集要項よりご確認ください
　

メルカリグループについて
あらゆる価値を循環させ、あらゆる人の可能性を広げる

「地球資源が限られているなか、より豊かな社会をつくるために何ができるか」。2013年、創業者の山田進太郎が世界一周の旅で抱いた課題意識から、フリマアプリ「メルカリ」は生まれました。私たちは、物理的なモノやお金に限らずあらゆる価値を循環させることで、誰もがやりたいことを実現し、人や社会に貢献するための選択肢を増やすことができると信じています。

テクノロジーの力で世界中の人々をつなぎ、あらゆる人の可能性が発揮される世界を実現していきます。メルカリグループの目指すべき方針については Mercari Culture Doc をご覧ください。

組織・チームのミッション

  •  Mercari Engineering Principles
    Mercari Engineering Principles は、メルカリのエンジニアリング組織における信念や行動の基盤となる共通認識を明文化したもので、メルカリのメンバー全員が共有するMission、Value、Cultureをエンジニアリングの視点から補完するものとなります。これらのPrinciplesは、私たちが長期的に実現しようとする理想的な姿を定義することで、最終的にメルカリのミッションを達成するために活用していきます。
  • Passion For The Product
  • Grow Together
  • Solve Through Mechanisms
  • Collaborate Openly

詳細についてはエンジニアリングカルチャー  をご覧ください

  • メルカリのミッション・バリューについての詳細はこちらをご覧ください

業務内容

  • メルカリグループでは事業推進上の意思決定をはじめ、マーケティング、機械学習、R&Dなど多様な領域においてデータが活用されています。メルペイのデータプラットフォームチームでは、現在メルペイだけではなくフリマアプリ「メルカリ」も含めたメルカリグループ全体におけるデータ活用を支えるデータインフラストラクチャ・データパイプラインを設計・開発ならびに運用し、グループのデータ活用を推進しています。
  • また、データプラットフォームチームはデータ活用において必要とされるデータ収集、Data Lake、DWH、収集されたデータを活用するためのエコシステム開発など、データにまつわる幅広い領域において必要なシステムを構築するエンジニアリング組織です。具体的な業務内容や環境、組織は以下の通りです。
  • 職務内容
    • マイクロサービスからのデータ収集
      • バッチベースのデータパイプライン開発
      • ストリーミングベースのデータパイプライン開発
      • マイクロサービスにおけるロギングのためのSDK開発
    • Data Lake、DWH
      • 収集したデータを保存するData Lake 構築
      • DWH上の一部権限、リソース管理
    • データ活用
      • Data Lake / DWH上のデータの利用支援ツール開発
      • ストリームデータプロセッシング機能を提供するプラットフォーム開発
    • 全体共通
      • アプリケーションやミドルウェアの開発と運用、要件に応じた低レイテンシー/高スループットを目指したパフォーマンスの改善
      • 運用を自動化あるいは低コストにするためのツールの開発
      • エンジニアリングによるシステムの技術的な問題の発見、解決
  • 利用しているツール / 開発環境
    • 開発言語：Python, Java, Scala
    • インフラ：Google Cloud Platform(Compute Engine, Kubernetes Engine, Dataflow, Pub/Sub, Cloud Storage, BigQuery, Spanner, Cloud SQL, Cloud Logging etc.), Confluent Cloud
    • 分散処理：Apache Flink / Apache Beam(Dataflow) / Kafka Connect
    • ワークフロー：Argo Workflows
    • BIツール： Looker / Looker Studio
    • 構成管理ツール： Terraform
    • モニタリング：Stackdriver Monitoring / Datadog / PagerDuty
    • CI/CD: Github Action / Spinnaker
    • Knowledge Tool： Confluence/Jira
    • その他：GitHub / Slack
    • 開発手法: Agile (Scrum, Kanban, etc.)
  • 開発組織
    • Data Engineeringというチームで、以下のような幅広い専門性を持つメンバーとともに開発していただきます。
    • 構成
      • Data Management Team
      • Data Analytics Teams
      • Machine Learning Teams (Search, Recommendation, Credit, Anti Fraud, etc)
      • Product Teams (Marketing, CRM, Customer Support, Anti Fraud, etc)

ユニークなチャレンジ

  • 月間利用者2,000万人を超えるフリマアプリ「メルカリ」を含めたメルカリグループから生成される膨大なデータを扱うため、大規模なデータ基盤を構築することができます
  • 分析意思決定、マーケティング、機械学習、R&Dなどの幅広い領域におけるデータの活用ニーズを通じて、データによる事業拡大のためのエコシステムの開発に取り組めます
  • 既存のデータ基盤の見直しや新たなデータ活用ニーズを通じて開発していくデータ基盤を設計から開発・運用まで一貫してチャレンジできます

応募要件

  • 求める経験・スキル
    • メルカリ・メルペイのミッションとバリューへの共感
    • コンピュータサイエンスもしくは関連分野における学位の取得、または5年以上のソフトウェア開発実務経験
    • 大規模サービスあるいは分散システムの設計、開発、運用経験
    • 下記の項目を2つ以上満たす方
      • AWSやGCPを用いたクラウドにおける開発経験
      • Kubernetesなどのコンテナ技術を利用したシステムの開発経験
      • Cloud Pub/SubやApache Kafkaなどメッセージキューを用いた開発経験
      • Apache FlinkやApache Spark などの分散処理フレームワークを用いたデータプロセッシングの開発経験
      • Argo Workflows, Airflow, Digdag, Digdag などのワークフローエンジンを用いたETLシステム
      • 大規模サービスにおけるアプリケーションログの設計経験
  • 歓迎する経験・スキル
    • 金融機関、Fintech企業、またはEC企業での就業経験
    • システムの技術的問題（例：パフォーマンス低下）の原因を発見、解決するための能力
    • TCP/IP、HTTP、gRPCなどのネットワークプロトコルについての知識
    • Go、Java、Scala、Pythonのうち2つ以上を利用したソフトウェアの開発、運用経験
    • Treasure Data製OSS(Fluentd, Embulk)などを用いたデータ収集システムの開発
    • BigQuery、Redshift、SnowflakeなどのDWHを用いた開発経験
    • MySQLやRDSを含むRDBMSを用いた開発経験
    • Hadoopエコシステムを用いた開発経験またはクラスタの運用経験
    • マイクロサービスアーキテクチャに基づいたソフトウェア開発経験
    • OSSの公開、コントリビュートの経験
  • 語学力
    • 英語：Basic (CEFR – A2) 歓迎
    • 日本語：Independent (CEFR – B2)

※CEFRの詳細については、こちらをご覧ください

　

メルカリグループについて知る　

選考について

メルカリグループではメルカリグループおよび各カンパニーのミッションとバリューへの共感・体現を大切にしています。メンバーが発揮する価値の総量が最大化されるような組織づくりを推進するために、候補者のみなさんの経験やスキルをより正しく理解したいと考えています。

選考の流れ

  • 書類選考
  • 技術課題：エンジニアポジションではHackerRankまたはGithubでの技術課題を、エンジニア以外のポジションでは採用ポジションによります（面接タイミングと前後することがあります）
  • 面接：ポジションにより、複数回の面接をお願いします
  • リファレンス：オンライン回答形式のもので、最終選考の前後でお願いします
  • オファー：最終選考とリファレンスの内容より決定されます

　※詳しくは  こちらのページをご覧ください

選考における機会の平等  

メルカリでは、バックグラウンドによって個人の可能性が決めつけられることなく、自由に価値を生みだす機会を手にできる社会の実現を目指しています。そしてメルカリがミッションを実現するために「Inclusion & Diversity」という考え方は不可欠な存在だと考えています。

採用活動においても、メルカリのミッション・バリューに共感する、様々なバックグラウンドの方にジョインしていただけるよう、年齢、性別、性的指向、人種、宗教、身体能力、その他記号に基づくあらゆる差別をなくすことを約束します。

詳しくは、I&D statementをご覧ください。

なお、ご応募の際にはプライバシーポリシーをご確認ください。

Related Jobs