Java-разработчик

договорная
Полный день, до 3 лет, полная занятость

Описание вакансии

Команда SberInfra ищет Java разработчиков для наших продуктов - сервисов федеративного доступа. Мы разрабатываем инфраструктурные компоненты на основе open source кода для дата центра с объемом 10+ петабайт данных и десятками тысяч ядер, с фокусом на защиту данных и реализацию алгоритмов безопасности.

Waggle-Danсе: Обеспечивает возможность работы с HMS нескольких кластеров Hadoop (SDP/Cloudera) при условии наличия федерации между кластерами. Фактически представляет собой proxy сервис, который онлайн запрашивает данные из внешнихHMS. Технически это Java процесс который запускается отдельно от Cloudera и реализует Thrift интерфейс Hive Meta store.

Sentry-proxy: Обеспечивает авторизация операций для Hive и Impala. Является proxy сервисов, который для настроенных федераций получает авторизационную информацию из внешних сервисов Sentry и Hadoop использует эту информацию для авторизации операция пользователя в Hive и Impala. Сервис собой представляет реализацию интерфейса Sentry и может запускаться как в случае наличия Sentryсервиса на локальном кластере, так и в случае его отсутствия. В случае отсутствия создаются синтетические права пользователям кластера.

HDFS Gateway: Представляет собой proxy cервис (шлюз), реализующий Hadoop Data protocol. Для внешних пользователей представляет собой HDFS, к которому можно настраивать федерацию и подключатcя как Hadoop client. В процесс запроса данных компонент может трансформировать данные отдаваемые клиенту HDFS любым образом. В текущей момент планируется использовать как компонент Сервиса защиты данных для применения политик доступа к данным подписок. Потенциально может работать с любыми данными хранящимися в HDFS, сейчас реализована поддержка Apache parquet.

Обязанности

  • Исследовать OSS библиотеки и фреймворки для Hadoop, проводить их анализ и доработку
  • Дорабатывать сервисы для Hadoop

Требования

  • Уверенное владение Java SE
  • Уверенные навыки кодирования
  • Желателен опыт разработки библиотек и фреймворков
  • Желателен опыт работы с авторизацией и ауфенктикацией в Java
  • Будет плюсом опыт разработки ETL или инструментов для аналитики

Условия

  • работа в офисе БЦ «Даниловский Форт»
  • график гибридный, либо удаленный, 5/2
  • стабильный оклад и социальную поддержку сотрудников
  • расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
  • ипотека выгоднее на 4 п.п. и льготные условия кредитования для каждого сотрудника
  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров: Сбер Маркет, Delivery Club, Самокат, Сбер Еаптека и других;
  • корпоративная пенсионная программа
  • корпоративное обучение за счет компании
  • реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс. рублей
  • официальное оформление с первого дня
  • корпоративный спортзал и скидки в спортзалы-партнеры

Адрес места работы

Вакансия №224577, обновлена 18 сентября, 18:49