83 lines
3.8 KiB
Markdown
83 lines
3.8 KiB
Markdown
**СПБ ГУП «ИАЦ»**
|
||
|
||
**Тестовое задание для Python-разработчика (дата аналитика)**
|
||
|
||
О компании:
|
||
|
||
Государственное унитарное предприятие, работающее в области
|
||
информатизации и информационного обеспечения органов государственной
|
||
власти Санкт-Петербурга и других организаций, а также предоставления
|
||
услуг в сфере создания и использования современных информационных и
|
||
телекоммуникационных систем, средств и технологий
|
||
|
||
Более подробно о нас: <https://iac.spb.ru/>
|
||
|
||
Мы на Хабре: <https://career.habr.com/companies/iac-spb>
|
||
|
||
**Текст задания:**
|
||
|
||
**- Парсинг**
|
||
|
||
Считывание таблицы с сайта <https://rosseti-lenenergo.ru/planned_work/>
|
||
|
||
{width="6.818295056867892in"
|
||
height="2.37117125984252in"}
|
||
|
||
Фильтр по времени - период текущей недели (текущий день и неделя вперед)
|
||
|
||
- Успешное чтение необходимых полей на сайте и их сохранение в
|
||
pandas.DataFrame
|
||
|
||
- Переключение между страницами и совершение полной выгрузки
|
||
{width="2.468441601049869in"
|
||
height="0.49993766404199474in"}
|
||
|
||
- Настройка автоматического запуска скрипта по расписанию
|
||
|
||
**- Работа с данными**
|
||
|
||
- Парсинг столбца Улица (разбиение строки на отдельные адреса)
|
||
|
||
- Геокод адресов через
|
||
<https://petersburg.ru/mainPortal/api_services/view/2223> и
|
||
сохранение building_id найденных зданий
|
||
|
||
- Запись результата в csv файл
|
||
|
||
**- Анализ данных и Визуализация**
|
||
|
||
- Выполнить в свободной форме на основе данных, полученных ранее
|
||
|
||
В дополнение к скрипту можно сделать дашборд на [Yandex DataLens
|
||
/Grafana](https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwiCrdStlbKBAxViSPEDHcw0B4kQFnoECB0QAQ&url=https%3A%2F%2Fdatalens.yandex.ru%2F&usg=AOvVaw3gsVaz_KTvGMRtFZrsXAGk&opi=89978449)
|
||
|
||
**\*Создание базы данных**
|
||
|
||
- Вместо сохранения результата в csv, развернуть базу данных и
|
||
сохранять результаты в неё (PostgreSQL, Clickhouse, MongoDB)
|
||
|
||
- (Можно сделать скелет с подключением и записью в бд на локалхосте)
|
||
|
||
**\*API**
|
||
|
||
- Написать API к базе данных или csv-файлу на FastAPI
|
||
|
||
**\*\*Docker**
|
||
|
||
- Оборачивание всей сделанной работы в docker-compose
|
||
|
||
- При первоначальной настройке и запуске компоуза парсер начнет
|
||
работать и собирать данные в БД / csv. Доступ к данным
|
||
осуществляется по API.
|
||
|
||
Результаты проделанной работы залить на Github и прислать на
|
||
[tg:Faneagain](https://t.me/faneagain)
|
||
|
||
//При проблемах с парсингом для выполнения остальных задач можно
|
||
попросить готовый набор данных
|
||
|
||
Задания помеченные «**\***, **\*\***» будут оцениваться как
|
||
дополнительные.
|
||
|
||
Удачи!
|