Initial commit

README.md

@@ -0,0 +1,82 @@
+**СПБ ГУП «ИАЦ»**
+
+**Тестовое задание для Python-разработчика (дата аналитика)**
+
+О компании:
+
+Государственное унитарное предприятие, работающее в области
+информатизации и информационного обеспечения органов государственной
+власти Санкт-Петербурга и других организаций, а также предоставления
+услуг в сфере создания и использования современных информационных и
+телекоммуникационных систем, средств и технологий 
+
+Более подробно о нас: <https://iac.spb.ru/>
+
+Мы на Хабре: <https://career.habr.com/companies/iac-spb>
+
+**Текст задания:**
+
+**- Парсинг**
+
+Считывание таблицы с сайта <https://rosseti-lenenergo.ru/planned_work/>
+
+![](media/image1.png){width="6.818295056867892in"
+height="2.37117125984252in"}
+
+Фильтр по времени - период текущей недели (текущий день и неделя вперед)
+
+-   Успешное чтение необходимых полей на сайте и их сохранение в
+    pandas.DataFrame
+
+-   Переключение между страницами и совершение полной выгрузки
+    ![](media/image2.png){width="2.468441601049869in"
+    height="0.49993766404199474in"}
+
+-   Настройка автоматического запуска скрипта по расписанию
+
+**- Работа с данными**
+
+-   Парсинг столбца Улица (разбиение строки на отдельные адреса)
+
+-   Геокод адресов через
+    <https://petersburg.ru/mainPortal/api_services/view/2223> и
+    сохранение building_id найденных зданий
+
+-   Запись результата в csv файл
+
+**- Анализ данных и Визуализация**
+
+-   Выполнить в свободной форме на основе данных, полученных ранее
+
+В дополнение к скрипту можно сделать дашборд на [Yandex DataLens
+/Grafana](https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwiCrdStlbKBAxViSPEDHcw0B4kQFnoECB0QAQ&url=https%3A%2F%2Fdatalens.yandex.ru%2F&usg=AOvVaw3gsVaz_KTvGMRtFZrsXAGk&opi=89978449)
+
+**\*Создание базы данных**
+
+-   Вместо сохранения результата в csv, развернуть базу данных и
+    сохранять результаты в неё (PostgreSQL, Clickhouse, MongoDB)
+
+-   (Можно сделать скелет с подключением и записью в бд на локалхосте)
+
+**\*API**
+
+-   Написать API к базе данных или csv-файлу на FastAPI
+
+**\*\*Docker**
+
+-   Оборачивание всей сделанной работы в docker-compose
+
+-   При первоначальной настройке и запуске компоуза парсер начнет
+    работать и собирать данные в БД / csv. Доступ к данным
+    осуществляется по API.
+
+Результаты проделанной работы залить на Github и прислать на
+[tg:Faneagain](https://t.me/faneagain)
+
+//При проблемах с парсингом для выполнения остальных задач можно
+попросить готовый набор данных
+
+Задания помеченные «**\***, **\*\***» будут оцениваться как
+дополнительные.
+
+Удачи!