diff --git a/parser/__init__.py b/parser/__init__.py index d20c8cb..8a8e72c 100644 --- a/parser/__init__.py +++ b/parser/__init__.py @@ -1,3 +1,4 @@ from .rosseti import RossetiParser from .address import split_addresses -from .building_id import fetch_builing_ids \ No newline at end of file +from .building_id import fetch_builing_ids +from .preprocess import preprocess_df \ No newline at end of file diff --git a/parser/__main__.py b/parser/__main__.py index 0566575..e09065c 100644 --- a/parser/__main__.py +++ b/parser/__main__.py @@ -2,7 +2,7 @@ import sys import schedule import time -from . import RossetiParser +from . import RossetiParser, split_addresses, fetch_builing_ids, preprocess_df def job(): @@ -10,6 +10,12 @@ def job(): print(parser) + parser.df = split_addresses(parser.df) + + parser.df = fetch_builing_ids(parser.df) + + parser.df = preprocess_df(parser.df) + parser.save_df(f'./data_{parser.today.strftime("%d-%m-%y_%H:%M")}.csv') diff --git a/parser/preprocess.py b/parser/preprocess.py new file mode 100644 index 0000000..f5dea3f --- /dev/null +++ b/parser/preprocess.py @@ -0,0 +1,19 @@ +import pandas as pd + + +def preprocess_df(df: pd.DataFrame) -> pd.DataFrame: + df['start'] = df['Плановая дата начала отключения электроснабжения'] + \ + ' ' + df['Плановое время начала отключения электроснабжения'] + + df['finish'] = df['Плановая дата восстановления отключения электроснабжения'] + \ + ' ' + df['Плановое время восстановления отключения электроснабжения'] + + df = df.drop(columns=[ + 'Улица', + 'Плановая дата начала отключения электроснабжения', + 'Плановая дата восстановления отключения электроснабжения', + 'Плановое время начала отключения электроснабжения', + 'Плановое время восстановления отключения электроснабжения' + ]) + + return df