Added df preprocessing

parser/__init__.py

@@ -1,3 +1,4 @@
 from .rosseti import RossetiParser
 from .address import split_addresses
-from .building_id import fetch_builing_ids
+from .building_id import fetch_builing_ids
+from .preprocess import preprocess_df

parser/__main__.py

@@ -2,7 +2,7 @@ import sys
 import schedule
 import time
 
-from . import RossetiParser
+from . import RossetiParser, split_addresses, fetch_builing_ids, preprocess_df
 
 
 def job():
@@ -10,6 +10,12 @@ def job():
 
     print(parser)
 
+    parser.df = split_addresses(parser.df)
+
+    parser.df = fetch_builing_ids(parser.df)
+
+    parser.df = preprocess_df(parser.df)
+
     parser.save_df(f'./data_{parser.today.strftime("%d-%m-%y_%H:%M")}.csv')
 
 

parser/preprocess.py

@@ -0,0 +1,19 @@
+import pandas as pd
+
+
+def preprocess_df(df: pd.DataFrame) -> pd.DataFrame:
+    df['start'] = df['Плановая дата начала отключения электроснабжения'] + \
+        ' ' + df['Плановое время начала отключения электроснабжения']
+
+    df['finish'] = df['Плановая дата восстановления отключения электроснабжения'] + \
+        ' ' + df['Плановое время восстановления отключения электроснабжения']
+
+    df = df.drop(columns=[
+        'Улица',
+        'Плановая дата начала отключения электроснабжения',
+        'Плановая дата восстановления отключения электроснабжения',
+        'Плановое время начала отключения электроснабжения',
+        'Плановое время восстановления отключения электроснабжения'
+    ])
+
+    return df