# @title Get infor about data type & data value
print(ecm.info())

print('---')

# detect data value (min, max, count,...)
ecm.describe()

# @title Using ProfileReport to Understand more about Category Data Type
profile = ProfileReport(ecm)
profile

# subset dataframe để xem qua các rơw có giá trị âm 
print('Dòng có Quantity âm (<0)')
ecm[ecm['Quantity'] < 0]

# được biết ký hiệu C ở "InvoiceN0" nghĩa là đơn bị cancel, check xem Quantity âm thì có phải đơn cancel không? 
# tạo cột check tình trạng cancel của data
# .astype(str) de khong bi loi TypeError: 'int' object is not subscriptable
ecm['InvoiceNo'] = ecm['InvoiceNo'].astype(str)
ecm['check_cancel'] = ecm['InvoiceNo'].apply(lambda x: True if x[0] == 'C' else False)

# check lý do cột Quantity < 0 có phải do đơn bị cancel hay không
ecm[(ecm['check_cancel'] == True) & (ecm['Quantity'] < 0)].sort_values('Quantity')
ecm[(ecm['check_cancel'] == True) & (ecm['Quantity'] <= 0)].sort_values('Quantity')

# có những đơn nào không bị cancel "C" mà vẫn có quantity âm không 
ecm[(ecm['check_cancel'] == False) & (ecm['Quantity'] < 0)].sort_values('Quantity')
ecm[(ecm['check_cancel'] == False) & (ecm['Quantity'] <= 0)].sort_values('Quantity')

# check lý do 
ecm[(ecm['check_cancel'] == False) & (ecm['Quantity'] < 0)]['Description'].value_counts()

# drop abnormal values 
# UnitPrice < 0 , unitprice = 0 có thể là hàng tặng 
ecm = ecm[ecm['UnitPrice'] >= 0]

# xử lý loại bỏ data của hàng không thuộc nhóm đơn cancel "C" nhưng có quantity âm 
ecm_cancel = ecm[ecm['check_cancel'] == True]
ecm_p_qty = ecm[ecm['Quantity'] >= 0]
ecm = pd.concat([ecm_cancel, ecm_p_qty], copy= False)
ecm.sort_values('CustomerID')

# Thống kê những cột có missing values 
print('Thống kê số lượng và tỉ lệ missing data')
missing_dict = {'volume':ecm.isnull().sum(),
                'percent':ecm.isnull().sum() / (ecm.shape[0])}
missing_df = pd.DataFrame.from_dict(missing_dict)
missing_df

# detect why missing values were very high 
ecm[ecm['CustomerID'].isnull()].head()

ecm[ecm['CustomerID'].isnull()].tail()

# tạo cột yyyy-mm-dd sau đó dùng apply để bỏ 3 giá trị cuối của cột này, chỉ lấy yyyy-mm 
ecm['Date'] = pd.to_datetime(ecm['InvoiceDate']).dt.date
ecm['Month'] = ecm['Date'].apply(lambda x: str(x)[:-3])

# tính tổng đơn hàng bị missing customerID theo tháng 
ecm_group_month = ecm[ecm['CustomerID'].isnull()][['Month','InvoiceNo']].groupby(['Month']).count().reset_index().sort_values('Month')
ecm_group_month

# mỗi tháng đều có một số lượng missing customerID, không bị tập trung vào một số tháng nhất định nào 
# các đơn missing customerID vừa có thể là đơn bị cancel, vừa có thể là đơn bình thường 

# do yêu cầu là chia nhóm khách hàng, nên những đơn bị mất customerID sẽ không tính được -> nên bỏ đi

# xử lý missing values -> bỏ đi 
ecm = ecm[ecm['CustomerID'].notnull()]
ecm.sort_values('CustomerID')

# check duplicated values trong dataset
# thế nào là duplicate data (điều kiện duplicate đưa ra những cột nào)
ecm_dups = ecm.duplicated(subset=["InvoiceNo", "StockCode","InvoiceDate","CustomerID"])
print(ecm[ecm_dups].shape)
print('')
print(ecm.shape)

# dat gia thuyet de kiem tra loi

# vi du de kiem tra 
ecm[(ecm['InvoiceNo'] == '581538') & (ecm['StockCode'] == 23343)]

# vi du de kiem tra 
ecm[(ecm['InvoiceNo'] == '581538') & (ecm['StockCode'] == 21194)]

# vi du de kiem tra 
ecm[(ecm['InvoiceNo'] == '538341') & (ecm['StockCode'] == 22988)]

# khi kiểm tra thử 1 đơn cancel, không tìm thấy đơn mua tương tự
# -> thay đổi phương án, bỏ luôn những đơn cancel 

# đối với duplicates, sẽ chỉ giữ lại dòng đầu tiên 
ecm = ecm.drop_duplicates(subset=["InvoiceNo", "StockCode","InvoiceDate","CustomerID"], keep= 'first')

# convert những columns sang về đúng format string -> tránh mất dữ liệu vì số dễ bị làm tròn 
ecm.columns

# col_list to be converted to 'str' format 
str_col_list = ['InvoiceNo', 'StockCode', 'Description', 'CustomerID', 'Country']
for c in str_col_list: 
    ecm[c] = ecm[c].astype(str)

ecm.info()

# create new column "cost" 
ecm['Cost'] = ecm['Quantity'] * ecm['UnitPrice']
last_day = ecm['Date'].max() 

RFM_ecm = ecm.groupby('CustomerID').agg(
    Recency = ('Date', lambda x: last_day - x.max()), 
    Frequency = ('CustomerID', 'count'), 
    Monetary = ('Cost', 'sum') 
).reset_index()

# astype column "recency" 
RFM_ecm['Recency'] = RFM_ecm['Recency'].dt.days.astype('int16')
RFM_ecm.dtypes

# use qcut to divide the dataset into 5 ranges 
RFM_ecm['R'] = pd.qcut(RFM_ecm['Recency'], 5, labels= range(1,6)).astype(str)
RFM_ecm['F'] = pd.qcut(RFM_ecm['Frequency'], 5, labels= range(1,6)).astype(str)
RFM_ecm['M'] = pd.qcut(RFM_ecm['Monetary'], 5, labels= range(1,6)).astype(str)
RFM_ecm['RFM'] = RFM_ecm.apply(lambda x: x['R'] + x['F'] + x['M'], axis= 1)

%matplotlib inline

order_ = ['Champions', 'Loyal', 'Potential Loyalist', 'New Customers', 'Promising', 'Need Attention', 'About To Sleep', 'At Risk', 'Cannot Lose Them', 'Hibernating customers', 'Lost customers']
pivot_ecm = pivot_ecm[order_]

plt.figure(figsize=(18,9))
r = sns.lineplot(data= ecm_distribution_table, x= 'Segment', y= 'avg_recc')
f = sns.lineplot(data= ecm_distribution_table, x= 'Segment', y= 'avg_freq')
plt.xticks([])
plt.ylabel('avg_recc and avg_freq')
plt.xlabel('')
plt.title('Avg Recency and Frequency by Segmentation (days)')

rcolors = np.full(len(pivot_ecm.index), 'linen')
ccolors = np.full(len(pivot_ecm.columns), 'lavender')

table = plt.table(cellText=pivot_ecm.values, 
          rowLabels= pivot_ecm.index, 
          colLabels= pivot_ecm.columns,
          bbox=(0, -.5, 1, .5), rowLoc= 'center', colLoc= 'center', loc= 'center', 
          rowColours= rcolors, 
          colColours= ccolors)
table.scale(1, 1)
table.auto_set_font_size(False)
table.set_fontsize(9)
table.set_label('Customer Segmentation Detail')

order_ = ['Champions', 'Loyal', 'Potential Loyalist', 'New Customers', 'Promising', 'Need Attention', 'About To Sleep', 'At Risk', 'Cannot Lose Them', 'Hibernating customers', 'Lost customers']
pivot_ecm = pivot_ecm[order_]

plt.figure(figsize=(18,9))
hue_colors = sns.color_palette("Paired")
hue_colors2 = sns.color_palette("flare")

p1 = sns.barplot(data= ecm_distribution, x='Segment', y='distribution_percent', 
                 hue='type', palette= hue_colors, 
                 order= order_)
for container in p1.containers : 
    p1.bar_label(container)
p2 = sns.lineplot(data= ecm_distribution, x='Segment', y='distribution_percent', 
                 hue='type', palette= hue_colors2, solid_capstyle= 'round')
plt.ylabel('')
plt.xlabel('')
plt.xticks([])
plt.title('Customer Segmentation Contribution (%)')

rcolors = np.full(len(pivot_ecm.index), 'linen')
ccolors = np.full(len(pivot_ecm.columns), 'lavender')

table = plt.table(cellText=pivot_ecm.values, 
          rowLabels= pivot_ecm.index, 
          colLabels= pivot_ecm.columns,
          bbox=(0, -.5, 1, .5), rowLoc= 'center', colLoc= 'center', loc= 'center', 
          rowColours= rcolors, 
          colColours= ccolors)
table.scale(1, 1)
table.auto_set_font_size(False)
table.set_fontsize(9)
table.set_label('Customer Segmentation Detail')

plt.show()

# total value for recency 
f_total = len(RFM_ecm['Frequency'])


# Create the plot for Distribution of Frequency
binsF = [0, 2, 5, 20, np.inf]
labelsF = ['1-2', '2-5', '5-20', '20+']
RFM_ecm['FrequencyGroup'] = pd.cut(RFM_ecm['Frequency'], bins=binsF, labels=labelsF)
fig, ax = plt.subplots(figsize=(8, 3))
sns.countplot(x='FrequencyGroup', data=RFM_ecm, ax=ax)

ax.set_title('Distribution of Frequency')
ax.yaxis.set_visible(False)
ax.spines['left'].set_visible(False)
ax.spines['top'].set_visible(False)
ax.spines['right'].set_visible(False)

# Add percentage label
for container in ax.containers:
    labels = [f'{int(height)}\n({height/r_total:.1%})' for height in container.datavalues]
    ax.bar_label(container, labels=labels, label_type='edge', padding=2)
plt.show()

# total value for recency 
r_total = len(RFM_ecm['Recency'])

# Create the plot for Distribution of Recency
fig, ax = plt.subplots(figsize=(12, 3))
sns.histplot(data=RFM_ecm, x='Recency', bins =10, ax=ax)

ax.set_title('Distribution of Recency')
ax.set_xlim(left=0)
ax.yaxis.set_visible(False)
ax.spines['left'].set_visible(False)
ax.spines['top'].set_visible(False)
ax.spines['right'].set_visible(False)

# Add percentage label
for container in ax.containers:
    labels = [f'{int(height)}\n({height/r_total:.1%})' for height in container.datavalues]
    ax.bar_label(container, labels=labels, label_type='edge', padding=2)
plt.show()

# total value for recency 
m_total = len(RFM_ecm['Monetary'])

#Distribution of Monetary
binsM = [0, 100, 1000, 10000, np.inf]
labelsM = ['0-100', '100-1k', '1k-10k', '10k+']
RFM_ecm['MonetaryGroup'] = pd.cut(RFM_ecm['Monetary'], bins=binsM, labels=labelsM)
fig, ax = plt.subplots(figsize=(8, 3))
sns.countplot(x='MonetaryGroup', data=RFM_ecm, ax=ax)

ax.set_title('Distribution of Monetary', pad=20)
ax.yaxis.set_visible(False)
ax.spines['left'].set_visible(False)
ax.spines['top'].set_visible(False)
ax.spines['right'].set_visible(False)

for container in ax.containers:
    labels = [f'{int(height)}\n({height/m_total:.1%})' for height in container.datavalues]
    ax.bar_label(container, labels=labels, label_type='edge', padding=2)
plt.show()

#Assign color
segment_colors = {
    'Champions': '#a7a6dd',
    'Loyal': '#e2a5de',
    'Potential Loyalist': '#ffa6c5',
    'At Risk': '#ffb49e',
    'Hibernating customers': '#ffd379',
    'Lost customers': '#f9f871',
    'Need Attention': '#aba9bc',
    'About To Sleep': '#efedff',
    'New Customers': '#ffefca',
    'Promising': '#2c8f8c',
    'Cannot Lose Them': '#e29896'
}

# % and Monetary values by Segment
segment_monetary = ecm_f.groupby('Segment')['Monetary'].sum().reset_index()
total_monetary = segment_monetary['Monetary'].sum()
segment_monetary['Percentage'] = segment_monetary['Monetary'] / total_monetary * 100

segment_monetary = segment_monetary.sort_values('Monetary', ascending=False)

# Create the treemap

fig, ax = plt.subplots(1, figsize=(15,10))
squarify.plot(sizes=segment_monetary['Monetary'],
              label=[f"{s}\n${int(m):,}\n{int(p)}%"
                     for s, m, p in zip(segment_monetary['Segment'],
                                        segment_monetary['Monetary'],
                                        segment_monetary['Percentage'])],
              color=[segment_colors[segment] for segment in segment_monetary['Segment']],
              alpha=0.8,
              bar_kwargs=dict(linewidth=1.5, edgecolor="white"))

plt.title('Monetary contribution by RFM segment - Treemap', fontsize=16)
plt.axis('off')

plt.show()