Azure VM Retail Price데이터로 Spot, Ondemand인스턴스 Price비교

API_LINK = 'https://prices.azure.com:443/api/retail/prices?$filter=serviceName%20eq%20%27Virtual%20Machines%27%20and%20priceType%20eq%20%27Consumption%27%20and%20unitOfMeasure%20eq%20%271%20Hour%27&$skip='

# 모든 페이지의 데이터를 가져오기위해 0 ~ 200000 까지의 pagination을 이용합니다.
MAX_SKIP = 2000
SKIP_NUM_LIST = [i*100 for i in range(MAX_SKIP)]
# 가져온 데이터는 list로 저장됩니다.
price_data = []
for skip_num in SKIP_NUM_LIST:
	# 100, 200, 300... 200000 page까지 데이터를 가져옵니다.
	get_link = API_LINK + str(skip_num)
	response = requests.get(get_link)
	# 만약 상태코드가 200이 아니면 예외를 발생시킵니다.
	if response.status_code != 200:
		raise Exception(f"api response status code is {response.status_code}")
	# list형태로 데이터를 저장합니다.
	price_data = list(response.json()['Items'])
	# 데이터가 비어있다면 반복문을 종료시킵니다.ㄴ
	if not price_data:
		break
	# list에 추가합니다.
	price_list.extend(price_data)

df = pd.DataFrame(price_list)

# Windos를 제외합니다.
df = df[~df['productName'].str.contains('Windows')]
# ‘Low priorty’, ‘Exprired’를 제외합니다. 
df = df[~df['meterName'].str.contains('Priority')]
df = df[~df['meterName'].str.contains('Expired')]
#
df = df[df['isPrimaryMeterRegion'] == True]

FILTER_LOCATIONS = ['GOV', 'EUAP', 'ATT', 'SLV', '']
df = df[~df['location'].str.split().str[0].isin(FILTER_LOCATIONS)]

# meterName행에 'Spot'이 포함되어 있으면 spot_df, 그렇지 않으면 ondemand_df에 저장됩니다.
ondemand_df = df[~df['meterName'].str.contains('Spot')]
spot_df = df[df['meterName'].str.contains('Spot')]

# meterName을 공백을 기준으로 split해 줍니다. spot이 마지막에 위치함으로 spot을 제외하고 다시 join해 줍니다.
list_meterName = list(spot_df['meterName'].str.split(' ').str[:-1].apply(' '.join))
# 기존 meterName을 삭제하고
spot_df = spot_df.drop(['meterName'], axis=1)
# 새롭게 생성한 meterName을 spot_df에 넣어줍니다.
spot_df['meterName'] = list_meterName

# spot_df에서 필요한 열만 선택합니다.
spot_df = spot_df[['location', 'armRegionName', 'armSkuName', 'retailPrice', 'meterName', 'effectiveStartDate']]
# ondemand_df의 retailPrice를 ⇒ ondemandPrice로
spot_df.rename(columns={'retailPrice': 'spotPrice'}, inplace=True)
# oddemand_df에서 필요한 열만 선택합니다.
ondemand_df = ondemand_df[['location', 'armRegionName', 'armSkuName', 'retailPrice', 'meterName', 'effectiveStartDate']]
# spot_df 의 retailPrice를 ⇒ spotPrice로 변경해줍니다.
ondemand_df.rename(columns={'retailPrice': 'ondemandPrice'}, inplace=True)

# 'location', 'armRegionName', 'armSkuName', 'meterName'를 이용하여 outer join을 합니다.
join_df = pd.merge(ondemand_df, spot_df,
                       left_on=['location', 'armRegionName', 'armSkuName', 'meterName'],
                       right_on=['location', 'armRegionName', 'armSkuName', 'meterName'],
                       how='outer')

join_df.loc[join_df['ondemandPrice'] == 0, 'ondemandPrice'] = None
join_df['savings'] = (join_df['ondemandPrice'] - join_df['spotPrice']) / join_df['ondemandPrice'] * 100

# get instancetier from armSkuName
def get_instaceTier(armSkuName):
    split_armSkuName = armSkuName.split('_')
		# 만일 빈 데이터였다면 nan값으로 리턴
    if len(split_armSkuName) == 0:
        instaceTier = np.nan
        return instaceTier
		#InstanceTier가 존재한다면 리턴, 아니라면 nan리턴
    if split_armSkuName[0] == 'Standard' or split_armSkuName[0] == 'Basic':
        instanceTier = split_armSkuName[0]
    else:
        instanceTier = np.nan

    return instanceTier

# get instancetype from armSkuName
def get_instaceType(armSkuName):
    split_armSkuName = armSkuName.split('_')
		# 만일 빈 데이터였다면 nan값으로 리턴
    if len(split_armSkuName) == 0:
        instaceType = np.nan

        return instaceType
		#InstanceTier만 존재한다면 nan리턴 아니라면 IstanceType리턴
    if split_armSkuName[0] == 'Standard' or split_armSkuName[0] == 'Basic':
        if len(split_armSkuName) == 1:
            instanceType = np.nan
            return instanceType
        instanceType = '_'.join(split_armSkuName[1:])
    else:
        instanceType = split_armSkuName[0]

    return instanceType
------------------------------------------------------------------------------------------

join_df['instanceTier'] = join_df['armSkuName'].apply(lambda armSkuName: get_instaceTier(armSkuName))
join_df['instanceType'] = join_df['armSkuName'].apply(lambda armSkuName: get_instaceType(armSkuName))

join_df = join_df.reindex(columns=['instanceTier', 'instanceType', 'location', 'ondemandPrice', 'spotPrice', 'savings'])
join_df.rename(columns={'location': 'region'}, inplace=True)