Forecasting based on time-series data

Duplicate
🔍
Forecasting based on time-series data
Journey to find abnormal activities from logging data with periodic patterns
Background
Data Collection
데이터 수집 준비
데이터 추출, 선처리, InfluxDB 로 저장
예제) SSO API 호출 후 수신받은 샘플 데이터
Facebook Prophet Docker 환경 준비
Dockerfile
Docker image 생성
예측 데이터 생성
Prophet - InfluxDB 연동하여 Forecast 생성하는 소스코드
실행
데이터 가변
공휴일 및 회사 휴일 적용
공휴일 데이터 가중치 높임
Grafana 연동
기존 데이터 그래프에 예측 데이터 추가
Visualization 설정
예측 적용 화면
알림 설정
Facebook Prophet 의 한계
뚜렷한 사용 목적 및 적용 대상
DB Active Session과 특정 상품의 판매 추이를 관련시켜 예측하는 데 사용하는 것은 가능한가?
DB Active Session과 Plain 상품 판매 추이만 조합하여 예측 모델을 만들어 사용하는 것은 의미가 있는 것일까?
PoC
그렇다면 우선 DB Active Session 만 갖고 예측을 해 봤을때 어느 정도 맞는지를 살펴보자
WebDB Active User Session Count 수집 및 예측
중위값을 바탕으로 공휴일 데이터 입력하여 적용한 결과
매일 02:03~02:06 사이 배치작업에 데이터는 그래프에서 안보이게 처리
Redis 정보 수집 및 예측 데이터 생성 - Data 기반 장애 이상징후 감지 PoC
Data 저장 계획: Prometheus → InfluxDB
Data 추출
Data 확인
Local 환경에 InfluxDB 실행
Local 환경에 Chronograf 실행
Data 주입
Crontab 설정
Data 적용 예정 범위
알림 설정 작용 예정 범위
Grafana 적용
Alternatives
References
Background
Monitoring and configuring alerts for a new Single Sign-On service was done easily, but traditional metrics to find abnormal activities remains tough.
•
Facebook Prophet 시계열 예측 라이브러리를 활용
•
신규 SSO 세션 모니터링을 위해 수집한 서비스별 시계열 세션 카운트 활용
•
3시간 예측 데이터 생성: 1시간마다 실행시점 28일간 이전 데이터 기반으로 추출
•
제일 많이 사용하는 그룹웨어 세션만 예측 적용
•
기존 Linear 한 절대값으로만 알림을 설정했다면, 예측을 통한 가변적인 알림 설정이 가능
Show All
기존
예측
가치
액티브 세션
Static (0 인경우 알림)Open
Variable (예측 범위에 벗어나는 경우 알림)
특정 지점을 지정하여 노티를 받기 보다, 추이에 맞는 알림을 설정하여 오탐을 줄임
공유일
제외 할 수 없음Open
제외 가능
패턴 중 가중치 및 가변 요소를 활용 할 수 있음
Data Collection
데이터 수집 준비
•
SSO 세션을 1개만 접속하여 Refresh Token 으로 최대한 재사용하고 새로운 세션을 받아오는 로직
#!/bin/bash
 
REFRESH_TOKEN=`cat /var/opt/aerobase/dashboard/refresh_token`
RESULT=`curl --silent --location --request POST 'https://xxxx.co.kr/auth/realms/xxxx/protocol/openid-connect/token' --header 'Content-Type: application/x-www-form-urlencoded' --data-urlencode 'grant_type=refresh_token' --data-urlencode 'client_id=view' --data-urlencode 'client_secret=************************' --data-urlencode 'refresh_token='$REFRESH_TOKEN''`
if echo ${RESULT} | grep -i "error"; then
    echo "refresh failed, create a new session"
    RESULT=`curl --silent --location --request POST 'https://xxxx.co.kr/auth/realms/xxxx/protocol/openid-connect/token' --header 'Content-Type: application/x-www-form-urlencoded' --data-urlencode 'grant_type=client_credentials' --data-urlencode 'client_id=view' --data-urlencode 'client_secret=************************'`
fi
echo ${RESULT} | jq '.access_token' | sed -e 's/\"//g' > /var/opt/aerobase/dashboard/token
echo ${RESULT} | jq '.refresh_token' | sed -e 's/\"//g' > /var/opt/aerobase/dashboard/refresh_token
Bash
복사
데이터 추출, 선처리, InfluxDB 로 저장
#!/bin/bash
DB_NAME='app'
TABLE_NAME='sso-session'
TOKEN=`cat /var/opt/aerobase/dashboard/token`
 
# SSO API 세션정보 요청
curl --silent --location --request GET 'https://xxxx.co.kr/auth/admin/realms/xxxx/client-session-stats' --header 'Authorization: Bearer '$TOKEN'' > /var/opt/aerobase/dashboard/result
 
# 수신 데이터에서 필요한 데이터만 추출하여 선처리
RESULT=`cat /var/opt/aerobase/dashboard/result | jq '.[] | {(.clientId):.active}'`
DATA=`echo $RESULT | sed -e 's/\:/\=/g' | sed -e 's/{\| //g' | sed -e 's/\"//g' | sed -e 's/}/,/g' | sed -e 's/.$//'`
 
# InfluxDB 로 저장 요청
curl -s -i -XPOST http://xxxx:8086/write?db=${DB_NAME} --data-binary "${TABLE_NAME} ${DATA}" | grep 'HTTP/1.1 204' > /dev/null 2>&1
Bash
복사
예제) SSO API 호출 후 수신받은 샘플 데이터
[{"offline":"0","clientId":"idm-client","active":"1","id":"2690c992-bb59-4891-8220-62f86d7a6d33"},{"offline":"0","clientId":"data","active":"28","id":"77cbc073-c6c4-4fd1-92f3-3e2b44ef7912"},{"offline":"0","clientId":"portal","active":"418","id":"9d7f3882-f9be-4584-b16d-1c6c573d7a9d"},{"offline":"0","clientId":"iam-admin","active":"22","id":"5c2edf26-60e7-4ffc-b7d6-4a9a7e4cea82"},{"offline":"0","clientId":"iam","active":"4","id":"309c8cfc-e49e-4303-964a-2e0dfe79e566"}]
Bash
복사
Facebook Prophet Docker 환경 준비
Dockerfile
FROM lppier/docker-prophet
RUN pip install -U pip influxdb tox workalendar
ENTRYPOINT ["python"]
Bash
복사
Docker image 생성
[server ~]$ sudo docker build -t prophet-influxdb-phil:202005081129 .
...
[server ~]$ sudo docker images
REPOSITORY                                TAG                 IMAGE ID            CREATED             SIZE
prophet-influxdb-phil                     202005081129        55794cdad742        7 seconds ago       1.03GB
lppier/docker-prophet                     latest              2a09f62db268        15 months ago       1.01GB
Bash
복사
예측 데이터 생성
Prophet - InfluxDB 연동하여 Forecast 생성하는 소스코드
class InfluxDataFrameIO(DataframeIO):
  
    def read(self, days: int = 7):
        r = self.client.query(""" SELECT last(portal) as y FROM "{:1}" WHERE time >= now() - {:2}d GROUP BY time(1m) fill(null)""".format(self.influxdb_input_measurement, days))
        df = pd.DataFrame(r.get(self.influxdb_input_measurement), columns=['y'])
        df = df.tz_convert(None)
        df.reset_index(inplace=True)
        df.rename(inplace=True, columns={'index':'ds'})       
        return df[:-1]
  
    def write(self, outputDataFrame: pd.DataFrame):
        self.client.write_points(
            outputDataFrame,
            measurement = self.influxdb_output_measurement,
            tags=self.influxdb_output_tags,
            time_precision='m'
        )
  
def forecast(df: pd.DataFrame):
  
    m = Prophet(
        holidays=get_holidays(),
        holidays_prior_scale=100,
        interval_width=0.99,
        daily_seasonality=10,
        weekly_seasonality=20,
    )
    m.fit(df)
  
    # https://pandas.pydata.org/pandas-docs/stable/user_guide/timeseries.html
    future = m.make_future_dataframe(
        periods=180,
        freq='1T' # Minute
    )
  
    forecast = m.predict(future)
      
    out = forecast[['ds', 'yhat', 'yhat_lower', 'yhat_upper']]
    o = out.set_index('ds')
  
    return o
  
if __name__ == "__main__":
  
    io = InfluxDataFrameIO(
        client=DataFrameClient(
            host='influxdb',
            port=8086,
            username='****',
            password='****',
            database='****'
        ),
        influxdb_input_measurement='sso-session',
        influxdb_output_measurement='sso-session',
        influxdb_output_tags = {
            'forecast': 'sso-prophet-20200508'
        }
    )
  
    # 28일 동안의 데이터를 기반으로 예측 데이터 생성
    inputDataFrame = io.read(days=28)
    outputDataFrame = forecast(inputDataFrame)
    # 생성된 예측 데이터를 InfluxDB 에 저장
    io.write(outputDataFrame)
Python
복사
실행
[server ~]$ time sudo docker run -it --rm -v $(pwd):/app prophet-influxdb-phil:202005081129 ssoSessionForecast.py
INFO:fbprophet:Disabling yearly seasonality. Run prophet with yearly_seasonality=True to override this.
Initial log joint probability = -460.372
    Iter      log prob        ||dx||      ||grad||       alpha      alpha0  # evals  Notes
      99       38790.9     0.0447242       3752.01      0.8642      0.8642      111  
...
...
    Iter      log prob        ||dx||      ||grad||       alpha      alpha0  # evals  Notes
    3720       41037.3   8.66095e-05       361.545   5.573e-07       0.001     4276  LS failed, Hessian reset
    3778       41037.4   2.00873e-06       65.3976      0.8632      0.8632     4344  
Optimization terminated normally:
  Convergence detected: relative gradient magnitude is below tolerance
 
real    5m39.738s
user    0m0.052s
sys     0m0.071s
Bash
복사
데이터 가변
공휴일 및 회사 휴일 적용
https://facebook.github.io/prophet/docs/seasonality,_holiday_effects,_and_regressors.html#modeling-holidays-and-special-events
For instance, if you wanted to include Christmas Eve in addition to Christmas you’d include lower_window=-1,upper_window=0.If you wanted to use Black Friday in addition to Thanksgiving, you’d include lower_window=0,upper_window=1.You can also include a column prior_scale to set the prior scale separately for each holiday, as described below.
크리스마스 이브를 크리스마스 공휴일로 인식하게 하고 싶으면, -1을 적용함
블랙 프라이데이를 추수감사절로 인식하고 싶으면 upper_window 를 1 적용함 (추수감사절은 매번 목요일이여서 블랙 프레이데이는 다음날 금요일)
공휴일 당일만 인식하게 하고 싶으면, lower_window, upper_window 를 입력하지 않아도 됨, 아니면 둘다 0으로 입력(당일)
추후 회사 공휴일을 수동 입력이 아니라 별도 테이블에 저장하여 가져오도록 설정해야함
def get_holidays():
    from workalendar.asia import SouthKorea
  
    cal = SouthKorea()
    y = pd.DataFrame(cal.holidays(2020), columns=['ds', 'holiday'])
    # y.insert(2, 'lower_window', 0)
    # y.insert(3, 'upper_window', 1)
     
    gsshop = pd.DataFrame({
        'ds': pd.to_datetime(['2020-05-01']),
        'holiday': 'company',       
        # 'lower_window': 0, # 입력한 당일만 공휴일로 제외하고 싶은 경우 필요 없음
        # 'upper_window': 1, # 입력한 당일만 공휴일로 제외하고 싶은 경우 필요 없음
    })
 
    holiday = pd.concat((y, gsshop)) # 공휴일 데이터에 포함
 
    return holiday
Python
복사
공휴일 데이터 가중치 높임
•
타임시리즈 단위: https://pandas.pydata.org/pandas-docs/stable/user_guide/timeseries.html
•
180분 (3시간)의 예측 데이터를 포함하여 InfluxDB 에 입력
def forecast(df: pd.DataFrame):
    """
    input: 정제된 실측 데이터 Dataframe
    output: 예측된 Dataframe
    """
  
    m = Prophet(
        holidays=get_holidays(),
        holidays_prior_scale=100,   # 0.99 이었는데 100으로 올림
        interval_width=0.99,       
        daily_seasonality=10,       # 코멘트 되어 있었는데 추가함
        weekly_seasonality=20,      # 코멘트 되어 있었는데 추가함
    )
    m.fit(df)
  
    future = m.make_future_dataframe(
        periods=180,
        freq='1T'
    )
  
    forecast = m.predict(future)
      
    out = forecast[['ds', 'yhat', 'yhat_lower', 'yhat_upper']]
    o = out.set_index('ds')
  
    return o
Python
복사
Grafana 연동
기존 데이터 그래프에 예측 데이터 추가
1.
yhat_lower (예측 범위 하위값), yhat_upper (예측 범위 상위값), yhat (예측 중위값)
2.
홈넷 세션수가 yhat_lower (예측 범위 하위값보다 작은 경우에만 데이터 보여줌) → 알림을 위한 그래프
3.
InfluxDB 1.4 사용중 (abs 같은 function 은 사용 안됨)
Visualization 설정
•
예측 중위값은 안보여줌
•
예측 상하위 범위는 선이 아닌 백그라운드에 다른 색으로 표현, 레전드에서는 보여주지 않음
•
알림을 위한 그래프는 안보여줌
예측 적용 화면
알림 설정
•
그룹웨어 세션수가 yhat_lower (예측 범위 하위값) 보다 작은 경우에 알림
•
그룹웨어 세션수가 2000 이상인 경우 알림 (사원 1000명 기준)
•
해당 설정이 5분동안 유지되는 경우 알림
Facebook Prophet 의 한계
뚜렷한 사용 목적 및 적용 대상
•
시계열 데이터 (시간의 흐름): 시간의 흐름에 따라 강한 시즌 특징을 갖고 있는 곳에 적용 가능
•
강한 시즌 특징: 시간에 따른 동일한 패턴을 갖는 데이터 → 사내 그룹웨어 로그인 패턴, 출입증 입력 패턴, 출근 시간대 패턴
•
네이버 D2 네이버페이 결제시스템 예측 - https://d2.naver.com/helloworld/0065813
과거의 장기적인 추세를 보고 이후의 대략적인 추세를 확인하는 용도로 사용할 때 Prophet 라이브러리는 훌륭한 결과물을 보여 준다. 특히 갑작스런 데이터의 변동이 없는 상황에서는 실제 데이터와 아주 근접한 예측 결과를 보여 준다.하지만 명절이나 기타 상황에 의해 거래량이 한시적으로 하락하거나 증가하는 경우, 사업 확대 등으로 인해 전반적인 거래량 자체가 변동되는 경우 등에서는 적절한 예측 결과를 보여 주지 못하는 문제가 있다. 과거의 추세를 따라 주기 함수를 만들고 이후의 거래를 예측하는 모델의 한계 때문이다.
DB Active Session과 특정 상품의 판매 추이를 관련시켜 예측하는 데 사용하는 것은 가능한가?
고려되어야 할 Factor가 너무 많다! → 데이터 과학자 및 AI 의 영역
•
요일: 월요일에 잘 팔리던 제품이 일요일에도 잘 팔리나?
•
시간: 저녁 8시에 잘 팔리던 제품이 오전 8시에도 잘 팔리나?
•
휴일: 평일에 잘 팔리던 제품이 휴일에도 잘 팔리나?
•
외부 요인: 날씨, 계절, 사회적 이슈(마스크)에 따라 잘 팔리고 덜 팔리는데 어떻게 가중치를 둘 것 인가?
DB Active Session과 Plain 상품 판매 추이만 조합하여 예측 모델을 만들어 사용하는 것은 의미가 있는 것일까?
고려되는 Factor (사용가능)
•
요일
•
시간
•
휴일
Active Session 카운트와 주문 수량을 어떻게 조합해서 예측 데이터를 생성할 지 생각해보자 (Prophet 으로 가능한가?)
PoC
그렇다면 우선 DB Active Session 만 갖고 예측을 해 봤을때 어느 정도 맞는지를 살펴보자
•
DB Active Session 카운트수만으로 예측 데이터를 대입해보고 얼추 맞는지 PoC 해보자 
•
DB Active 시계열 데이터를 InfluxDB 에 수집한다
•
왜? 그래도 Static 한 알림 한계치를 설정해서 하는 것 보다 좀 더 Flexible 한 알림 수치를 제시해 줄 수 도 있다.
WebDB Active User Session Count 수집 및 예측
중위값을 바탕으로 공휴일 데이터 입력하여 적용한 결과
•
기존 세션수가 낮은 경우 알림을 받는 설정은 없다고 함
•
세션수를 120정도가 넘는 경우 알림을 받고 있다고 함
•
범위를 벗어나는 케이스를 살펴보자
◦
매일 새벽 2시 배치 작업시 카운트 튐
▪
Sub-Daily 옵션을 활용해서 Fitting 해보자 
▪
On/Off Seasonality 를 활용해서 Fitting 해보자
매일 02:03~02:06 사이 배치작업에 데이터는 그래프에서 안보이게 처리
•
쿼리에 조건을 추가한 이유: 예외 시간을 갖고 있는 데이터를 포함한 시리즈에 미리 넣고 Alert 에서 조건을 거는 장식은 나중에 사용 예정 (볼 수가 없으며, 필요시 수정해야하므로)
•
추후에는 여러 작업들이 있는 시간의 경우 별도 시리즈로 담고, 해당 Alert 조건에 해당 시간에는 알림 보내지 않도록 설정 하면 가능
•
애초에 배치 작업시 사용되는 세션은 제외하고 데이터를 담을 수 있는지 확인 필요 → 작업중에 잘못되는 경우도 봐야하므로 데이터 보유해야함
•
Grafana 에서는 특정 시간대에 알림을 안보내는 방식은 요청이 많았지만 아직 개발되지 않음
•
다른 방법으로, 해당 시간/분을 같은 테이블에 입력하도록 하여, query 조건에 입력함
SELECT max("qty") FROM "active_session_webdb" WHERE $timeFilter and (hour != 2 and minute < 6  and minute > 3) GROUP BY time($__interval) fill(linear)
SQL
복사
Redis 정보 수집 및 예측 데이터 생성 - Data 기반 장애 이상징후 감지 PoC
•
현재: Prometheus 로 수집되고 있는 자료를 Grafana에 연동하여 모니터링 진행중
•
Redis의 Key 카운트가 증가만 하고 줄어들지 않는 경우 장애 발생 할 수 있음 (메모리 소진)
•
Key 카운트를 보면 패턴이 보이기는 하여 적용 가능성이 보임
•
같은 Category 에서는 Load Balancing 이 되어 있는지 거의 일치하는 패턴을 보임 (작업시점을 제외하면 다른 패턴을 보이는 경우 알림을 적용 할 수 있을지도...)
•
Redis 를 바라보는 WAS의 댓수를 얼추 비슷하게 나눠놓고 사용하는 키여서 같은 카테고리의 수가 달라도 이상할 것이 없음
•
Key Count 는 제외: MC 개인화의 경우 0이여도 이상한 것이 아님, 그냥 DB 용도로 사용하여 제외
Data 저장 계획: Prometheus → InfluxDB
•
Redis 정보는 Prometheus 로 저장되어 있음
•
Prometheus 에 예측 데이터를 입히는 작업은 추천되지 않음
◦
예전 데이터, 미래 데이터를 입력하면 잘 동작하지 않는다고 들음
Data 추출
•
Prometheus RestAPI 를 사용하여 데이터를 추출
•
Python Pandas 를 통해 DataFrame 을 Merge 하여 한개의 InfluxDB에 주입
•
InfluxDB 주입시 Facebook Prophet 예측 데이터도 함께 추가 → Prometheus 와 InfluxDB 싱크 프로세스를 소량으로 자주하고, 별도 프로세스로 예측 데이터 생성 배치가 필요함
•
Prometheus 에서 추출시 시리즈당 11,000 포인트 이상 추출시 400 에러 발생 → 범위를 좁게 또는 그룹핑 해서 해야함
Data 확인
Local 환경에 InfluxDB 실행
docker run -p 8086:8086 -v influxdb:/var/lib/influxdb influxdb
Local 환경에 Chronograf 실행
docker run -it --rm -p 18888:8888 chronograf --influxdb-url=http://*.*.*.*:8086
Data 주입
Crontab 설정
•
Prometheus → InfluxDB 로 싱크는 1분 주기로 마지막 2분 간의 데이터를 주입
•
예측 데이터 생성은 30일의 데이터를 기반으로 현재 시간 + 3시간 예측 데이터를 시간단위로 10분에 시작하여 3세트(공통, 매장, 공통)의 예측 데이터를 주입 (데스크탑에서 실행시 28분정도 소요 됨)
* * * * * /home/phil/Documents/prophet/redisSync.sh >> /home/phil/Documents/prophet/log_redisSync.log 2>&1
30 * * * * /home/phil/Documents/prophet/forecastRedisKeyCount.sh >> /home/phil/Documents/prophet/log_redisForecast.log 2>&1
Bash
복사
Data 적용 예정 범위
•
Key Count: 완료
•
Client
알림 설정 작용 예정 범위
•
상하위 예측 값 벗어나는 것에 대해 알림 (경고)
•
세트로 구성된 서비스에 대해서는 두 그래프의 차이가 특정 값이상 벌어지는 경우 알림 (경고)
◦
예) 공통 1 vs 공통 2 값이 갑자기 많이 차이나는 경우 (예측범위에서 벗어나는 것으로도 커버가 될 듯)
Grafana 적용
Alternatives
References
https://facebook.github.io/prophet/
https://grafana.com
https://www.influxdata.com
https://www.elastic.co/what-is/elk-stack