Develope/AI 교육

[AI-역량강화] 추천 알고리즘 - 협업필터링 개념 및 용어 설명

고로이 2021. 5. 31. 15:05
반응형

* Model 기반 협업 필터링
 - 머신러닝을 활용하여 주어진 데이터를 학습한다.
 - 항목간 유사성에서 벗어나 데이터의 패턴을 학습한다.
 - 유저의 잠재적 특성을 파악한다.(Latent Factor Model)

* 이웃 기반 협업 필터링
 - 메모리 기단의 협업 필터링
 - 아이템과 유저 간의 데이터로 새로운 아이템을 예측한다.
 - 계산량이 적고 구현이 간단하다
 - 안정적이며 새로운 콘텐츠를 추천할 수 있다.

* Explicit 데이터
 - 유저가 직접 입력한 데이터이기 때문에 품질이 좋다
 - 데이터의 양이 적다.
 - 유저가 평가에 대한심리적 거부감으로 모두 참여하지 않기 때문에 데이터가 신뢰되기 어렵다.

* Implicit 데이터
 - 다양한 방법으로 데이터를 얻을 수 있다.
 - 데이터의 실제 의미를 파악하기 어렵다.
 - 결측값이 존재한다.
 - negative한 값을 얻기 어렵다.
 - 품질이 좋지 않다.


* Latent Factor Model
 - 사용자/아이템의 특성을 벡터로 간략화 하는 모델링
 - 특성 간 복잡한 관계를 학습한다.
 - 사용자와 아이템이 같은 벡터 공간에 표현된다.
 - 같은 공간에서 사용자와 아이템이 가까우면 유사, 멀리 떨어져 있으면 유사하지 않다.

* SVD 
 - 차원 축소 기법. 노이즈 제거 및 큰 데이터를 축소
 
* Matrix Factorization
 - Latent Factor Model의 구현 과정
 - Rating Matrix를 분해하는 과정 
 - R과 R' 이 서로 유사하도록 학습하는 과정이다.
 - Matrix Completion 문제 발생
 - true rating - predicted rating으로 근사값을 추론하는 문제
 - Implicit 데이터를 활용하는 경우가 많다.

* Bayesian Matrix Factorization
 - Matrix Factorization + KNN
 - 사후확률을 최대화하는 베이지안에 의한 새로운 방법
 - BPR-OPT를 통해 개별적인 랭킹을 최적화했다.
 - Stochastic Gradient Descent를 사용하여 모델 파라매터를 업데이트한다."


반응형