Marketing Mix Modeling - czy Robyn by Meta zautomatyzował MMM?

Robyn to narzędzie Open Source autorstwa Mety, który ma na celu (przynajmniej w części) zautomatyzować modelowanie Marketing Mix. Według autorów, jego celem jest min. wykluczenie błędu ludzkiego oraz subiektywności analityków. Chciałbym w tym artykule opisać jego najważniejsze funkcje oraz podzielić się własnym zdaniem na temat tego, czy Robyn jest w stanie całkowicie zautomatyzować proces modelowania Marketing Mix. Jednakże, zanim zabiorę się do opisu narzędzia, chciałbym pokrótce wytłumaczyć, czym jest Marketing Mix Modeling.

Marketing Mix Modeling

MMM to analiza przy użyciu technik ekonometrycznych, która z użyciem historycznych danych (między innymi sprzedażowych, mediowych czy sezonowych) tłumaczy, co i w jakim stopniu wpłynęło przykładowo na sprzedaż danego produktu/marki. Dzięki temu osoby odpowiedzialne za planowanie działań marketingowych są w stanie w przyszłości bardziej efektywnie wykorzystywać budżet mediowy. W kwestii samego Robyna, zawiera on dużo interesujących elementów, a oto w mojej opinii jedne z najważniejszych

Regresja grzbietowa

Robyn dekomponuje zmienną objaśnianą za pomocą regresji grzbietowej, która jest wariantem regresji liniowej zawierającą regularyzację L2. Różni się ona od klasycznego modelu liniowego tym, że na mało istotne zmienne nakłada „karę”. Została ona użyta dlatego, że zmienne w modelach MMM bywają ze sobą silnie skorelowane, co powoduje, że nie możemy z modelu wyciągać istotnych statystycznie wniosków.

 Osobiście uważam, że zastosowanie regresji grzbietowej jest bardzo dobrym rozwiązaniem, w szczególności, kiedy dążymy do automatyzacji procesu modelowania. W takim przypadku użytkownik niezorientowany w metodach statystycznych uzyskuje możliwość zbudowania modelu bez szczegółowej analizy danych (co jest mimo to zalecane). Może to jednak prowadzić do sytuacji, w której algorytm nałoży karę na medium, na przetestowaniu którego bardzo zależy użytkownikowi. W tej sytuacji nie zostanie ono uwzględnione w dekompozycji, co może okazać się problematyczne z perspektywy biznesowej.

Efekt Ad-Stock oraz Krzywe Efektywności

Aby wykonać modelowanie w Robynie, potrzebujemy wszystkim zmiennym mediowym (np. wydatkom na TV) przypisać hiperparametry. Podajemy je w przedziałach (np. od 0,4 do 0,7 w przypadku telewizji), a następnie w trakcie modelowania Robyn dobiera je za pomocą biblioteki Nevergrad (o której później). Przykładowe przedziały dla różnych mediów zostały zarekomendowane przez Metę, ale użytkownik może je zmienić, jeśli uzna to za stosowne (np. zmniejszyć w przypadku modelowania na danych miesięcznych). Hiperparametry służą nam do obliczenia efektów Ad-Stock oraz Krzywych Efektywności.

Efekt Ad-Stock dla zmiennych mediowych uchwyca fakt, że konsument po zobaczeniu reklamy nie zapomina jej od razu, ale po czasie. Im wyższy efekt Ad-Stock, tym dłużej konsument pamięta reklamę. Tak wygląda przykładowy wykres tych efektów w Robynie:

Krzywe Efektywności służą do zwizualizowania nieliniowego wpływu wydatków na efektywność mediów. Informują nas, poniżej jakiego progu nie warto inwestować, powyżej jakiego dalsze inwestycje są nieefektywne, a także, gdzie znajduje się tzw. „sweet spot”, czyli optymalna kwota, którą należy zainwestować w dane medium.

Uważam, że rozwiązanie jest bardzo ciekawe i z pewnością ułatwia wyznaczanie parametrów krzywych efektywności oraz ad-stocków. Dzięki wyznaczaniu przedziałów, a nie konkretnych wartości, użytkownik niespecjalizujący się w modelowaniu Marketing Mix będzie w stanie osiągnąć satysfakcjonujące wyniki.

Prophet

W celu wyznaczenia zmiennych w czasie jak trend, sezonowość czy święta, Robyn używa narzędzia Prophet (także autorstwa Facebooka). Pozwala on dobrać święta w zależności od kraju, dla którego budujemy model, a także automatycznie wyznacza trend i sezonowość.

O ile sam zamysł zautomatyzowania efektu świąt jest bardzo dobry, tak uważam, że tutaj w celu otrzymania prawidłowych wyników wymagana jest większa interwencja osoby wykonującej model. Dla niektórych produktów część świąt wzmaga sprzedaż, a inne ją zmniejszają. Dlatego traktowanie wszystkich świąt w kraju jako całość może zakłamywać faktyczny wpływ konkretnych świąt w modelu.

Tak wyglądają przykładowe wykresy zmiennych wygenerowanych poprzez Prophet. Trend oraz sezon zostały utworzone na podstawie zmiennej objaśnianej.

Nevergrad

Biblioteka ta (również autorstwa Mety) pozwala w efektywny sposób zoptymalizować hiperparametry oraz metryki oceny jakości modelu, do których należą:

• NRMSE - im niższy, tym reszty modelu mają niższą wariancje – czyli lepiej!
• DECOMP.RSSD - im niższy, tym model lepiej dopasowuje dekompozycje do podziału wydatków na media

Na ich podstawie Nevergrad wybiera zbiór Pareto optymalnych modeli. Tylko skąd on je wybiera? Otóż Nevergrad wykonuje wybraną przez użytkownika liczbę iteracji (dokumentacja rekomenduje nie mniej niż 2000), które tworzą wiele modeli. Następnie minimalizuje on wybrane metryki i wybiera spośród nich modele Pareto optymalne.

Zostały one zaznaczone czerwoną linią. Jak widać, są to te, które minimalizują zarówno NRMSE, jak i DECOMP.RSSD.

W mojej opinii Nevergrad jest niesamowitą biblioteką optymalizacyjną i sprawdza się w tym przypadku idealnie. Dobiera on modele bardzo sensownie, działa szybko oraz bazuje swoje wyniki na naturalnej selekcji.

Alokator budżetu

Ostatnią, lecz również bardzo istotną funkcją Robyna opisaną w tym artykule jest alokator budżetu. Robyn dla wybranego przez nas modelu zestawia historyczną alokację budżetu z rekomendowaną przez algorytm, a także pokazuje przewidywane zmiany wpływu mediów po zastosowaniu tych rekomendacji.

Jasnym kolorem zaznaczono empiryczną część budżetu wydaną na medium, a ciemniejszym – sugerowaną przez Robyna.

Według mnie jest to świetne rozwiązanie, które może znacząco pomóc w planowaniu przyszłego budżetu tak, aby jak najefektywniej wykorzystać wszystkie media. Jasno ono pokazuje, które media zostały niedoinwestowane, a na które wydano zbyt dużo pieniędzy.

Podsumowanie

Uważam, że Robyn jest świetnym narzędziem do ogólnego sprawdzenia, co wpływa przykładowo na sprzedaż naszej marki. Jest jednak kilka kwestii, które w mojej ocenie sprawiają, że Robyn nie zastąpi w pełni klasycznego modelowania Marketing Mix.

Przede wszystkim, za pomocą Robyna nie będziemy w stanie uzyskać wyników na wysokim poziomie szczegółowości. Z powodu zastosowania regresji grzbietowej, nie jesteśmy w stanie w modelu wykorzystać danych mediowych z bardzo szczegółowym podziałem. Algorytm zwyczajnie uzna je za zbyt mało istotne, nałoży duże kary i w konsekwencji nie uwzględni danej zmiennej w dekompozycji.

Ponadto, zmienne Prophetowe (sezon, trend, święta) są skuteczne w kwestii automatyzacji całego procesu, jednakże bez ręcznej modyfikacji jest ciężko wyciągnąć sensowne wnioski. W klasycznym podejściu do modelowania Marketing Mix analityk jest w stanie zbadać, które elementy „sezonu” wpływają na zmienną objaśnianą, oraz które dokładnie święta wpływają na plus, a które na minus.

Robyna poleciłbym osobom, które chcą na ogólnym poziomie sprawdzić elementy wpływające przykładowo na sprzedaż produktu lub marki. Pomimo, że nie jest on w stanie dać bardzo pogłębionych wniosków, to sprawdza się świetnie do ogólnego poglądu determinant sprzedaży.

Finalnie uważam, że Robyn może usprawnić pracę analityków, jednakże to narzędzie samo w sobie nie jest w stanie zautomatyzować modelowania Marketing Mix. Pomimo funkcji usprawniających niektóre procesy, w celu osiągnięcia satysfakcjonujących rezultatów nadal potrzebny jest duży wkład pracy analityka.

Bibliografia:

1. Dokumentacja Robyna
2. Dokumentacja Nevergrad
3. Dokumentacja Propheta
4. Zdjęcie zrobione przez Campaign Creators na Unsplash

Chcesz opublikować artykuł na Data Science Hacker, jak Igor ? Jesteśmy otwarci na współpracę i z chęcią będziemy promować Twój artykuł na social mediach.

Skontaktuj się z nami!

---