اگر بعد از کمپین، خریداران را با کسانی که خرید نکرده‌اند مقایسه کنیم، هنوز گروه کنترل نساخته‌ایم. این تقسیم‌بندی بر اساس همان نتیجه‌ای انجام شده که می‌خواهیم توضیحش دهیم. برای سنجش اثر افزایشی تبلیغات باید پیش از اجرا روشن کنیم چه کسانی، با چه قاعده‌ای، از دریافت مداخله کنار گذاشته می‌شوند و نتیجه دو گروه چطور مقایسه خواهد شد.
مسئله این مقاله، انتخاب گروه مقایسه است؛ محاسبه بازده مالی را جداگانه در راهنمای فرض‌های شفاف بازده کمپین توضیح داده‌ام. برداشت من این است که کیفیت گزارش، پیش از خرید رسانه و در طراحی همین مقایسه تعیین می‌شود.
گروه کنترل را از نتیجه کمپین انتخاب نکنید
کسانی که روی تبلیغ کلیک می‌کنند ممکن است از ابتدا علاقه یا قصد خرید بیشتری داشته باشند. کسانی که کد تخفیف را استفاده می‌کنند نیز خودشان تصمیم گرفته‌اند وارد این مسیر شوند. مقایسه این افراد با بقیه، تفاوت رفتار را نشان می‌دهد؛ اما به‌تنهایی مشخص نمی‌کند چه مقدار از آن تفاوت را کمپین ایجاد کرده است.
در پژوهش مایکروسافت درباره آزمایش‌های آنلاین، تصادفی‌سازی همراه با طراحی درست مبنای بررسی رابطه علّی معرفی می‌شود. برای تصمیم مدیریتی، معنایش این است که قاعده ورود به گروه‌ها باید قبل از مشاهده نتیجه تعریف شود. تصادفی‌سازی هم جای کنترل کیفیت داده و اجرای صحیح را نمی‌گیرد.
اول بنویسید چه چیزی را از چه چیزی جدا می‌کنید
آیا می‌خواهید اثر ارسال پیام را بدانید، اثر تخفیف را، یا اثر کل بسته پیام و پیشنهاد را؟ اگر یک گروه پیام همراه تخفیف دریافت کند و گروه دیگر هیچ پیامی نگیرد، اختلاف مشاهده‌شده مربوط به بسته مداخله است؛ نمی‌توان آن را صرفاً به متن تبلیغ نسبت داد.
مثال فرضی: یک فروشگاه می‌خواهد بداند پیام یادآوری خرید برای مشتریان واجد شرایط ارزش دارد یا نه. می‌تواند پیش از ارسال، افراد را طبق طرح پژوهش به گروه دریافت و گروه عدم دریافت همان پیام تخصیص دهد. هر دو گروه همچنان تجربه عادی فروشگاه را دارند. این مثال، طرح پیشنهادی است؛ نتیجه یک مشتری یا توصیه به اجرای واقعی بدون بررسی دسترسی و رضایت مخاطب نیست.
واحد تخصیص باید با مسیر مواجهه سازگار باشد
در یک پیام مستقیم، واحد تخصیص ممکن است مشتری باشد. در کمپین محیطی یا فروشگاهی، افراد میان مناطق و فروشگاه‌ها جابه‌جا می‌شوند؛ بنابراین انتخاب واحد آزمایش و احتمال رسیدن پیام به گروه کنترل اهمیت بیشتری پیدا می‌کند. دو شهر با فروش متفاوت، صرفاً به‌دلیل متفاوت‌بودن نامشان، آزمون معتبر نمی‌سازند.
راهنمای رسمی Conversion Lift گوگل مطالعات مبتنی بر کاربران و جغرافیا را جدا می‌کند و تصریح دارد ابزار برای همه حساب‌ها در دسترس نیست. این یک نمونه از اجرای پلتفرمی سنجش اثر افزایشی است، نه تضمین دسترسی یا توصیه به استفاده از یک ابزار مشخص برای هر کسب‌وکار.
سه تصمیمی که نباید به بعد از مشاهده عددها موکول شوند
پیشنهاد من این است که پیش از اجرا، سه مورد در برگه آزمون ثبت شود: نتیجه اصلی، پنجره مشاهده و قاعده تحلیل. اگر هدف سفارش تکمیل‌شده است، کلیک را جای آن ننشانید. اگر مرجوعی و لغو مهم‌اند، نحوه لحاظ‌کردنشان را از ابتدا روشن کنید. مدت مطالعه نیز باید با چرخه خرید و توان تشخیص اختلاف موردنظر سازگار باشد؛ یک عدد ثابت برای همه کمپین‌ها وجود ندارد.
گروه‌ها را پس از اجرا بر اساس بازکردن پیام یا خرید دوباره تعریف نکنید. در تحلیل مبتنی بر تخصیص اولیه، فردی که پیام را باز نکرده همچنان در گروهی باقی می‌ماند که به آن تخصیص یافته است. این تحلیل اثر تصمیم به اجرای مداخله را می‌سنجد؛ مقایسه صرفاً مشاهده‌کنندگان واقعی سؤال دیگری است و برای تفسیر علّی به روش مناسب نیاز دارد.
وقتی عددها نزدیک‌اند، «بی‌اثر» ننویسید
اختلاف کوچک یا نامطمئن ممکن است ناشی از اثر کم، داده ناکافی، اجرای ناقص یا ترکیبی از این موارد باشد. گزارش باید برآورد اختلاف و عدم‌قطعیت را کنار کیفیت اجرا نشان دهد. ندیدن شاهد کافی برای اثر، اثبات صفر بودن اثر نیست. همچنین نتیجه یک آزمون محدود را به همه مشتریان، فصل‌ها و رسانه‌ها تعمیم ندهید.
راهنمای روش‌شناسی CMA نیز استنباط علّی را به شرایط مشخص آزمایش و اعتبار طراحی وابسته می‌داند. اینجا از اصل روش‌شناختی استفاده می‌کنیم؛ آن سند، راهنمای اختصاصی اجرای کمپین تجاری ما نیست.
اگر گروه کنترل ممکن نیست، ادعا را دقیق‌تر کنیم
وقتی تخصیص یا جلوگیری از تداخل ممکن نیست، می‌توان روند قبل و بعد، بازارهای مشابه و تغییرات قیمت، موجودی و توزیع را بررسی کرد. اما مقایسه ساده قبل و بعد را نباید نتیجه آزمایش تصادفی نامید. روش‌های شبه‌آزمایشی هم به فرض‌ها و تخصص مناسب نیاز دارند؛ صرف داشتن یک نمودار مقایسه‌ای کافی نیست.
جمع‌بندی مدیریتی من: پیش از لانچ بپرسید «اگر این کمپین اجرا نمی‌شد، با چه شاهدی رفتار محتمل مشتری را برآورد می‌کردیم؟» پاسخ روشن به این سؤال، مرز میان گزارش عملکرد و ادعای اثر را مشخص می‌کند. برای بازبینی طرح سنجش یک کمپین، از همین سؤال و منابع داده موجود شروع کنیم؛ سپس نتیجه را در گزارش قابل تصمیم‌گیری بنویسیم.