कन्वर्ज़न दर का मतलब बनने से पहले कितने क्लिक चाहिए?

आप चालीस डॉलर खर्च करते हैं, साठ क्लिक पाते हैं, और उनमें से एक साइन अप कर लेता है। क्या 1.7% अच्छा है? ईमानदार जवाब यह है कि आपके पास अभी कन्वर्ज़न दर है ही नहीं — आपके पास एक साइन-अप है और ढेर सारा गणित। नमूने का आकार वही चीज़ है जो एक आँकड़े और एक फ़ैसले के बीच खड़ी है, और छोटे बजट के पैमाने पर यही चीज़ लगभग हमेशा अनदेखी रह जाती है। (सूचना: यह BidSurvivor ने प्रकाशित किया है, जो विज्ञापन बेचता है और इसलिए उसका साफ़ हित है कि आप कुछ खरीदें। नीचे का गणित हमारा नहीं है और उसे कोई परवाह नहीं।)

एक साइन-अप आपको लगभग कुछ क्यों नहीं बताता

कन्वर्ज़न विरल घटनाएँ हैं। जब कोई चीज़ कम होती है, तो आप जो गिनती देखते हैं वह असली दर के इर्द-गिर्द ज़ोर से झूलती है, भले ही दुनिया में कुछ न बदला हो।

ऐसा पेज लीजिए जो सचमुच 3% पर कन्वर्ट करता है। उस पर 60 विज़िटर भेजिए। सबसे संभावित अकेला नतीजा है 2 कन्वर्ज़न — पर 0 लगभग 16% बार होता है, और 5 या उससे ज़्यादा इतनी बार होता है कि परीक्षण कुछ बार दोहराएँ तो दिख ही जाएगा। यानी वही पेज, बिना छुए, आपको लगातार तीन मंगलवार 0%, 3.3% और 8.3% दिखा देगा।

अब कल्पना कीजिए कि उन मंगलवारों के बीच आपने हेडलाइन बदल दी थी। आप निष्कर्ष निकालेंगे कि हेडलाइन ने काम किया। उसने नहीं किया। आपने शोर मापा और उसे एक कारण दे दिया।

यह कोई सूक्ष्म सांख्यिकीय बात नहीं है। छोटे विज्ञापनदाता पैसा बरबाद करने का सबसे आम तरीक़ा यही है: विज्ञापनों पर नहीं, बल्कि उनसे निकाले गए आत्मविश्वासी ग़लत निष्कर्षों पर, जो फिर तय करते हैं कि अगले कुछ सौ डॉलर कहाँ जाएँ।

याद रखने लायक़ मोटा नियम

मोटे तौर पर जाँचने के लिए, किसी दर को बताने लायक़ मानने से पहले आपको कम से कम 15 कन्वर्ज़न चाहिए, और किसी दूसरी दर से तुलने लायक़ मानने से पहले उससे कहीं ज़्यादा।

पंद्रह कोई जादुई आँकड़ा नहीं है — यह लगभग वही जगह है जहाँ गिनती की सापेक्ष मानक त्रुटि 26% से नीचे उतरती है, और यही वह बिंदु है जहाँ आँकड़ा इतना डोलना बंद कर देता है कि हर हफ़्ते अलग कहानी न सुनाए। उससे नीचे आपकी दर एक अफ़वाह है।

इसे उलट दीजिए और यह योजना बनाने का औज़ार बन जाता है। अगर आपको लगता है कि आपका पेज लगभग 3% पर कन्वर्ट करता है, तो:

• 15 कन्वर्ज़न ÷ 0.03 = 500 क्लिक, तब जाकर दर का कुछ मतलब बनता है
• $0.60 प्रति क्लिक पर यह एक आँकड़ा सीखने के $300 हुए

1% पर यह 1,500 क्लिक है। 10% पर 150। आपकी कन्वर्ज़न दर जितनी कम, निश्चितता उतनी महँगी — जो ठीक उल्टा है उससे जो ज़्यादातर लोग मानते हैं, क्योंकि कम दर लगती ऐसी है जैसे उसे साबित करना सस्ता होना चाहिए।

यही गणित हमारे विज्ञापन बजट कैलकुलेटर के भरोसे वाले फ़ैसले के पीछे है: वह सिर्फ़ यह नहीं बताता कि बजट में क्या आता है, बल्कि यह भी कि उसमें इतने क्लिक आते हैं या नहीं कि निकलने वाले आँकड़े का कोई मोल हो। ज़्यादातर कैलकुलेटर उस दूसरे हिस्से से पहले रुक जाते हैं, और वही हिस्सा तय करता है कि पहले पर भरोसा किया जाए या नहीं।

दो चीज़ें तुलना करना, एक मापने से कहीं मुश्किल है

ऊपर का सब कुछ एक दर मापने के लिए है। दो की तुलना — A/B परीक्षण — अलग और कहीं महँगी समस्या है, क्योंकि अब दोनों आँकड़ों का शोर उनके बीच के अंतर से छोटा होना चाहिए।

व्यावहारिक नतीजा: 3% से 3.6% के बदलाव को पकड़ने के लिए (20% सापेक्ष सुधार, जो बहुत अच्छा नतीजा होगा) हर वैरिएंट पर लगभग 13,000 विज़िटर चाहिए। Evan Miller का नमूना आकार कैलकुलेटर आपके पास जो असली आँकड़े हैं उन पर सटीक गणित कर देगा, और परीक्षण की योजना बनाने से पहले — बाद में नहीं — अपने आँकड़ों के साथ दस मिनट उस पर बिताना क़ीमती है।

इसे पढ़ने वालों में से ज़्यादातर के लिए वह आँकड़ा बातचीत ख़त्म कर देता है। अगर आप महीने के $200 खर्च करते हैं, तो आप कन्वर्ज़न दर पर वैध A/B परीक्षण चला ही नहीं सकते। "थोड़ा समय लगेगा" नहीं — आप नहीं कर सकते। जितने सुधार को पकड़ने की आप उम्मीद कर रहे हैं, उसके लिए ज़रूरी बजट उसी बजट से बड़ा है जिसे आप ऑप्टिमाइज़ कर रहे हैं।

Miller का इससे जुड़ा लेख, How Not To Run An A/B Test, जाल का दूसरा आधा हिस्सा बताता है: परीक्षण को देखते रहना और जैसे ही वह सार्थक दिखे, रोक देना। ऐसा कीजिए और आपको लगभग हर बार एक "विजेता" मिल जाएगा, दो बिल्कुल एक जैसे पेजों के बीच भी।

जब नमूने का आकार आपके बस में न हो, तब क्या करें

मापने से इनकार भी जवाब नहीं है। छोटे पैमाने पर तीन चीज़ें काम करती हैं:

फ़नल में ऊपर मापिए। 3% की दर पर क्लिक, कन्वर्ज़न से 30 गुना ज़्यादा आम हैं, यानी क्लिक-थ्रू दर काम लायक़ नमूने के आकार तक 30 गुना तेज़ी से पहुँचती है। दो क्रिएटिव की तुलना CTR पर कुछ सौ-सौ इंप्रेशन से ईमानदारी से की जा सकती है। साइन-अप पर नहीं की जा सकती। उसी चीज़ की जाँच कीजिए जिसके लिए आपके पास पर्याप्त डेटा है, और साफ़ कहिए कि आप विकल्प-मापक जाँच रहे हैं।

इतने बड़े अंतर खोजिए कि दिख जाएँ। छोटे प्रभावों को बड़े नमूने चाहिए; बहुत बड़े प्रभावों को नहीं। अगर किसी बदलाव से आप 200 क्लिक पर 0 साइन-अप से 200 क्लिक पर 11 पर पहुँच जाएँ, तो कैलकुलेटर की ज़रूरत नहीं। छोटे बजट को परिमाण के स्तर वाले अंतर खोजने चाहिए — दूसरा दर्शक वर्ग, दूसरा चैनल, दूसरी पेशकश — बटन के रंग पर 15% की बढ़त नहीं।

गुणात्मक को भी गिनिए। छह लोगों का यह कहना कि प्राइसिंग पेज ने उन्हें उलझा दिया, असली सबूत है, ऐसे नमूने से जुटा जिसे कोई सांख्यिकीय परीक्षण किसी दर के लिए स्वीकार नहीं करेगा। वह कन्वर्ज़न दर नहीं है और उसे दर बताकर पेश नहीं करना चाहिए, पर वह उस परीक्षण से ज़्यादा भरोसे के साथ पेज सुधारेगा जिसे चलाना आपके बस में नहीं।

याद रखने वाला वाक्य

जब कोई आपको कन्वर्ज़न दर दिखाए, पूछिए कि हर क्या था। अगर जवाब कुछ सौ से कम है, या अंश पंद्रह से कम, तो वह आँकड़ा माप नहीं, एक कहानी है — और जितनी सटीकता से बताया जाए, उतना ही कम मतलब रखता है। 74 क्लिक और 2 साइन-अप से निकली "2.7% कन्वर्ज़न दर" दरअसल दो साइन-अप हैं।

बजट छोटा हो तो इसीलिए तेज़ परीक्षणों से ज़्यादा ईमानदार आँकड़े मायने रखते हैं: जो तेज़ परीक्षण आत्मविश्वास भरा ग़लत जवाब देता है, वह कोई परीक्षण न होने से बदतर है, क्योंकि आप उस पर अमल करेंगे। और इसीलिए $50 का विज्ञापन बजट तीन धुँधले संकेतों में बँटने के बजाय एक साफ़ संकेत खरीदने में बेहतर लगता है।

इतना खर्च कीजिए कि एक चीज़ ढंग से सीख लें, या कुछ भी खर्च मत कीजिए और जाकर छह लोगों से बात कीजिए। बीच का रास्ता — आँकड़े पैदा करने भर, पर उन पर भरोसा करने लायक़ नहीं — वही है जहाँ ज़्यादातर छोटे विज्ञापन बजट दम तोड़ते हैं।