ברוב הסקרים המקוונים, רוב המשיבים פותחים את הקישור בטלפון הנייד, גם כשההזמנה נשלחת במייל. למרות זאת, שאלונים רבים עדיין נכתבים כמסמך למסך גדול ונבדקים בנייד רק לפני היציאה לשדה.

התוצאות מוכרות: טבלאות רחבות שדורשות גלילה לצדדים, כפתורים קטנים, שאלות פתוחות שמבקשות פסקה שלמה, ומשיבים שנוטשים באמצע או מסמנים תשובות רק כדי להתקדם. הנזק אינו מסתכם בשיעור ההשלמה. מי שנשאר עונה פחות טוב, ומי שנוטש אינו קבוצה מקרית: לעיתים קרובות מדובר בצעירים או בקהלים שגולשים כמעט רק מהטלפון, וכך גם ייצוג המדגם נפגע.

העקרונות

תכנון לנייד פירושו שהשאלון מתוכנן מההתחלה למסך הקטן, והמחשב הוא המקרה הפשוט. בפועל מדובר בכמה כללים:

• שאלה אחת במסך. הקדמות ארוכות מפוצלות, וכל שאלה מוצגת בנפרד.
• ללא טבלאות רחבות. במקום טבלה של שבעה היגדים על סולם של חמש דרגות, ההיגדים מוצגים בזה אחר זה, עם סולם אנכי.
• שטחי לחיצה גדולים. תשובות ברשימה אנכית, עם מרווח נוח לאצבע, וללא סרגלי גרירה שקשה לכוון.
• מעט הקלדה. שאלות פתוחות רק כשהן נחוצות, עם הנחיה קצרה לגבי אורך התשובה.
• טעינה מהירה. תמונות וסרטונים קלים, כי לא כל משיב מחובר לרשת אלחוטית.
• אפשרות לחזור. משיב שנקטע באמצע חוזר דרך אותו קישור לנקודה שבה עצר.

בדיקה על מכשירים אמיתיים

תצוגה מקדימה במחשב אינה מספיקה. לפני השדה אנחנו עוברים על הסקר בכמה טלפונים, אנדרואיד ואייפון, במסך קטן ובמסך גדול. בודקים גם מה קורה כשהקישור נפתח מתוך וואטסאפ או פייסבוק, כי הדפדפן המובנה באפליקציות מתנהג אחרת מדפדפן רגיל.

לאחר מכן יוצאים לשדה מקדים עם מדגם קטן, ובודקים את משך המענה לפי סוג המכשיר ואת השלב שבו משיבים נוטשים. שאלה שבה הנטישה עולה מתוקנת לפני שממשיכים.

שאלון שמותאם לנייד משפר את שיעור ההשלמה ואת איכות התשובות גם בקרב מי שעונה מהמחשב.

התועלת

שיעור השלמה גבוה יותר, זמן מענה קצר יותר ונתונים נקיים יותר, עם פחות משיבים שמסמנים את אותה תשובה לאורך כל הטבלה. בנוסף, מדגם מייצג יותר, כי קהלים שעונים רק מהטלפון אינם נושרים בדרך.

בכל השאלונים שלנו התכנון מתחיל מהנייד, והבדיקה במחשב נעשית אחר כך.

כשמדברים על חוויית משתמש בסקר, הכוונה בדרך כלל לשאלון עצמו. אבל המשיב פוגש את הסקר קודם: בהודעה שמגיעה לטלפון, בקישור שבתוכה ובמסך הראשון שנפתח. בשלב הזה הוא מחליט אם לפתוח את הסקר, ואם להמשיך.

משיבים חוששים, ובצדק, מקישורים שמגיעים במסרון. הודעה שלא ברור מי שלח אותה, או קישור שנראה חשוד, מורידים את שיעור ההיענות לפני שנשאלה שאלה אחת. היענות נמוכה פוגעת גם בהרכב המדגם.

ההודעה והקישור

• מי פונה ולמה. שורה או שתיים: מי עורך את הסקר, במה הוא עוסק וכמה זמן נדרש למילוי.
• כתובת שמעוררת אמון. קישור קצר על כתובת אתר מוכרת, ולא קיצור אנונימי שנראה כמו הודעת ספאם.
• תצוגה מקדימה מסודרת. בוואטסאפ הקישור מופיע ככרטיס עם כותרת ותמונה, והם צריכים להיות של הארגון שפונה.

קישור אישי או קישור כללי

קישור אישי, נפרד לכל משיב, הוא כמעט תמיד הבחירה הנכונה. הוא מונע כניסות כפולות, מאפשר לשלוח תזכורת רק למי שטרם ענה, ומחזיר את המשיב לנקודה שבה עצר. קישור כללי מתאים להפצה פתוחה, למשל ברשתות החברתיות, אבל אז נדרשות הגנות אחרות מפני כפילויות, ובדרך כלל גם שאלות סינון בפתיחה.

המידע שעובר בקישור

קישור טוב נושא מידע שכבר ידוע, כדי שלא יהיה צורך לשאול עליו שוב: מאיזה ערוץ הגיע המשיב, מה המזהה שלו בפאנל, או לאיזו קבוצת מכסה הוא שייך. כך אפשר לעקוב אחרי המכסות בזמן אמת ולקצר את השאלון.

מה לא עובר בקישור: פרטים מזהים. שם, מספר טלפון או כתובת מייל אינם אמורים להופיע בכתובת שאפשר להעביר הלאה.

עבודה עם פאנל

בסוף הסקר כל משיב מופנה חזרה לפאנל עם סטטוס: סיים, סונן, או הגיע אחרי שהמכסה שלו התמלאה. ההפניות האלה חייבות לעבוד במדויק, כי התשלום לפאנל וחישוב שיעורי ההשתתפות תלויים בהן. לכן כל אחד משלושת המסלולים נבדק לפני פתיחת השדה.

המסך הראשון

הודעת פתיחה קצרה: מי עורך את הסקר, כמה זמן הוא נמשך בפועל ומה ייעשה במידע. אחריה כפתור התחלה גדול, בלי עמוד ארוך של תנאים לפני השאלה הראשונה.

הערכת זמן מדויקת היא חלק מתנאי ההשתתפות. משיב שהובטחו לו חמש דקות ונדרש לעשרים לא ישתתף בסקר הבא.

בדיקה לפני היציאה לשדה

לפני כל שדה אנחנו פותחים את הקישור מכמה אפליקציות, וואטסאפ, מסרון, מייל ופייסבוק, ובכמה טלפונים. נבדקים גם המקרים הפחות שגרתיים: לחיצה שנייה על קישור אישי, כניסה אחרי שהמכסה התמלאה, וכניסה אחרי שהסקר נסגר.

כשהשלב הזה מתוכנן נכון, המשיב מזהה מיד מי פונה אליו ומתחיל לענות.

סקר מקוון הוא מהיר ויעיל, אבל אותה מהירות מאפשרת גם תשובות שאינן רצויות בדוח: בוטים, אנשים שנכנסים לאותו סקר פעמיים, ומשיבים שעוברים על השאלון בלי לקרוא. משיב אחד כזה לא ישנה תוצאה. אבל כמה אחוזים של תשובות לא אמיתיות בתוך קבוצה קטנה עלולים לייצר ממצא שאינו קיים.

לכן בקרת האיכות אינה נדחית לסוף. היא מתחילה בשאלון, נמשכת בשדה ומסתיימת בקובץ הנתונים.

לפני השדה

• הגנה מפני בוטים. אימות שרץ ברקע ומסמן כניסות חשודות, בלי להטריד משיבים אמיתיים.
• חסימת כניסות חוזרות. לפי המזהה בפאנל ולפי המכשיר, גם כשדוגמים מכמה ספקים במקביל.
• שאלות ערנות. שאלה או שתיים שנכתבות מראש בתוך השאלון, למשל "לצורך בדיקה, סמנו את התשובה השלישית". הוגנות ופשוטות, ולא שאלות מכשילות.
• שדה מקדים. מדגם קטן ראשון, לבדיקת משכי מענה, נטישה ולוגיקה לפני שממשיכים.

במהלך השדה

מעקב יומי: התקדמות המכסות, שיעור ההשלמה, משך המענה לפי סוג מכשיר והתפלגות התשובות לפי מקור. ספק שמתחיל להראות דפוסים חשודים נעצר אחרי יום, ולא מתגלה בסוף השדה.

אחרי השדה

על הקובץ המלא רצות בדיקות שמסמנות כל משיב:

1. מהירים מדי. משך מענה קצר בהרבה מהזמן הרגיל בסקר, ובמיוחד זמן קצר מדי בעמוד שדרש קריאת טקסט.
2. איטיים מאוד. מי שהשאיר את הסקר פתוח זמן ארוך מסומן, וההחלטה מה לעשות איתו תלויה בסקר.
3. תשובות בקו ישר. אותה תשובה לכל ההיגדים בטבלה, גם כשחלקם מנוסחים בכיוון הפוך.
4. כפולים. אותו מזהה, אותו מכשיר או דפוס תשובות זהה, כולל בין פאנלים שונים.
5. שאלות פתוחות. רצף תווים חסר משמעות, טקסט מועתק או תשובה שאין לה קשר לשאלה.
6. סתירות. למשל גיל שאינו מתאים לשנת הלידה, או ותק בעבודה גבוה מהגיל.

כל משיב שמוסר מהניתוח מסומן בקובץ הנתונים יחד עם הסיבה להסרה.

שקיפות, לא רק ניקוי

במקום למחוק, אנחנו מוסיפים לקובץ הנתונים משתני סימון: מי כפול, מי מהיר מדי, מי נכשל בשאלת הערנות ומי נכלל בניתוח. הלקוח רואה בדיוק מה הוסר ולמה, ויכול להריץ את הניתוח עם הקבוצות האלה או בלעדיהן.

מידת ההחמרה

כללים נוקשים מדי מוציאים גם משיבים אמיתיים, למשל קוראים מהירים או משיבים מבוגרים שעונים לאט, וכך מטים את המדגם בעצמם. לכן הספים נקבעים לפי הסקר הספציפי, נכתבים מראש ככל האפשר ומתועדים בדוח.

בקרת האיכות אינה נראית בדוח עצמו, אבל היא התנאי לכך שאפשר להסתמך על כל מספר בו.

לאחרונה הרצנו ניסוי סקר בארבע מדינות במקביל, שתיים באירופה ושתיים באמריקה הלטינית. בכל מדינה ענו אלפי משיבים, וכל משיב ראה באקראי אחת משמונה גרסאות של הטקסט שנבדק. על הנייר מדובר באותו סקר ארבע פעמים. בפועל, בכל מדינה התעוררו סוגיות שונות שדרשו החלטה.

התרגום הוא חלק מהמחקר

כל גרסת שפה נבדקה בתוך מערכת הסקרים עצמה, ולא רק במסמך. כך נמצאו, למשל, גרסה שבה אחד משמונת התנאים הציג את הטקסט של תנאי אחר, ושמות שלא התאימו בין השפות. טעויות כאלה אינן בולטות בקריאת מסמך. מוצאים אותן רק כשעוברים על כל תנאי, בכל שפה, בסקר החי.

גם ניסוח השאלה שבודקת אם המשיב שם לב לטקסט דורש זהירות. שאלה שרומזת על התשובה הנכונה אינה בודקת דבר, ולכן נוסחה מחדש בצורה ניטרלית.

אותו מושג, הגדרה אחרת

באחת המדינות, הפאנל שייך כמה מחוזות לאזורים אחרים מאלה שבמכסות שלנו. כדי למנוע פער, נקבע שהאזור מוגדר לפי מה שהמשיב עצמו ענה בשאלון, ומול הפאנל תואמו רק המקרים שהשפיעו בפועל על ההזמנות.

קבוצות שקשה להגיע אליהן

בחלק מהמדינות, אף פאנל לבדו לא הגיע למספיק משיבים בני 55 ומעלה. הפתרון היה דגימה משני פאנלים במקביל. שניהם נוהלו באותו פרויקט, כך שמכשיר שכבר נכנס דרך פאנל אחד נחסם בכניסה דרך השני, ובסוף השדה נבדקו כפילויות גם בין הפאנלים.

גם סדר העבודה הותאם: קודם ממלאים את המכסות הקשות, הגילים המבוגרים והאזורים הרחוקים מהבירה, ורק אחר כך את השאר.

בקרת איכות אחידה

בכל ארבע המדינות פעלו אותם כללי ניקוי: שאלות ערנות, ספי זמן על הסקר כולו ועל העמוד שבו נדרשה קריאת הטקסט, ובדיקת כפולים. כל משיב שהוסר סומן בקובץ עם הסיבה. בניסוי יש דרישה נוספת: אחרי הניקוי, כל אחד משמונת התנאים צריך להישאר בגודל שנקבע מראש.

במחקר בכמה מדינות, ההשוואה בין המדינות תקפה רק אם ההגדרות, המכסות וכללי הניקוי זהים בכולן.

דוח שדה שאפשר לצטט

בסוף השדה נכתב לכל מדינה דוח קצר, ובמדינות עם שני פאנלים, לכל פאנל בנפרד: כמה נכנסו, כמה סוננו, כמה נטשו וכמה סיימו. ההגדרות נכתבו במדויק, כך שאפשר לשלב אותן כפי שהן במאמר אקדמי.

רוב העבודה הזו אינה נראית בתוצאות, אבל היא מה שמאפשר להשוות בין המדינות ולהסתמך על ההשוואה.

רוב האנשים אינם פותחים כל מייל שמגיע אליהם. הודעה בטלפון, לעומת זאת, נקראת כמעט תמיד, ובדרך כלל בתוך דקות. לכן בסקרים קצרים, ובמיוחד כשיש רשימה של לקוחות, עובדים או חברים בארגון, מסרון או וואטסאפ הם לעיתים קרובות הערוץ היעיל ביותר.

מתי הערוץ מתאים

• סקרים קצרים וממוקדים, למשל משוב אחרי שירות או אירוע.
• סקרים פנים-ארגוניים, כשלא לכל העובדים יש מייל ארגוני או מחשב.
• רשימות של לקוחות או חברים שאישרו פנייה אליהם.
• קהלים שקשה להגיע אליהם דרך פאנלים או במייל.

מתי פחות

שאלון ארוך עם טבלאות רבות אינו הופך לקצר כשהקישור נשלח בוואטסאפ. ויש קהלים שהערוץ אינו מגיע אליהם, למשל מי שמשתמש בטלפון כשר. במקרים כאלה סקר טלפוני הוא בדרך כלל הפתרון הנכון.

כללי עבודה

1. שולח מזוהה. שם שולח שהמשיב מכיר, ולא מספר אקראי.
2. הודעה קצרה וברורה. מי פונה, במה מדובר, כמה זמן נדרש ועד מתי אפשר לענות.
3. קישור אישי ואמין. קישור נפרד לכל נמען, על כתובת שמעוררת אמון. הרחבנו על כך במאמר על תכנון הכניסה לסקר.
4. תזמון. שעות סבירות ותזכורת אחת בלבד.
5. הסכמה ואפשרות הסרה. פנייה רק לרשימות שיש אישור לפנות אליהן, עם דרך פשוטה להפסיק לקבל הודעות.
6. שאלון שנבנה לטלפון. שאלה אחת במסך, ללא טבלאות רחבות. על כך במאמר על תכנון שאלון לנייד.

בערוץ הזה ההודעה הראשונה היא חלק מהסקר: היא קובעת מי יפתח את הקישור ומי לא.

השלב הבא: מחקר בהתכתבות

וואטסאפ אינו רק ערוץ להפצת קישור. אנשים כותבים בו בחופשיות, בזמן שנוח להם ובמילים שלהם. זה הרעיון שמאחורי QualiTalk, פלטפורמה שתושק בקרוב ומנהלת ראיון מחקר כהתכתבות, עם שאלות איכותניות וכמותיות באותה שיחה.

נניח שרוצים לדעת איזה מסר ישכנע יותר: זה שמדגיש חיסכון בכסף, או זה שמדגיש בריאות. אפשר להציג את שני המסרים ולשאול איזה מהם משכנע יותר. אבל התשובה לשאלה כזו מושפעת ממה שנשמע הגיוני, ממה שנחשב נכון לומר ומהסדר שבו הוצגו המסרים.

ניסוי בתוך סקר פועל אחרת. כל משיב רואה באקראי רק אחד מהמסרים, ואז כולם עונים על אותן שאלות. ההבדל בין הקבוצות הוא ההשפעה של המסר עצמו.

שימושים

• בדיקת מסרים, מודעות ושמות של מוצרים.
• מחיר: נכונות לשלם, כשכל קבוצה רואה מחיר אחר.
• מדיניות: איך ניסוח של הצעה משנה את התמיכה בה.
• מחקר אקדמי: ניסויי תרחיש, שבהם משנים פרט אחד בתיאור ובודקים את השפעתו.

מה צריך לתכנן

1. מספר הגרסאות וגודל כל קבוצה. כל גרסה נוספת מחייבת עוד משיבים. שמונה גרסאות של 250 משיבים כל אחת הן 2,000 משיבים, אחרי ניקוי.
2. הקצאה אקראית ומאוזנת. המערכת מחלקת את המשיבים שווה בשווה בין הגרסאות, וסוגרת גרסה שהתמלאה.
3. וידוא שהטקסט נקרא. זמן מינימלי בעמוד הטקסט, ושאלה שבודקת אם המשיב שם לב לפרט שהשתנה. השאלה חייבת להיות ניטרלית, כדי שלא תרמוז על התשובה.
4. בדיקת איזון. אחרי השדה בודקים שהקבוצות דומות בגיל, במגדר ובאזור. אם הן דומות, ההבדל בתשובות נובע מהגרסה ולא מהרכב הקבוצה.
5. ניקוי שאינו פוגע בניסוי. כללי הניקוי חלים על כל הקבוצות באותה צורה, וכל קבוצה נשארת בגודל שנקבע.

בניסוי, המשיב אינו נדרש להעריך מה משפיע עליו. ההשפעה מחושבת ישירות מההבדל בין הקבוצות.

הניתוח

הקבוצות מושוות באמצעות מבחני מובהקות, ונבדק גם אם ההשפעה שונה בין קהלים, למשל בין צעירים למבוגרים. ניסוי מתוכנן היטב נותן תשובה ברורה לשאלה: מה קורה כשמשנים דבר אחד, וכל השאר נשאר כפי שהוא.

In most online surveys, most respondents open the link on a mobile phone, even when the invitation is sent by email. Yet many questionnaires are still written as a document for a large screen and checked on a phone only before fieldwork begins.

The results are familiar: wide grids that require sideways scrolling, small buttons, open questions that ask for a full paragraph, and respondents who drop out halfway or click through just to move on. The damage goes beyond the completion rate. Those who stay give weaker answers, and those who leave are not a random group: they are often younger people, or audiences who go online almost only from their phones, so the representativeness of the sample suffers as well.

The principles

Designing for mobile means the questionnaire is built for the small screen from the start, and the desktop is the simple case. In practice it comes down to a few rules:

• One question per screen. Long introductions are split, and every question is shown on its own.
• No wide grids. Instead of a grid of seven statements on a five-point scale, statements appear one after another, with a vertical scale.
• Large tap targets. Answers in a vertical list with room for a finger, and no sliders that are hard to aim.
• Little typing. Open questions only when they are needed, with a short note on the expected length.
• Fast loading. Light images and videos, because not every respondent is on Wi-Fi.
• Easy to resume. A respondent interrupted halfway returns through the same link to the point where they stopped.

Testing on real devices

A desktop preview is not enough. Before fieldwork we go through the survey on several phones, Android and iPhone, with small and large screens. We also check what happens when the link opens inside WhatsApp or Facebook, because the browser built into those apps behaves differently from a regular one.

Then comes a soft launch with a small sample, where we check completion time by device type and the point at which respondents leave. A question where drop-off rises is fixed before fieldwork continues.

A questionnaire designed for mobile improves completion rates and answer quality among desktop respondents as well.

The benefits

A higher completion rate, shorter completion times and cleaner data, with fewer respondents giving the same answer down an entire grid. In addition, a more representative sample, because audiences who answer only on their phones do not fall away.

In all of our questionnaires, design starts on mobile, and the desktop check comes afterwards.

When people talk about user experience in surveys, they usually mean the questionnaire itself. But respondents meet the survey earlier: in the message that reaches their phone, in the link inside it, and on the first screen that opens. At this stage they decide whether to open the survey at all, and whether to go on.

Respondents are wary, with good reason, of links that arrive by text message. A message whose sender is unclear, or a link that looks suspicious, lowers the response rate before a single question is asked. Low response also affects the composition of the sample.

The message and the link

• Who is asking and why. A line or two: who runs the survey, what it is about, and how long it takes.
• An address that earns trust. A short link on a recognizable website address, not an anonymous shortener that looks like spam.
• A tidy preview. In WhatsApp the link appears as a card with a title and an image, and they should belong to the organization that is asking.

Personal link or general link

A personal link, unique to each respondent, is almost always the right choice. It prevents duplicate entries, allows reminders to be sent only to those who have not answered yet, and brings respondents back to the point where they stopped. A general link suits open distribution, for example on social media, but then other safeguards against duplicates are needed, and usually screening questions at the start.

What travels inside the link

A good link carries information that is already known, so there is no need to ask for it again: the channel the respondent came from, their panel ID, or the quota group they belong to. That makes it possible to follow quotas in real time and keep the questionnaire short.

What does not travel in the link: identifying details. A name, phone number or email address should not appear in an address that can be forwarded.

Working with a panel

At the end of the survey, every respondent is redirected to the panel with a status: completed, screened out, or arrived after their quota was full. These redirects must work exactly, because panel payments and response-rate calculations depend on them. Each of the three routes is therefore tested before fieldwork opens.

The first screen

A short welcome: who runs the survey, how long it actually takes, and what will be done with the information. Then a large start button, with no long page of terms before the first question.

An accurate time estimate is part of the terms of participation. A respondent promised five minutes who is kept for twenty will not take part in the next survey.

Testing before fieldwork

Before every fieldwork we open the link from several apps, WhatsApp, text message, email and Facebook, and on several phones. We also test the less routine cases: a second click on a personal link, entry after a quota has filled, and entry after the survey has closed.

When this stage is planned properly, respondents immediately recognize who is asking and start answering.

Online surveys are fast and efficient, but the same speed also lets in answers that do not belong in a report: bots, people who enter the same survey twice, and respondents who go through the questionnaire without reading. One such respondent will not change a result. But a few percent of answers that are not real, inside a small subgroup, can produce a finding that does not exist.

Quality control is therefore not left to the end. It starts with the questionnaire, continues through fieldwork and ends in the data file.

Before fieldwork

• Bot protection. A check that runs in the background and flags suspicious entries without bothering real respondents.
• Blocking repeat entries. By panel ID and by device, even when sampling from several providers at once.
• Attention checks. One or two questions written into the questionnaire in advance, such as "For quality purposes, please select the third answer". Fair and simple, not trick questions.
• Soft launch. A small first sample to check completion times, drop-off and logic before going on.

During fieldwork

Daily monitoring: quota progress, completion rate, completion time by device type and answer distributions by source. A provider that starts showing suspicious patterns is stopped after a day, rather than discovered at the end of fieldwork.

After fieldwork

Checks run on the full file and flag each respondent:

1. Speeders. A completion time far below the typical time for the survey, and especially too little time on a page that required reading a text.
2. Very slow respondents. Anyone who left the survey open for a long time is flagged, and what to do with them depends on the survey.
3. Straight-lining. The same answer to every statement in a grid, even when some are worded in the opposite direction.
4. Duplicates. The same ID, the same device or an identical answer pattern, including across different panels.
5. Open-ended answers. Meaningless strings of characters, copied text, or an answer unrelated to the question.
6. Contradictions. For example an age that does not match the year of birth, or years at work that exceed age.

Every respondent removed from the analysis is flagged in the data file together with the reason for removal.

Transparency, not just cleaning

Instead of deleting, we add flag variables to the data file: who is a duplicate, who was too fast, who failed the attention check, and who is included in the analysis. The client sees exactly what was removed and why, and can run the analysis with or without those groups.

How strict to be

Rules that are too strict also remove real respondents, such as fast readers or older respondents who answer slowly, and so bias the sample themselves. Thresholds are therefore set for the specific survey, written down in advance where possible, and documented in the report.

Quality control is not visible in the report itself, but it is the condition for relying on every number in it.

We recently ran a survey experiment in four countries at once, two in Europe and two in Latin America. Thousands of respondents answered in each country, and every respondent saw, at random, one of eight versions of the text being tested. On paper it was the same survey four times. In practice, each country raised different issues that required a decision.

Translation is part of the research

Every language version was checked inside the survey platform itself, not just in the document. That is how we found, for example, a version in which one of the eight conditions showed the text of another condition, and names that did not match across languages. Errors like these do not stand out when reading a document. They are found only by going through every condition, in every language, in the live survey.

The wording of the question that checks whether respondents noticed the text also needs care. A question that hints at the right answer checks nothing, so it was reworded in neutral terms.

Same term, different definition

In one country, the panel assigned several provinces to different regions than the ones in our quotas. To avoid a gap, region was defined by what respondents themselves answered in the questionnaire, and only the cases that actually affected invitations were coordinated with the panel.

Hard-to-reach groups

In some of the countries, no single panel reached enough respondents aged 55 and over. The solution was to sample from two panels in parallel. Both ran in the same project, so a device that had already entered through one panel was blocked from entering through the other, and at the end of fieldwork duplicates were checked across the panels as well.

The order of work was adjusted too: first fill the hard quotas, the older age groups and the regions far from the capital, and only then the rest.

Uniform quality control

The same cleaning rules applied in all four countries: attention checks, time thresholds for the whole survey and for the page where the text had to be read, and duplicate checks. Every respondent removed was flagged in the file with the reason. An experiment adds one more requirement: after cleaning, each of the eight conditions must stay at the size set in advance.

In multi-country research, the comparison between countries is valid only if the definitions, quotas and cleaning rules are identical in all of them.

A fieldwork report you can cite

At the end of fieldwork, a short report was written for each country, and in countries with two panels, for each panel separately: how many entered, how many were screened out, how many dropped out and how many completed. The definitions were written precisely, so they can go into an academic paper as they are.

Most of this work is not visible in the results, but it is what makes it possible to compare the countries and rely on the comparison.

Most people do not open every email they receive. A message on their phone, on the other hand, is almost always read, usually within minutes. So for short surveys, especially when there is a list of customers, employees or members, a text message or WhatsApp is often the most effective channel.

When the channel fits

• Short, focused surveys, such as feedback after a service or an event.
• Employee surveys, when not every employee has a work email or a computer.
• Lists of customers or members who have agreed to be contacted.
• Audiences that are hard to reach through panels or by email.

When it fits less

A long questionnaire full of grids does not become short because the link was sent on WhatsApp. And some audiences the channel does not reach, such as people who use basic phones without internet access. In those cases a phone survey is usually the right solution.

Working rules

1. A recognizable sender. A sender name respondents know, not a random number.
2. A short, clear message. Who is asking, what it is about, how long it takes, and until when answers are accepted.
3. A personal, trustworthy link. A separate link for each recipient, on an address that earns trust. More on this in our article on planning the way into a survey.
4. Timing. Reasonable hours and a single reminder.
5. Consent and opt-out. Contact only lists that have agreed to it, with a simple way to stop receiving messages.
6. A questionnaire built for the phone. One question per screen, no wide grids. More in our article on designing questionnaires for mobile.

In this channel the first message is part of the survey: it determines who opens the link and who does not.

Next: research as a conversation

WhatsApp is more than a channel for sending a link. People write in it freely, at a time that suits them, in their own words. That is the idea behind QualiTalk, a platform launching soon that runs a research interview as a chat, with qualitative and quantitative questions in the same conversation.

Say you want to know which message is more persuasive: one that stresses saving money, or one that stresses health. You could show both messages and ask which is more convincing. But the answer to that question is shaped by what sounds reasonable, by what seems right to say, and by the order in which the messages were shown.

An experiment inside a survey works differently. Each respondent sees only one of the messages, at random, and then everyone answers the same questions. The difference between the groups is the effect of the message itself.

Uses

• Testing messages, ads and product names.
• Pricing: willingness to pay, when each group sees a different price.
• Policy: how the wording of a proposal changes support for it.
• Academic research: vignette experiments, where one detail of a description changes and its effect is tested.

What to plan

1. Number of versions and group size. Every extra version needs more respondents. Eight versions of 250 respondents each add up to 2,000 respondents, after cleaning.
2. Random, balanced assignment. The platform splits respondents evenly between versions and closes a version once it is full.
3. Making sure the text was read. A minimum time on the text page, and a question that checks whether the respondent noticed the detail that changed. That question must be neutral, so it does not hint at the answer.
4. Balance checks. After fieldwork we check that the groups are similar in age, gender and region. If they are, the difference in answers comes from the version, not from the make-up of the group.
5. Cleaning that does not harm the experiment. Cleaning rules apply to all groups in the same way, and each group stays at its planned size.

In an experiment, respondents are not asked to judge what influences them. The effect is measured directly from the difference between the groups.

The analysis

The groups are compared with significance tests, and we also check whether the effect differs between audiences, for example between younger and older respondents. A well-designed experiment gives a clear answer to the question: what happens when one thing changes and everything else stays the same.