Корпоративный стандарт измерения результативности (далее Стандарт) содержит систематическое описание процедуры расчета показателей результативности опросов Агентства «МедиаФакт» (ИП Исмаилов И.Н.), рекомендуемый Всероссийским Центром Изучения Общественного Мнения (ВЦИОМ).
Стандарт применяется с 11 января 2022 года при измерении результативности выполненных работ (опросов), где Агентство «МедиаФакт» (ИП Исмаилов И.Н.) выступает Заказчиком.
Текст Стандарта отражает актуальное состояние процедур сбора и обработки первичных данных, необходимых для расчета показателей результативности. По мере совершенствования мониторинга результативности текст Стандарта будет обновляться. Все уточнения и дополнения будут обеспечивать сопоставимость данных.
Термины
- Количественный опрос — метод сбора социологической информации, характеризующийся формализованной формой ответов респондентов на поставленные и жестко фиксированные в опросном листе вопросы. К количественным опросам относятся: личные интервью (Face-to-face, PAPI, CAPI), уличные, телефонные (CATI), экзитпол.
- Опрос Face-to-face — личное интервью с респондентом по анкете.
- Уличный опрос — личное интервью с респондентом по анкете на улице, в местах массового скопления людей.
- CATI-опрос — компьютеризированное телефонное интервью с респондентом.
- CAPI-опрос — опрос на портативных компьютерных устройствах.
- PAPI-опрос — опрос по бумажной анкете при личном контакте с респондентом.
- Экзитпол — опрос на выходе с избирательных участков.
- Качественный опрос — метод сбора социологической информации:
- Фокус-группа — групповое интервью, сфокусированное на определенной теме или темах.
- Глубинное экспертное интервью — неструктурированное личное интервью с экспертом для получения информации по изучаемой теме.
- Кабинетное исследование — сбор и анализ вторичной информации из доступных источников, согласно заданным параметрам.
- Анкета — специально разработанная последовательность вопросов, позволяющих посредством опроса решить задачи Исследования.
- Респондент — любое физическое или юридическое лицо, от которого Исполнителем как исследователем получена информация для целей Исследования, а также любое физическое или юридическое лицо, к которому обратились для проведения интервью.
- Транскрипт — расшифровка записи фокус-группы в печатном виде.
- Скринер — анкета со скрининговыми (отборочными) вопросами.
- Домохозяйство — группа людей, совместно проживающих и ведущих общее домашнее хозяйство, имеющих общие интересы и обязанности. В отличие от семьи отношения родства между членами домохозяйства не обязательны, более того, оно может состоять из одного человека, живущего самостоятельно.
Порядок уменьшения цены и наложения штрафов по количественным опросам
1) Опрос по бумажной анкете при личном контакте с респондентом (PAPI-опросы).
Результаты Услуг, выполненных методом PAPI, должны быть переданы Заказчику в виде электронных баз данных, заполненных в строгом соответствии со структурой макета и анкеты, если иное не предусмотрено Техническим Заданием, в сроки, указанные в Техническом Задании. В противном случае Заказчик имеет право полностью или частично не принимать к оплате анкеты, выполненные с нарушениями, сданные не в установленные сроки.
Исполнитель не имеет права опрашивать респондентов, ранее принимавших участие в социологических, маркетинговых исследованиях в течение последних 3 (трех) месяцев. Заказчик вправе наложить штраф в размере 100% от стоимости каждой анкеты, респонденты по которым в течение последних 3-х месяцев принимали участие в опросах, если иное не прописано в Техническом Задании.
Массив данных одного интервьюера должен содержать не менее 70% телефонов респондентов, опрошенных в городах, и не менее 65% телефонов респондентов, опрошенных в селах. Если количество телефонных номеров в базе ниже указанных норм, Заказчик вправе наложить штраф в размере 100% стоимости каждой анкеты, не имеющей телефонного номера.
Заказчик вправе наложить штраф в размере 10% от стоимости анкеты в случае неверного формата ввода по отсутствующим номерам. Правильными форматами являются «89999999999» или «80000000000».
Заказчик вправе штрафовать Исполнителя, если были выявлены нарушения, перечисленные ниже в Таблице № 1 (размер штрафа определяется из расчета стоимости одной анкеты):
| Код | Нарушения | Количество | Штраф |
|---|---|---|---|
| 1 | Опрос не проводился | 1 | 100% |
| 2 | Респондент не подходит по скринеру | 1 | 100% |
| 3 | Нарушение методики PAPI-опроса (несоответствие места опроса; грубое нарушение инструкции; неправильное заполнение анкеты; опрос со знакомыми по договоренности; опрос по договоренности по скрининговым (отборочным) вопросам; нарушение иных условий, прописанных в ТЗ) | 1 | 50% |
| 4 | Без демонстрации цветных визуальных материалов (в случае, если такая демонстрация предусмотрена ТЗ и анкетой) | 1 | 100% |
| 5 |
Опрошены респонденты, которые в течение последних трех месяцев принимали участие в опросах. Штраф накладывается, если в анкете есть вопрос про участие респондента в опросах за последние 3 месяца. Если в анкете нет вопроса об участии в опросах за последние 3 месяца, то анкеты штрафуются в случае, если нарушение выявлено у одного и того же интервьюера, проводившего опрос по данному проекту и предыдущим опросам, в которых участвовал респондент. |
1 | 100% |
| 6 | Не соответствует пол | 1 | 30% |
| 7 | Не соответствует возрастная квотная группа | 1 | 30% |
| 8 | Ошибка в контрольном вопросе | 1 | 10% |
| 9 | Не соблюден маршрут | 1 | 30% |
| 10 | По данному телефону респондента с таким именем нет / неверный номер телефона | > 15% по интервьюеру | 100% |
| 11 |
Несуществующий/недоступный номер. При контроле до респондента невозможно дозвониться. Количество попыток дозвона не менее трех в разное время суток. |
||
| 12 | Опрос нескольких респондентов в одном домохозяйстве. Если в домохозяйстве опросили более чем одного человека в рамках одного проекта, то действительным считается только одно интервью; на остальные интервью в данном домохозяйстве налагается штраф | 1 | 100% |
| 13 | Ошибки ввода шапки анкеты, контактной информации. Штраф налагается в том случае, если партнер отказался исправлять выявленные нарушения в массиве | 1 | 10% |
| 14 | Ошибка ввода кода интервьюера. Штраф налагается в том случае, если партнер отказался исправлять выявленные нарушения в массиве | От кол-ва анкет интервьюера | 5% от общего числа анкет с неверно введенным кодом |
Если при приемке массива данных одного интервьюера Заказчиком обнаружено более 70% случаев нарушений (в соответствии с Таблицей № 1), в том числе в каждой анкете массива (в соответствии с Таблицей № 1), Заказчик вправе не оплачивать работу такого интервьюера в полном объеме. При наличии у такого интервьюера анкет без выявленных нарушений Заказчик может оплатить только выполненные работы по ним.
1) Опрос на портативных компьютерных устройствах (CAPI-опросы).
Результаты выполненных Услуг должны быть переданы Заказчику в электронном виде в системе Simple Forms, если иное не предусмотрено Техническим Заданием, в сроки, указанные в Техническом Задании. Аудиозаписи, сделанные при проведении CAPI-опросов, должны быть выгружены в систему Simple Forms в сроки, указанные в Техническом Задании. В противном случае Заказчик имеет право не принять к оплате результаты выполненной Работы, представленные с опозданием.
Исполнитель не имеет права опрашивать респондентов, ранее принимавших участие в социологических, маркетинговых исследованиях в течение последних 3 (трех) месяцев. Заказчик вправе наложить штраф в размере 100% от стоимости анкеты, респонденты которых в течение последних 3 трех месяцев принимали участие в опросах, если иное не прописано в Техническом Задании.
Массив данных одного интервьюера должен содержать не менее 60% телефонов респондентов, опрошенных в городах, и не менее 50% телефонов респондентов, опрошенных в селах, за исключением случаев, когда отказ в предоставлении контактных данных респондента подтвержден соответствующей аудиозаписью. Если количество телефонных номеров в базе ниже указанных норм, Заказчик вправе наложить штраф в размере 100% стоимости каждой анкеты, не имеющей телефонного номера.
Заказчик вправе наложить штраф в размере 70% от стоимости анкеты при несоблюдении времени проведения интервью, в случае, если время начала и окончания интервью находятся вне интервала 8.00-22.00 местного времени, если иное не прописано в Техническом Задании.
Заказчик вправе наложить штраф за отсутствие GPS-координат в размере 100% от стоимости анкеты.
По результатам контроля анкет Заказчик вправе наложить штраф в размере 20% от стоимости анкеты в случае, если выявлено, что длительность интервью составляет ниже средней продолжительности длины анкеты на 10%.
Заказчик вправе поставить скрытую аудиозапись на любой вопрос анкеты.
Заказчик вправе штрафовать Исполнителя, если были выявлены нарушения, перечисленные ниже в Таблице № 2 (размер штрафа определяется из расчета стоимости одной анкеты):
| Код | Нарушения | Количество | Штраф |
|---|---|---|---|
| 1 | Отсутствие аудиозаписи | 1 | 100% |
| 2 | Респондент не подходит по скринеру | 1 | 100% |
| 3 | Не соответствует пол | 1 | 30% |
| 4 | Не соответствует возрастная квотная группа | 1 | 30% |
| 5 | Опрос по договоренности по скрининговым (отборочным) вопросам, опрос родственников, близких, знакомых людей и друзей интервьюера — если данное нарушение подтверждено аудиозаписью | 1 | 100% |
| 6 |
Опрос нескольких респондентов в одном домохозяйстве. Если в домохозяйстве опросили более чем одного человека в рамках одного проекта, то действительным считается только одно интервью; на остальные интервью в данном домохозяйстве налагается штраф. Штрафуется, когда полностью подтверждается аудиозаписью |
1 | 100% |
| 7 | Фальсификация интервью (в том числе самозаполнение анкеты); подмена аудиозаписей и т.п. | 1 | 100% |
| 8 | Нарушения методики опроса согласно прописанным в ТЗ условиям, инструкции к проекту, анкете | 1 нарушение, анкета до 35 вопросов | 10% |
| 1 нарушение, анкета от 36 вопросов | 5% | ||
| 9 | Умышленный ввод неверных данных (несоответствие аудиозаписи массиву данных) | 1 нарушение, анкета до 35 вопросов | 10% |
| 1 нарушение, анкета от 36 вопросов | 5% | ||
| 10 | Отсутствие аудиозаписей в системе Simple Forms в срок, прописанный в ТЗ | Штраф от общего количества неприсланных записей | 50% |
| 11 | Без демонстрации цветных визуальных материалов (в случае, если такая демонстрация предусмотрена ТЗ и анкетой) | 1 | 100% |
Если нарушений под кодом 8, 9 более 50% в анкете, данная анкета штрафуется на 100%
Если при приемке массива данных одного интервьюера Заказчиком обнаружено более 70% случаев нарушений (в соответствии с Таблицей № 2), в том числе в каждой анкете массива (в соответствии с Таблицей № 2, Заказчик вправе не оплачивать работу такого интервьюера в полном объеме. При наличии у такого интервьюера анкет без выявленных нарушений Заказчик может оплатить только выполненные работы по ним.
1) Контроль качества данных, переделка анкет.
Результаты контроля выполненных Услуг по количественным опросам предоставляются Заказчиком в течение 10 (десяти) рабочих дней после получения электронных баз данных посредством направления письма на электронную почту Исполнителя, указанную в разделе 12 настоящего Договора, и могут быть оспорены им в течение последующих 10 (десяти) рабочих дней. По истечении этого срока Заказчик выставляет суммы к оплате, исходя из результатов контроля. В случае, если замечания по результатам Услуг подразумевают переделку анкет, переделка анкет производится в течение 5 (пяти) рабочих дней после получения Исполнителем замечаний от Заказчика, либо в сроки, установленные в соответствующем Техническом задании к Договору.
За каждый день просрочки предоставления переделанных анкет по истечении 5 (пяти) рабочих дней на переделку, если иное не оговорено в соответствующем Техническом задании к Договору, Заказчик вправе наложить штраф в размере 5% от стоимости фактически невыполненных в срок Услуг (части Услуг) за каждый день просрочки.
2) В случае, если Исполнитель организовал и провел фокус-группы с отступлением от условий Технического задания и Договора, Заказчик вправе путем направления соответствующего уведомления на электронную почту или по адресу местонахождения Исполнителя:
- потребовать от Исполнителя безвозмездного устранения недостатков в согласованные сроки;
- соразмерно уменьшить установленную цену и наложить штрафы (в соответствии с п. 5.4. настоящего Договора).
2) Порядок уменьшения стоимости Услуг и наложение штрафов при нарушениях проведения фокус-групп
Результаты выполненных Услуг должны быть переданы Заказчику в виде транскрипта (расшифровки записи фокус-группы) в формате MS Word и по форме, утвержденной Заказчиком, в сроки, указанные в соответствующем Техническом задании. В случае, если Техническое Задание предусматривает предоставление аудиозаписей и/или видеозаписей интервью в электронном (цифровом) формате, материалы в указанном формате должны быть переданы в сроки, указанные в Техническом Задании. В противном случае Заказчик оставляет за собой право не принимать результаты Услуг Исполнителя и не оплачивать их частично или в полном объеме.
Заказчик может полностью или частично не принять к оплате результаты проведения фокус-группы, если в процессе контроля были выявлены следующие нарушения.
1) Нарушения по отбору респондентов:
2) Нарушения по скринеру. В случае выявления несоблюдения скринера при наборе респондентов Заказчик вправе оштрафовать Исполнителя. Размер штрафа зависит от количества выявленных нарушений. Заказчик вправе наложить штраф в размере 100% оплаты по рекруту группы в том случае, если были выявлены нарушения при отборе 20% и более участников группы/групп.
3) Количество респондентов в группе должно соответствовать количеству, указанному в Техническом задании. Если в группе принимали участие менее 80% предполагаемого числа участников групп, то Заказчик вправе наложить штраф в размере 100% оплаты работы по рекруту группы.
4) Нарушения по методу отбора респондентов.
Заказчик вправе наложить штраф в размере 100% оплаты работы по рекруту группы, если метод отбора респондентов не соответствовал методу, указанному в Техническом задании.
Основные нарушения правил случайного отбора:
- участие в группе прямых знакомых рекрутера;
- в том числе штраф в размере 100% оплаты работы по рекруту группы налагается в случае участия в группе хотя бы одного респондента, ранее знакомого с рекрутером, родственника рекрутера (если иное не оговорено в Техническом задании).
1) Нарушение стандартных требований к группе и к каждому респонденту в отдельности:
Заказчик вправе штрафовать Исполнителя, если были выявлены нарушения, перечисленные ниже в Таблице № 3 (размер штрафа определяется из расчета стоимости одной группы):
| Код | Нарушения | Размер штрафа, на 1 участника |
|---|---|---|
| 1 | Наличие в группе знакомых между собой или состоящих в родстве респондентов (если иное не оговорено в Техническом задании) | 100% |
| 2 | Наличие в группе хотя бы одного респондента, знакомого или приходящегося родственником рекрутеру (если иное не оговорено в Техническом задании) | 100% |
| 3 | Присутствие на группе людей, страдающих явными физическими и умственными отклонениями (например, сильные дефекты речи), а также людей, находящихся в состоянии алкогольного и наркотического опьянения | 100% |
| 4 | Наличие в группе респондентов, имеющих специальное образование, а именно: социологическое, психологическое, политологическое, журналистское, маркетинговое и т.п., позволяющее респондентам оценить предмет дискуссии с профессиональной точки зрения. Наличие в группе специалистов допускается, только если это указано в задании | 50% |
| 5 | Приглашение на группу респондентов, не проживающих постоянно в населенном пункте, указанном в задании для проведения группы | 20% |
1) Нарушения требований к стенограмме.
2) Заказчик представляет Исполнителю форму-образец стенограммы. За неиспользование или изменение утвержденной формы стенограммы Заказчик вправе оштрафовать Исполнителя на 10% от стоимости группы.
3) Заказчик вправе оштрафовать Исполнителя на 50% от стоимости группы, если объем стенограммы менее 45 000 знаков (с пробелами) при 1,5-часовой фокус-группе и менее 60 000 знаков (с пробелами) при 2-часовой фокус-группе.
4) Нарушения требований к работе модератора.
В случае выявления некачественной работы модератора Заказчик вправе не принимать полностью работу Исполнителя при наличии следующих ошибок:
- модератор выступает в роли агитатора, склоняя респондентов к своей точке зрения;
- модератору не удается сконцентрировать внимание членов группы на интересующих исследователя вопросах. Пропуск основных вопросов гайда (сценария);
- модератору не удается получить ответ участников группы на поставленный(е) вопрос(ы);
- в беседе доминируют один или несколько респондентов.
1) В случае непредоставления аудиозаписей фокус-групп Заказчик вправе не оплачивать работу Исполнителя по данной группе в полном объеме, либо потребовать повторного проведения группы за счет Исполнителя.
2) В случае, если Исполнитель организовал и провел глубинные интервью с отступлением от условий Договора и Технического задания, Заказчик вправе путем направления соответствующего уведомления на электронную почту или по адресу местонахождения Исполнителя:
- потребовать от Исполнителя безвозмездного устранения недостатков в согласованные сроки;
- соразмерно уменьшить установленную цену и наложить штрафы (в соответствии с п. 5.6. настоящего Договора).
2) Порядок уменьшения цены и наложения штрафов для глубинных интервью
1) Нарушения по отбору респондентов.
В случае выявления несоблюдения скринера при наборе респондентов Заказчик вправе оштрафовать Исполнителя. Заказчик может полностью не оплатить работу Исполнителя либо потребовать безвозмездного устранения недостатков в согласованный срок в случае, если были выявлены серьезные нарушения при отборе респондентов.
1) Нарушения требований к транскрипту (стенограмме).
Результаты выполненных Услуг должны быть переданы Заказчику в виде транскрипта (стенограммы) в формате MS Word, по форме, утвержденной Заказчиком, в сроки, указанные в соответствующем Техническом задании. В случае нарушения сроков сдачи результатов выполненных Услуг Заказчик имеет право не принимать к оплате результаты в полном объеме.
Заказчик представляет Исполнителю утвержденную форму-образец стенограммы. В случае игнорирования Исполнителем установленной формы Заказчик вправе оштрафовать Исполнителя на 10% от стоимости интервью.
1) Непредоставление аудио/видеозаписей глубинных интервью различных видов.
В случае непредоставления аудиозаписей глубинных интервью различных видов Заказчик вправе не оплачивать работу Исполнителя в полном объеме либо потребовать безвозмездного повторного проведения интервью за счет Исполнителя.
2) Порядок уменьшения цены и наложения штрафов при нарушении требований к проведению кабинетного исследования
В случае, если Исполнитель организовал и провел кабинетное исследование с отступлением от условий Договора и/или соответствующего Технического задания к нему, Заказчик имеет право требовать от Исполнителя устранения недостатков в согласованные сроки за счет Исполнителя.
Результаты выполненных Услуг должны быть переданы Заказчику в виде и в сроки, указанные в соответствующем Техническом Задании к Договору. В случае, если Заказчиком установлено требование в соответствующем Техническом задании по предоставлению копий материалов исследования, которое не выполнено Исполнителем, Заказчик вправе частично или в полном объеме не оплачивать результаты выполненной Работы.
Заказчик вправе частично или в полном объеме не оплачивать результаты проведения кабинетного исследования, если информация, содержащаяся в материалах, полностью или частично не соответствует Техническому Заданию. При невозможности получения определенной информации для выполнения исследовательских задач Исполнитель обязан предупредить Заказчика об этом в объяснительном письме.
2) В случае, если Исполнитель организовал и провел CATI-исследование с отступлением от условий Договора и соответствующего Технического задания, Заказчик вправе путем направления соответствующего уведомления на электронную почту или по адресу местонахождения Исполнителя:
- потребовать безвозмездного (за счет Исполнителя) устранения недостатков в согласованные сроки;
- соразмерно уменьшить установленную цену и наложить штрафы (п. 5.9. настоящего Договора).
Исполнитель должен предоставить 100% аудиозаписей интервью. Интервью, по которым записи не предоставлены, могут быть не оплачены Заказчиком в полном объеме.
2) Порядок уменьшения цены и наложение штрафов для компьютеризированного телефонного интервью с респондентом (CATI-исследование)
Результаты выполненных Услуг должны быть переданы Заказчику в электронном виде, в формате SPSS, если иное не предусмотрено соответствующим Техническим Заданием, и в сроки, указанные в Техническом Задании. Массив данных в формате SPSS должен соответствовать макету, утвержденному Заказчиком. В случае, если соответствующее Техническое Задание предусматривает предоставление аудиозаписей интервью, материалы должны быть переданы в сроки, указанные в соответствующем Техническом Задании. В ином случае Заказчик имеет право не принимать к оплате результаты выполненной Работы в полном объеме.
Заказчик имеет право полностью или частично не принимать к оплате результаты CATI-исследования, если опрос проведен с нарушением условий Технического Задания.
| Код | Нарушения | Количество | Штраф |
|---|---|---|---|
| 1 | Отсутствие аудиозаписи | 1 | 100% |
| 2 | Респондент не подходил по скринеру | 1 | 100% |
| 3 | Не соответствует пол | 1 | 30% |
| 4 | Не соответствует возрастная квотная группа | 1 | 30% |
| 5 | Опрос по договоренности по скриновым вопросам, опрос родственников, близких, знакомых людей и друзей интервьюера — если данное нарушение подтверждено аудиозаписью | 1 | 100% |
| 7 | Фальсификация интервью (в том числе самозаполнение анкеты); подмена аудиозаписей и т.п. | 1 | 100% |
| 8 | Нарушения методики опроса, прописанной в ТЗ, инструкции к проекту, анкете | 1 нарушение, анкета до 35 вопросов | 10% |
| 1 нарушение, анкета от 36 вопросов | 5% | ||
| 9 | Умышленный ввод неверных данных (несоответствие аудиозаписи с массивом данных) | 1 нарушение, анкета до 35 вопросов | 10% |
| 1 нарушение, анкета от 36 вопросов | 5% | ||
| Если нарушений под кодами 8, 9 более 50% в анкете, данная анкета штрафуется на 100% | |||
2) Ответственность Исполнителя в случае несоблюдения сроков выполнения Услуг
Заказчик вправе наложить штраф в размере 5% от стоимости Услуг за предоставление данных с нарушением сроков их предоставления более чем на сутки. При предоставлении данных с опозданием более чем на 2 суток Заказчик вправе наложить штраф в размере 10% от стоимости Услуг по данному Договору и соответствующему Техническому заданию к нему. При предоставлении данных с опозданием более чем на 3 суток Заказчик вправе наложить штраф в размере 25% от стоимости Услуг по данному Договору и соответствующему Техническому заданию к нему. При предоставлении данных с опозданием более чем на 5 суток Заказчик вправе не принять к оплате выполненные Работы полностью.
2) Хранение отчетных материалов, анкет, опросных листов
Исполнитель обязан хранить отчетные материалы, анкеты, транскрипты (стенограммы), аудио- и видеоматериалы, за исключением, материалов, полученных от Заказчика, в течение 6 (шести) месяцев после выполнения Услуг по каждому Техническому заданию к настоящему Договору.
2) На время проведения Услуг Исполнитель несет ответственность за внешний опрятный и презентабельный вид интервьюеров, лично общающихся с респондентами.
3) Стороны договорились, что все действия по получению необходимых согласий на участие в опросе от респондентов, законных представителей несовершеннолетних респондентов и прочих категорий респондентов, опрос которых должен сопровождаться подписанием необходимых и соответствующих согласий, Исполнитель проводит в соответствии с нормами действующего законодательства РФ, в частности с учетом положений Федерального закона от 27.07.2006 № 152-ФЗ «О персональных данных», условиями настоящего Договора и приложений к нему, а также нормами международного Кодекса ESOMAR по проведению маркетинговых и социальных исследований, нормами международного стандарта ISO 20252:2012 “Market, opinion and social research — Vocabulary and service requirements”, Национального стандарта РФ «Исследование рынка, общественного мнения и социальных проблем. Словарь и сервисные требования (ГОСТ Р ИСО 20252-2014). Исполнитель гарантирует наличие у него согласия на обработку персональных данных субъекта персональных данных. В случае, если Исполнитель не получил согласие субъекта персональных данных в соответствии с Приложением к настоящему Договору «Образец согласия субъекта персональных данных на получение, обработку и хранение персональных данных», он несет ответственность в соответствии с законодательством РФ.
4) Исполнитель обязуется провести обучение/инструктаж персонала, задействованного в организации и проведении исследования по материалам (инструкциям), предоставленным Заказчиком.
