Некоторые измерения важнее других. Измерения самых важных элементов системы называются ключевыми показателями эффективности (Key Performance Indicators, KPI). Измерения же, которые не способствуют внедрению каких-либо усовершенствований в систему, — просто пустая трата времени и энергии. Если вы хотите усовершенствовать систему, не рассеивайте свои по определению ограниченные внимание и энергию на все ее составляющие — сосредоточьтесь на ключевых показателях.
К сожалению, всё, что находится на дальнем плане, измерить легче, чем то, что имеет первостепенное значение. Например, доход — это довольно важно, правда? Но только потому, что он является ключевым компонентом прибыли. Вас не спасет миллион долларов, если, зарабатывая его, вы потратили два миллиона. Как однажды сказал предприниматель и ведущий программы Dragon’s Den[71] («Логово Драконов») на ВВС Тео Пафитис: «Прибыль — это здравый смысл. Оборот — это суета». Сам по себе доход — это не KPI.
Та же логика применима и к другим процессам. Например, измерить производительность группы программистов, на первый взгляд, проще всего в строчках кода. Но проблема в том, что «больше» не всегда значит «лучше». Талантливый программист способен усовершенствовать программу, написав меньше строчек кода, чем его коллеги. Если для вас главное — количество, то удаление нескольких тысяч строчек будет выглядеть как потеря, хотя на самом деле речь может идти о существенном улучшении.
Ситуация еще сильнее усугубится, если вы привяжете вознаграждение программистов к этому показателю: вследствие искажения, вызванного стимулированием, вы получите код размером с роман «Война и мир».
Обычно KPI, имеющие отношение к бизнесу, напрямую связаны либо с пятью составляющими каждого бизнеса, либо с пропускной способностью.
Вот некоторые вопросы, которые я задаю, чтобы определить такие KPI:
— Создание продукта: как быстро система создает продукт? каков уровень притока?
— Маркетинг: сколько людей обращает внимание на ваше предложение? сколько клиентов дает вам разрешение на предоставление дополнительной информации?
— Продажи: сколько клиентов соглашается купить то, что вы предлагаете? какова средняя пожизненная ценность клиента?
— Доставка ценности: как быстро вы можете обслуживать одного клиента? какова частота возвратов продукта или жалоб?
— Финансы: каков размер вашей маржи прибыли? какова величина покупательной способности? достаточно ли вам имеющихся денег?
Любые измерения, имеющие отношение к этим вопросам, скорее всего, являются KPI. Все остальные, не связанные с пропускной способностью процесса или системы, можно не принимать во внимание.
Ограничьте себя тремя-пятью KPI на систему. При выполнении измерений очень хочется держать в голове всю найденную вами информацию. Сопротивляйтесь такому желанию: если вы перегрузите свой мозг данными, то, скорее всего, пропустите те изменения, которые действительно имеют значение. Вы всегда сможете копнуть глубже в случае необходимости.
Найдите системные KPI — и вы сможете управлять своей системой, не боясь утонуть в море данных.
Мусор на входе — мусор на выходе
Если качественно начать, результаты не заставят себя ждать.
Александр Кларк, дипломат, гражданский активист XIX векаАнализ некачественных данных в лучшем случае грозит вам получением бесполезных результатов, а в худшем — обманчивых или дискредитирующих.
Качество «входа» всегда отражается на качестве «выхода». Если вы будете строить дом из плохих материалов, он получится некрасивым и ненадежным. Если вы будете неправильно питаться, вести сидячий образ жизни и слишком много смотреть телевизор, то, скорее всего, станете вялым и равнодушным. Если вы не чувствуете никакой радости от своей работы, то вряд ли сможете выполнить ее хорошо.
«Мусор на входе — мусор на выходе» — очень простой принцип: при внесении бесполезных данных получается бесполезный результат. Ваша способность понимать систему непосредственно связана со способностью отслеживать то, что в ней происходит, а это, в свою очередь, зависит от качества и количества собранных вами данных.
Если вы не хотите в результате получить мусор, откажитесь от него в самом начале. Всегда помните об этом, принимаясь за новый проект, — и конечный результат обязательно оправдает ваши надежды.
Качественный вход — качественный выход.
То, что может быть разрушено правдой, должно быть разрушено.
Пэт Ходжилл, профессор, писатель-фантастНа последнем рабочем месте в Procter & Gamble я должен был разработать стратегию маркетинговых измерений — придумать способ определения эффективности рекламы нашей компании в сети. Каждый год P&G тратила миллионы долларов на рекламные баннеры, продвижение в поисковой системе и создание видеороликов. Я должен был понять, стоят ли результаты затраченных денег.
В процессе работы моя команда выяснила, что система, которую мы использовали для подсчета уникальных посетителей наших сайтов, работала неправильно. Она учитывала не только реальных пользователей, но и поисковых роботов, которые заходили на наши интернет-страницы по несколько раз в день. Иначе говоря, мы попали в ситуацию мусор на входе — мусор на выходе, и все наши измерения оказались бесполезными.
Естественно, мы рекомендовали модернизировать систему подсчета посетителей. Но наше предложение не вызвало энтузиазма в компании. Все сотрудники знали, что собираемые системой данные бесполезны, но, похоже, им было все равно. Странно, правда?
Проблема заключалась вот в чем: установка новой системы подсчета сильно уменьшила бы количество уникальных посетителей сайта, то есть то, что большинство считало ключевым показателем деятельности. Будучи более точной, новая система выставила бы их работу сотрудников в невыгодном свете. Исправлению ошибки они предпочли дальнейшую жизнь во лжи и сами поставили под сомнение свою способность увеличить эффективность работы сайта.
Аналитическая честность означает беспристрастные измерение и анализ имеющихся у вас данных. Поскольку мы, люди, существа социальные, нам свойственно переживать из-за того, что подумают о нас другие, и это заставляет нас приукрашивать реальность. Если вы действительно хотите произвести улучшения, такое стремление может помешать сбору точных данных и проведению объективного анализа.
Чтобы сохранить объективность по отношению к данным, лучше всего попросить, чтобы их оценил человек не заинтересованный, со стороны. Поддаться искажению, вызванному стимулированием, и предвзятости подтверждения легко, когда на кону стоит ваше социальное положение. Наличие опытного, но беспристрастного третьего лица, которое проверит ваши методы измерения и анализа, имеет огромное значение: может быть, вам и не понравятся его выводы, но по крайней мере вы будете точно знать, как обстоят дела.
Снимите розовые очки и постарайтесь объективно принять те данные, которые в конечном счете помогут вам совершенствовать вашу систему
Чтобы что-то понять, нужно знать контекст.
Ричард Рабкин, психиатрВ этом месяце ваш доход составил 200 тысяч долларов. Это хорошо или плохо?
Зависит от обстоятельств. Если в прошлом месяце вы заработали 100 тысяч долларов — это хорошо. А если в этом месяце вы потратили 400 тысяч долларов — это плохо.
Контекст — это использование соответствующих измерений с целью предоставления дополнительной информации о данных, которые вы исследуете. Чтобы выбрать между «хорошо» и «плохо», недостаточно знать свой доход — нужна дополнительная информация. Размер дохода за предыдущий месяц и расходов в нынешнем месяце и есть тот контекст, который поможет прояснить всю ситуацию.
Обобщенные измерения практически всегда бесполезны, особенно когда речь идет о реальных улучшениях, поскольку они лишены контекста. То, что на ваш сайт в этом месяце зашло 2 миллиона пользователей, ни о чем не говорит. Без контекста вы не можете определить, было ли внесено в систему какое-либо изменение или насколько эффективно она работает, а это, в свою очередь, ограничивает вашу способность ее усовершенствовать.
