Дуглас У. Хаббард, Ричард Сирсен

Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Посвящение Дугласа Хаббарда:

Моим детям Эвану, Мадлен и Стивену – постоянным источникам вдохновения в моей жизни. А также моей жене, Джанет, за все, что она делает, чтобы дать мне возможность писать, и за то, что она – потрясающий корректор.

Посвящение Ричарда Сирсена:

Всем дамам в моей жизни: Хелене, Каэле, Анике и Бренне. Спасибо за вашу любовь и поддержку как в жизни, так и в написании этой книги. С вами все легко и весело.

Даг и Ричард также хотели бы посвятить эту книгу военнослужащим и сотрудникам правоохранительных органов, специализирующимся в области кибербезопасности.

HOW TO MEASURE ANYTHING IN CYBERSECURITY RISK

Douglas Hubbard, Richard Seiersen, Daniel E. Geer, Stuart McClure

© 2016 by John Wiley & Sons, Inc.

All Rights Reserved. This translation published under license with the original publisher John Wiley & Sons, Inc.

© Райтман М.А., перевод на русский язык, 2023

© Оформление. ООО «Издательство «Эксмо», 2023

Предисловие

Нам повезло получить два предисловия от двух ведущих умов в области оценки рисков кибербезопасности: Дэниела Э. Гира – младшего и Стюарта Мак-Клара.

Дэниел Э. Гир – младший, доктор технических наук

Дэниел Гир занимается исследованием количественных характеристик безопасности. Его группа в Массачусетском технологическом институте разработала протокол Kerberos, затем было еще несколько стартап-проектов, а сейчас он продолжает работать этой области в качестве руководителя отдела информационной безопасности в компании In-Q-Tel. Дэниел пишет множество работ самого разного объема, и иногда их даже читают. Он инженер-электрик, статистик и человек, уверенный, что в споре рождается истина.

Я с удовольствием рекомендую книгу «Как оценить риски в кибербезопасности. Лучшие инструменты и практики». Тема бесспорно актуальная, я и сам уже долгое время пытаюсь к ней подступиться^1. Это сложная проблема, и, думаю, будет уместно процитировать бывшего госсекретаря США Джона Фостера Даллеса: «Мерилом успеха выступает не факт наличия сложной проблемы, требующей решения, а то, является ли она той же самой проблемой, что возникла у вас в прошлом году». Данная книга как минимум обещает помочь оставить позади часть старых и сложных проблем.

Практика кибербезопасности – это частично инженерия, а частично логические рассуждения. Главная истина инженерии заключается в том, что проектирование успешно тогда и только тогда, когда сама формулировка проблемы полностью понятна. Основная истина логических рассуждений гласит, что у любых данных есть изъяны, и вопрос в том, можно ли их исправить. И инженерия, и логические рассуждения полагаются на измерения. При достаточно хорошем уровне измерений можно говорить о метриках.

Я называю их метриками потому, что это производные от измерений. Метрика включает в себя измерения, выполняемые для подтверждения текущих решений. Мы с вами, дорогие читатели, занимаемся кибербезопасностью не ради науки, но тем, кто пришел в эту область, имея научный (или философский) интерес, понадобятся измерения для подтверждения теорий. Нам необходимы метрики, полученные на основе достоверных измерений, поскольку в масштабах нашей задачи имеющиеся инструменты требуют усиления. Что ни говори, а игроки не станут играть лучше, если не будет вестись счет.

На заре моей карьеры в банке-маркетмейкере состоялась встреча. Руководитель отдела информационной безопасности, в прошлом работавший в отделе внутреннего аудита и не испытывавший радости от назначения на новую должность, был чересчур резок даже по меркам нью-йоркского мира финансов. Свое выступление он начал не то чтобы мягко:

Вы, служба безопасности, настолько глупы, что не можете сказать мне:

• Насколько я в безопасности?

• В большей ли безопасности, чем был в то же время в прошлом году?

• Я трачу достаточное количество денег?

• Каково мое положение по сравнению с другими людьми моего уровня?

• Какие варианты перехода рисков у меня есть?

Двадцать пять лет спустя эти вопросы остаются актуальными. Ответы на них и подобные им можно получить только с помощью измерений. Вот почему нужна эта книга.

И даже если мы все согласны с причиной, настоящая ценность книги – в ответе не на вопрос «Почему?», а на вопрос «Как?». Как измерить, а затем выбрать нужный метод, как делать это последовательно и неоднократно и как двигаться вперед от одного метода к другому по мере совершенствования навыков?

Кто-то скажет, что обеспечить кибербезопасность невозможно, если вы столкнетесь с достаточно опытным противником. Так и есть, но это не важно. Наши противники в основном выбирают цели, которые дадут максимальный результат при затраченных усилиях. Это вежливый намек, что у вас, возможно, не получится противостоять самому целеустремленному противнику, для которого цель оправдывает любые средства, но определенно получится сделать так, чтобы другие цели казались гораздо привлекательнее вас. Как я уже говорил, игроки не станут играть лучше, если не будет вестись счет. Вот что предлагает данная книга – способ улучшить вашу игру.

Для этого нужны числа, ведь именно они являются единственными входными данными, как в инженерии, так и в логических рассуждениях. Не слова. И не цветовое кодирование. Если вас заботит собственное благополучие, если вам хочется быть независимыми и знать, каковы ваши позиции, то вы просто обязаны прочесть эту книгу от корки до корки. Ее текст понятен, объяснения просты, а возможность загрузить электронные таблицы не оставляет вам отговорок, чтобы не попытаться.

Убедительно ли я объяснил? Надеюсь, да.

Примечание

1. Daniel Geer, Jr., Kevin Soo Hoo, and Andrew Jaquith, “Information Security: Why the Future Belongs to the Quants,” IEEE Security & Privacy 1, no. 4 (July/August 2003): 32–40, geer.tinho.net/ieee/ieee.sp.geer.0307.pdf.

Предисловие

Стюарт Мак-Клар

Стюарт Мак-Клар – генеральный директор компании Cylance, бывший глобальный технический директор компании McAfee, а также ведущий автор серии книг «Секреты хакеров».

В университете профессора постоянно повторяли нам старую максиму: «Нельзя управлять тем, что невозможно измерить». Я, вчерашний подросток, каждый раз все никак не мог уловить ее смысл. Разумеется, на многочисленных занятиях по компьютерным наукам постоянно приходилось совершенствовать математические алгоритмы в программах, но я толком не понимал, как эти попытки количественной оценки могут пригодиться в управлении хоть чем-нибудь вообще, не говоря уже о киберпространстве.

Так я и строил карьеру в области информационных технологий и программирования, пытаясь найти применение своим уникальным талантам. Измерения в киберсфере меня совсем не привлекали, пока я не коснулся кибербезопасности. Мотивацией к поиску фундаментального способа измерить свои действия в области кибербезопасности стал извечный вопрос: «Защищены ли мы от атаки?»

Очевидный ответ на такой банальный, но вполне понятный вопрос: «Нет. Безопасность не бывает стопроцентной». И все же некоторые из вас отвечают так же, как и я временами, когда мне надоедает этот пустой вопрос: «Да, защищены». Почему? Потому, что на нелепые вопросы и ответы нелепые. Как нам в этом убедиться? Без метрик – никак.

По мере становления моей карьеры в области кибербезопасности сначала в компаниях InfoWorld и Ernst & Young, потом в основанной мной компании Foundstone, затем на руководящих должностях в компании McAfee, которая приобрела Foundstone, а сейчас в собственной компании Cylance у меня сформировалось своеобразное понимание старой фразы профессора, что нельзя управлять тем, что невозможно измерить. Пусть истинно объективной метрики не существует, но вполне возможно провести субъективные и локализованные измерения текущего уровня риска и вашего положения относительно вас самих в прошлом и других компаний вашего уровня.

Измерение рисков кибербезопасности, существующих в организации, – задача и без того нетривиальная, а когда требуется проводить количественные измерения вместо субъективных и качественных оценок, она становится даже пугающей.

В конечном счете для нас, специалистов в области безопасности, главными являются вопросы «С чего начать?» и «Как измерить эффективность и отдачу в сфере кибербезопасности?». Ответить на них возможно только с помощью количественных показателей. До сих пор область кибербезопасности с трудом поддавалась измерению. Помню, когда впервые спросили мое мнение о программе измерения риска безопасности, я ответил что-то вроде: «Нельзя измерить то, что не выражено количественно».

Авторы данной книги начали определять структуру и подбирать алгоритмы и метрики для того, что долгое время казалось невозможным или, по крайней мере, бесполезным в нашей сфере, – для измерения рисков безопасности. Наши измерения могут быть несовершенны, но мы можем определить набор стандартных метрик, обоснованных и поддающихся количественному измерению, а затем использовать те же самые показатели день за днем, чтобы убедиться, что ситуация улучшается. В этом и заключается главная ценность определения и применения набора показателей безопасности. Не надо быть совершенными. Надо всего лишь с чего-то начать и сравнивать свои показатели с теми, что были днем ранее.

Благодарности

Благодарим за помощь в написании книги:

Джека Джонса

Джека Фройнда

Джима Липкиса

Томаса Ли

Кристофера «Кипа» Бона

Скотта Стрэнски

Томаса Гирнюса

Джея Якобса

Сэма Сэвиджа

Тони Кокса

Майкла Мюррея

Патрика Хейма

Чен-Пин Ли

Майкла Сардарызадеха

Стюарта Мак-Клара

Рика Рэнкина

Антона Мобли

Винни Лю

Команду SIRA.org

Дэни Гира

Дэна Розенберга

Особая благодарность Бонни Норман и Стиву Абрахамсону за дополнительное редактирование.

Об авторах

Дуглас Хаббард – создатель метода прикладной информационной экономики и основатель компании Hubbard Decision Research. Он является автором одной из самых продаваемых на английском языке книг по статистике предприятий «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе»[1] (How to Measure Anything: Finding the Value of «Intangibles» in Business), а также книг The Failure of Risk Management: Why It’s Broken and How to Fix It («Провал концепции управления рисками: Почему она не работает и как это исправить») и Pulse: The New Science of Harnessing Internet Buzz to Track Threats and Opportunities («Пульс: отслеживание угроз и возможностей в информационном шуме»). Его книги используются для обучения по многим дисциплинам в крупных университетах, они переведены на восемь языков, а их продажи превысили 100 000 копий. Опыт консультирования Хаббарда в области количественных характеристик анализа решений и проблем измерения насчитывает в общей сложности 27 лет и охватывает самые разные сферы, в том числе фармацевтику, страхование, банковское дело, коммунальный сектор, кибербезопасность, посредничество для развивающихся стран, горнодобывающую отрасль, федеральное правительство и правительства штатов, развлекательные СМИ, военное снабжение и промышленность. Статьи Хаббарда опубликованы в ряде периодических изданиях, среди которых Nature, The IBM Journal of R&D, Analytics, OR/MS Today, InformationWeek и CIO Magazine.

Ричард Сирсен – исполнительный директор по технологиям с почти 20-летним опытом работы в области информационной безопасности, управления рисками и разработки продуктов. В настоящее время является генеральным директором по вопросам кибербезопасности и конфиденциальности в компании GE Healthcare. Много лет назад, до начала карьеры в сфере технологий, он получил классическое музыкальное образование, если точнее, по курсу гитары. Сейчас Ричард живет с семьей в районе залива Сан-Франциско, все его родные тоже играют на струнных инструментах. В свободное время, которого немного, он медленно, но верно работает над получением степени магистра наук по прогностической аналитике в Северо-Западном университете США. Рассчитывает успеть до пенсии, после чего, по его мнению, будет неплохо снова заняться игрой на гитаре.

Введение

Почему эта книга и почему сейчас?

Представленная книга – первое продолжение серии, начатой другой очень успешной книгой Дугласа Хаббарда «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». Для будущих книг этого цикла рассматривались темы вроде «Управление проектами» или определенные сферы деятельности, например здравоохранение. Требовалось лишь выбрать хорошую идею из длинного списка вариантов.

Риски кибербезопасности идеально подходили для книги новой серии. Тема чрезвычайно актуальна и изобилует проблемами измерений, решить которые часто представляется невозможным. Также нам она кажется крайне важной как для отдельного человека (ведь мы пользуемся платежными системами, у нас есть медицинские карты, данные клиентов, интеллектуальная собственность и т. д.), так и для экономики в целом.

Другим фактором, повлиявшим на выбор темы, стало появление подходящего соавтора. Так как Даг Хаббард – специалист по методам измерения – не может одновременно быть экспертом в любом из потенциальных ответвлений серии, он планировал найти соавтора, который хорошо разбирался бы в конкретной заданной тематике. Хаббарду повезло встретить энтузиаста-добровольца Ричарда Сирсена, имеющего многолетний опыт работы на самых высоких должностях в области управления кибербезопасностью в нескольких крупнейших организациях.

Итак, актуальность, сложность в проведении измерений, широкая и постоянно растущая целевая аудитория и наличие достойного соавтора сделали кибербезопасность идеальным вариантом.

О чем эта книга?

Несмотря на то что книга посвящена рискам кибербезопасности, у нее все же много общего с первым изданием серии «Как измерить все, что угодно», включая рассмотрение следующих вопросов:

• Как принимать наилучшие решения в случаях, когда вы не уверены в настоящем и будущем?

• Как снизить неопределенность даже в тех случаях, когда кажется, что данные недоступны или что цели измерения двусмысленны и неосязаемы?

В частности, в этой книге предлагается альтернатива набору глубоко укоренившихся методов оценки рисков, которые в настоящее время широко используются в сфере кибербезопасности, но не имеют в своей основе математических вычислений или научных методов. С нашей точки зрения, такие методы лишь мешают принятию решений по проблеме, что становится критически важной. И мы утверждаем, что методы, основанные на реальных доказательствах улучшения принимаемых решений, не только практичны, но уже применялись для широкого круга одинаково сложных проблем, в том числе и в кибербезопасности. Мы покажем, что можно начать с простых приемов, а затем развить их до необходимого уровня и при этом избежать проблем, присущих матрицам и шкалам риска. Так что не останется причин тотчас же не перейти на использование более эффективных методов.

Чего следует ожидать

Следует ожидать, что постепенно эффективность принимаемых решений повысится, что будет отражено количественно. В частности, это коснется ключевых решений, принимаемых в ситуации с высокой долей неопределенности, последствия которых при неверном выборе могут быть катастрофическими. Мы считаем, что безопасность охватывает все эти проблемы.

Читателям не обязательно быть экспертами по управлению рисками или кибербезопасности. Методы, применяемые нами в сфере безопасности, можно использовать и во многих других областях. Хотя, конечно, мы надеемся, что наши методики помогут прежде всего специалистам в сфере кибербезопасности более успешно строить защиту и разрабатывать ее стратегии. А также мы надеемся, что благодаря книге многие руководители начнут лучше осознавать риски безопасности и принимать более эффективные решения.

Подходит ли мне эта книга?

Если вы хотите быть уверены, что эта книга для вас, ниже описана целевая аудитория, на которую мы ориентировались.

• Вы – специалист, принимающий решения и стремящийся повысить число верно принятых важных решений (так чтобы это можно было проверить количественно).

• Вы – специалист по безопасности, желающий усовершенствовать свою стратегию борьбы со злоумышленниками.

• Вы не относитесь ни к одной из названных категорий, но хотите лучше понять область кибербезопасности и/или управления рисками, используя доступные количественные методы.

Профессиональные количественные аналитики могут пропустить разделы, посвященные исключительно анализу. Профессиональные хакеры могут не читать разделы о безопасности. Мы часто будем рассматривать хорошо знакомые вам области с новой точки зрения или, наоборот, повторять очевидное, поэтому читайте так, как будет удобнее.

Одних технологий недостаточно

Нам необходимо реже проигрывать в борьбе с преступниками. Или хотя бы проигрывать элегантнее, а восстанавливаться быстрее. Многие считают, что для этого нужны более совершенные технологии. Они требуют больше инноваций от поставщиков в области безопасности, даже несмотря на то что частота нарушений при этом не сокращается. На наш взгляд, для успешного противостояния угрозам безопасности нужно что-то не менее (а может, и более) важное, чем инновационные технологии. И под этим «что-то» подразумевается более эффективный способ количественного рассмотрения рисков.

Новые инструменты для тех, кто принимает решения

Нам нужны специалисты, которые последовательно принимали бы оптимальные решения благодаря повышению качества анализа, а также знали бы, как справляться с неопределенностью перед лицом надвигающейся катастрофы. Чтобы этого достичь, требуется инструментарий, элементы которого иногда называют современными модными терминами, такими как прогностическая аналитика, но в целом он включает в себя и науку о принятии решений, и анализ решений, и даже надлежащим образом применяемую статистику.

Как устроена эта книга

Первая часть закладывает основу для рассуждения о неопределенности в области безопасности. Здесь сформулированы определения таких понятий, как безопасность, неопределенность, измерения и управление риском, а также объясняется опасность неправильного их понимания. Нами будет обоснована необходимость более совершенного подхода к измерению риска кибербезопасности и, если уж на то пошло, к измерению эффективности самого анализа рисков кибербезопасности. Кроме того, мы познакомим читателей с весьма простым количественным методом, который может послужить отправной точкой, даже если вам очень не нравится все сложное.

Во второй части подробно раскрывается последовательность шагов для реализации очень простой количественной модели. Мы опишем, как усложнить эту модель и использовать даже минимальное количество данных для ее совершенствования.

Наконец, в третьей части речь пойдет о том, что необходимо для внедрения рассмотренных методов на практике. А кроме того, мы обсудим влияние данной книги на всю «экосистему» кибербезопасности, в том числе на организации по стандартизации и поставщиков.

Часть I. Почему для оценки риска в сфере кибербезопасности необходимы более эффективные инструменты измерения

Глава 1. Самая нужная «заплатка» в кибербезопасности

Ничто так не обманчиво, как слишком очевидные факты.

А. Конан Дойл. Тайна Боскомской долины[2]

После 11 сентября 2001 года усиление мер безопасности вылилось в тщательные досмотры в аэропортах, черные списки пассажиров, появление воздушных маршалов и уничтожение лагерей подготовки террористов. Однако всего 12 лет спустя ФБР стало придавать особое значение совсем другой возникшей проблеме: киберугрозам. Директор ФБР Джеймс Б. Коми, давая 14 ноября 2013 года^1 показания в Комитете Сената США по внутренней безопасности и правительственным делам, заявил:

…мы ожидаем, что в будущем ресурсы, предназначенные для борьбы с киберугрозами, окажутся равны или даже превысят ресурсы, выделяемые на борьбу с терроризмом.

К такому смещению приоритетов нельзя не отнестись серьезно. Сколько организаций в 2001 году, готовясь противостоять угрозам, которые они считали основными в то время, могли бы представить себе, что киберугрозы не только сравняются с более традиционными террористическими угрозами, но и превзойдут их по степени опасности? А сейчас, на момент написания книги, это уже воспринимается как данность.

Следует признать, что люди, не имеющие отношения к миру кибербезопасности, могут подумать, что ФБР сеет семена страха, неуверенности и сомнений, преследуя политические цели. Но источников страха, неопределенности и сомнений, кажется, уже и так немало, зачем же тогда выделять киберугрозы? Для экспертов по кибербезопасности, разумеется, все вполне очевидно. Мы находимся под ударом, и ситуация, безусловно, станет еще хуже, прежде чем наступит перелом к лучшему.

Ресурсы при этом все еще ограничены. Поэтому специалисты в области кибербезопасности должны уметь эффективно определять отдачу от снижения риска. Неважно, удастся ли точно ее рассчитать, достаточно оценить, является ли выбранная стратегия защиты более рациональным вариантом распределения ресурсов, чем другие. Проще говоря, необходимо измерить и выразить в денежном эквиваленте риск и его снижение. Для этого специалистам не помешает инструкция по распределению ограниченных ресурсов для противодействия все возрастающим киберугрозам и использованию этих ресурсов для оптимального снижения степени риска. Поэтому здесь будут рассмотрены методы:

• измерения самих методов оценки риска;

• измерения степени снижения риска с помощью конкретного метода защиты, контроля, смягчения последствий или стратегии (использование более эффективных методов, как говорилось в предыдущем пункте);

• постоянного и измеримого повышения эффективности применяемых подходов за счет использования более продвинутых методов, которые читатели смогут взять на вооружение, когда будут готовы.

Давайте теперь уточним, чем наша книга не является. В ней не говорится о технической стороне безопасности. Если вам нужна книга об «этичном взломе», вы обратились не по адресу. Здесь не будет обсуждений, как добиться переполнения стека, обойти алгоритмы шифрования или внедрить SQL-код. Если подобные вопросы и будут подниматься, то только в контексте рассмотрения их как параметров в модели рисков.

И все же не разочаровывайтесь, если вы являетесь техническим специалистом. Мы обязательно затронем детали аналитики применительно к безопасности. Взглянем на них с позиции аналитика или руководителя, пытающегося сделать наилучший выбор в контексте возможных потерь в будущем. А пока давайте оценим масштаб имеющейся проблемы, рассмотрим, как решаем ее сейчас, и наметим направление для улучшений, изложенных в остальной части книги.

Глобальная поверхность атаки

Государства, организованная преступность, хактивистские группировки и инсайдеры хотят заполучить наши секреты, наши деньги и нашу интеллектуальную собственность, а некоторые мечтают о нашем полном уничтожении. Звучит драматично? Что ж, если мы верно поняли, ФБР рассчитывает потратить на защиту нас от киберугроз столько же или больше, чем на защиту от тех, кто превращает самолеты, машины, скороварки и даже людей в бомбы. Так как вы читаете эту книгу, то, вероятно, уже осознаете серьезность ситуации. Тем не менее разъясним этот момент еще раз, хотя бы для того, чтобы помочь тем, кто уже разделяет данную точку зрения, доказывать свою правоту остальным.

Общемировое исследование рабочей силы в области информационной безопасности, проведенное в 2015 году с участием более 14 000 специалистов по вопросам безопасности, из которых 1800 являлись федеральными служащими, показало, что мы не просто несем потери, мы отступаем:

Учитывая объем усилий, потраченных за последние два года на повышение готовности федеральных систем к обеспечению безопасности, и общую позицию государства в вопросах безопасности, мы ожидали увидеть очевидный прогресс. Данные же показали, что на самом деле был сделан шаг назад.

(ISC)2 о результатах исследования, 2015 год^3

Данные из других источников подтверждают этот мрачный вывод. Страховой рынок Соединенного Королевства, Лондонский Ллойд, подсчитал, что кибератаки обходятся миру в 400 млрд долл. в год^4. В 2014 году был скомпрометирован 1 млрд записей с личными данными пользователей, из-за чего журнал Forbes назвал его «годом взлома данных»5. К сожалению, название, вероятно, было дано преждевременно: ситуация запросто может ухудшиться.

Более того, основатель и глава компании XL Catlin, крупнейшего страховщика Лондонского Ллойда, заявил, что кибербезопасность – «самый большой и серьезный системный риск», с которым ему приходилось сталкиваться за 42 года работы в сфере страхования^6. Потенциальные уязвимости широко используемого программного обеспечения, взаимосвязанный доступ к сети у компаний, поставщиков и клиентов, а также возможность осуществления масштабных скоординированных атак могут сильно повлиять не только на отдельную крупную компанию вроде Anthem, Target или Sony. Представители XL Catlin допускают вероятность одновременного воздействия на множество крупных организаций, которое скажется на всей экономике. По их мнению, если в течение короткого промежутка времени поступят обращения с несколькими значительными страховыми претензиями, то страховщикам будет не по силам покрыть все расходы.

Что вызывает такой резкий рост числа взломов и почему ожидается увеличение их количества? Все дело в поверхности атаки (attack surface). Обычно под ней понимают совокупность всех уязвимостей информационной системы. Поверхность атаки раскрывает ценную информацию ненадежным источникам. Не нужно быть профессионалом в области безопасности, чтобы это понять. У вашего дома, банковского счета, семьи, личности есть поверхность атаки. Если вы пользуетесь защитой от кражи личных данных, предоставляемой федеральным служащим или клиентам компаний Home Depot, Target, Anthem и Neiman Marcus, то получаете вы ее благодаря поверхности атаки, ведь эти компании поместили цифровые сведения о вас в зоне досягаемости преступников. Прямо или косвенно этому способствовал интернет. Перемены произошли быстро и без ведома всех заинтересованных сторон (организаций, служащих, клиентов или граждан).

Различные определения поверхности атаки описывают пути входа и выхода из системы, ее средства защиты, а иногда ценность имеющихся в системе данных7, 8. В одних случаях термином обозначают поверхность атаки системы, а в других – поверхность атаки сети, но все эти определения слишком узкие даже для одной конкретной компании. Поэтому можно выделить поверхность атаки предприятия, которая включает не только все системы и сети в данной организации, но и воздействие третьих лиц. Речь идет обо всех в экосистеме предприятия, в том числе основных клиентах, поставщиках и, возможно, государственных учреждениях. Напомним, что в случае взлома компании Target источником уязвимости стала компания – поставщик систем отопления, вентиляции и кондиционирования воздуха.

Пожалуй, общая поверхность атаки, охватывающая всех граждан, потребителей и правительства, является своего рода глобальной поверхностью атаки: совокупным набором рисков кибербезопасности во всех системах, сетях и организациях. И с этим набором рисков мы сталкиваемся постоянно при оплате покупок банковской картой, просмотре сайтов в интернете, получении медицинских пособий или даже просто работая. Эта глобальная поверхность атаки – макроуровневое явление, возникновение которого обусловлено по меньшей мере четырьмя макроуровневыми причинами: увеличением числа пользователей по всему миру, разнообразием пользователей в мире, ростом числа обнаруженных и эксплуатируемых уязвимостей из расчета на каждый визит в сеть каждого пользователя, а также более тесным сетевым взаимодействием между организациями, что приводит к риску «каскадного отказа».

• Увеличение числа пользователей сети Интернет. Число интернет-пользователей во всем мире выросло в шесть раз за период с 2001 по 2014 год (от 500 млн до 3 млрд). Может быть неочевидно, что количество пользователей является параметром в некоторых поверхностях атаки, но есть другие показатели поверхности атаки, касающиеся ценности цели, которая частично связана с количеством пользователей (например, получение доступа к большему числу личных записей)9. Кроме того, в мировом масштабе увеличение числа интернет-пользователей действует как важный мультипликатор для остальных факторов.

• Число заходов каждого пользователя на онлайн-ресурсы. Разнообразие вариантов использования интернета, общее время, проведенное в сети, использование банковских карт и различных услуг, требующих хранения персональных данных для автоматизированных переводов средств, – все эти показатели постоянно растут. Для каждого человека. По всему миру. Например, с 2001 года число одних только веб-сайтов росло в пять раз быстрее, чем количество пользователей, достигнув к 2014 году 1 млрд. Устройства с выходом в интернет – еще один потенциальный способ использования Всемирной паутины даже без непосредственного участия человека. Согласно одному из прогнозов компании Gartner об интернете вещей, «количество подключенных к интернету устройств в 2015 году должно было вырасти на 30 % по сравнению с 2014-м и составить 4,9 млрд, а к 2020-му – достичь 25 млрд»10. Ключевой проблемой здесь является отсутствие согласованной системы безопасности в этих разработках. Консультативный комитет по связи в системе национальной безопасности (NSTAC) определил, что «осталось совсем небольшое окно, пока еще можно обеспечить функционирование интернета вещей таким образом, чтобы максимизировать безопасность и минимизировать риски, но это окно быстро закрывается. Если страна этого не сделает, ей придется бороться с последствиями в течение нескольких поколений»11.

• Рост числа уязвимостей. Естественным следствием двух предыдущих факторов является увеличение количества способов использования таких возможностей со злым умыслом. Это происходит из-за роста количества систем и устройств с потенциальными уязвимостями, даже если число уязвимостей в одном устройстве не увеличивается. В любом случае будет расти количество обнаруженных уязвимостей, отчасти потому, что все больше людей их активно ищет и использует. И все чаще среди них встречаются хорошо организованные и хорошо финансируемые группы, работающие на различные государства.

• Возможность крупного каскада взломов. Все больше крупных организаций отмечают, что при более тесном взаимодействии эффективность работы повышается. Тот факт, что компанию Target взломали через ее поставщика, повышает вероятность того, что одна и та же атака может затронуть несколько организаций. У компаний вроде Target множество поставщиков, а у некоторых из них, в свою очередь, есть множество крупных корпоративных и правительственных клиентов. Составить карту связей такой киберэкосистемы практически невозможно, ведь для этого все задействованные организации должны будут разгласить конфиденциальную информацию. Вот почему для данного фактора не существует общепринятых метрик, которые можно было бы использовать, как в трех предыдущих случаях. Но есть подозрения, что большинство крупных организаций отделены друг от друга всего одним или двумя уровнями связей.

Кажется разумным, что в перечисленных четырех тенденциях более ранние усиливают последующие. В таком случае риск возникновения крупного каскада взломов может увеличиваться быстрее, чем происходит рост первых двух факторов.

Какова наша исходная и очевидная гипотеза? Поверхность атаки и взломы коррелируют. Если это так, самое страшное еще впереди. Мы движемся к историческому росту поверхности атаки и, следовательно, взлому, который затмит все случавшееся до сих пор. С учетом этого комментарии директора ФБР и заявления страховщиков Лондонского Ллойда нельзя считать паникерскими. Даже после таких мощных взломов, каким подверглись компании Target, Anthem и Sony, полагаем, «Большого взлома» мы еще не видели.

Ответ на киберугрозу

Ситуация кажется безвыходной, поскольку успех в бизнесе зависит от открытости. Банковские операции, покупки, медицинское обслуживание и даже трудоустройство связаны с раскрытием данных. Чтобы проводить транзакции, приходится сообщать свои данные, а чем активнее бизнес, тем больше поверхность атаки.

Когда данные открыты, на вас могут обратить внимание и повлиять неожиданными и злонамеренными способами. В целях защиты специалисты по кибербезопасности пытаются «укрепить» системы, т. е. удалить все несущественное, включая программы, пользователей, данные, привилегии и уязвимости. Укрепление сокращает поверхность атаки, но не устраняет ее. Однако даже такое частичное сокращение поверхности атаки требует значительных ресурсов, и, согласно текущим тенденциям, потребность в них будет только расти.

В целом внимание руководителей к рискам кибербезопасности возросло, а за вниманием следуют ресурсы. Советы директоров начинают задавать вопросы вроде «Взломают ли нас?», «Лучше ли мы, чем Sony?» или «Тратим ли мы достаточно на защиту от актуальных рисков?». Эти вопросы в итоге приводят к тому, что в некоторых компаниях вводится должность руководителя отдела информационной безопасности. Впервые она появилась в списке журнала Fortune (Fortune 100) более 20 лет назад, но с тех пор не было особого роста количества людей, занимающих эту должность. Журнал CFO Magazine признал, что еще в 2008 году должность руководителя отдела информационной безопасности посчитали бы «излишней»12. Фактически крупные компании еще только начинают озадачиваться вопросом найма первых руководителей отдела информационной безопасности, и многие – лишь после того, как подвергнутся крупному взлому. К моменту написания этой книги компания Target наконец-то наняла руководителя отдела информационной безопасности^13, то же самое сделала и компания JPMorgan, после того как ее взломали^14.

Корпорации не только задают перечисленные выше вопросы и создают руководящие должности для специалистов по информационной безопасности, но и демонстрируют готовность (возможно, меньшую, чем хотелось бы специалистам по кибербезопасности) выделять серьезные ресурсы на решение этой проблемы.

• Сразу после терактов 11 сентября ежегодный рынок кибербезопасности в США составлял 4,1 млрд долл.15 К 2015 году бюджет министерства обороны США, выделяемый на информационные технологии, вырос до 36,7 млрд долл.16

• Это без учета 1,4 млрд долл. инвестиций в стартапы, занимающиеся кибербезопасностью^17.

• Бюджеты, выделяемые на кибербезопасность, растут примерно в два раза быстрее, чем бюджеты сферы информационных технологий в целом^18.

И как же организации используют новую руководящую должность и приток денег на обеспечение кибербезопасности? В основном они ищут уязвимости, выявляют атаки и устраняют нарушения. Конечно, размер поверхности атаки и объем уязвимостей, атак и нарушений означает, что организациям приходится делать трудный выбор. Не все удается исправить, остановить, восстановить и т. д., значит, обязательно будут определенные приемлемые (допустимые) потери. В документах часто не указано, какие риски являются приемлемыми, а когда они все же расписаны, формулировки обычно обтекаемы и не поддаются количественной оценке. Их нельзя толком использовать в расчетах для определения обоснованности тех или иных расходов.

В отношении уязвимостей это привело к появлению так называемого управления уязвимостями, а в плане атак – к управлению событиями, связанными с безопасностью, которое еще обобщенно называют управлением безопасностью. Совсем недавно добавилась «разведка угроз» и, соответственно, новое словосочетание «управление угрозами». Все они относятся к сфере тактических решений в области безопасности, в то время как руководителю необходимо представление о дальнейших действиях. Так каким образом осуществляется управление безопасностью? Как расставляются приоритеты распределения значительных, но ограниченных ресурсов при расширении списка уязвимостей? Другими словами, как организации принимают решения по кибербезопасности, связанные с распределением ограниченных ресурсов для борьбы с такими неопределенными и растущими рисками?

Безусловно, важную роль здесь играет профессиональное чутье, что не редкость в управленческой деятельности. Но при более систематическом подходе подавляющее большинство организаций, озабоченных проблемой кибербезопасности, прибегает к определенному методу подсчета, при котором риски отображаются на «матрице». Так работают и с проблемами тактического уровня, и со стратегическими, суммарными рисками. Например, если у приложения множество уязвимостей, все они объединяются в одну оценку. Затем аналогичными методами группы приложений объединяются в портфель, и строится матрица для него и других портфелей. Процесс агрегирования при этом, как правило, представляет собой некую форму выдуманной математики, неведомой ни актуариям, ни статистикам, ни математикам.

В одном широко применяемом подходе «вероятность» и «воздействие» оценивают субъективно, скажем по шкале от 1 до 5, и эти два значения используются для указания конкретного риска на матрице (называют ее по-разному: матрицей рисков, тепловой картой, картой рисков и т. д.). После матрицу часто дополнительно делят на секции низкого, среднего и высокого риска, подобно тому как показано на рис. 1.1. События, характеризующиеся высокой вероятностью и высокой степенью воздействия, окажутся в правом верхнем углу «высокого риска», в то время как события с низкой вероятностью и слабым воздействием будут в противоположном углу «низкого риска». Идея в том, что чем больше число, тем важнее событие и тем раньше нужно обратить на него внимание. Возможно, интуитивно такой подход кажется вам разумным, если так, то вы не одиноки.

Рис. 1.1. Знакомая матрица риска (она же тепловая карта или карта риска)

Различные варианты подсчета и карт риска одобрены и продвигаются в стандартах и руководящих документах несколькими крупными организациями, среди которых Национальный институт стандартов и технологий (National Institute of Standards and Technology, NIST), Международная организация по стандартизации (International Standards Organization, ISO), MITRE.org и сообщество «Открытый проект по обеспечению безопасности веб-приложений» (Open Web Application Security Project, OWASP). Большинство организаций, занимающихся кибербезопасностью, утверждают, что по меньшей мере один из продвигаемых вариантов является частью их основной концепции оценки риска. На самом деле большинство крупных компаний, занимающихся разработкой программного обеспечения, включая Oracle, Microsoft и Adobe, оценивают собственные уязвимости с помощью поддерживаемого NIST стандарта оценок под названием «Общая система оценки уязвимостей» (Common Vulnerability Scoring System, CVSS). Кроме того, множество существующих решений по безопасности также используют показатели CVSS как для оценки уязвимостей, так и в связи с атаками. Несмотря на то что во многих подобных руководящих документах содержатся хорошие рекомендации по управлению, то, как они используются для расстановки приоритетов в управлении рисками в масштабах предприятия, лишь усиливает риски.

Буквально сотням производителей систем безопасности и даже органам по стандартизации пришлось принять ту или иную форму системы оценки. Фактически концепции балльных оценок и матрицы рисков лежат в основе подходов к управлению рисками в индустрии безопасности.

Во всех случаях подходы строятся на идее, что такие методы приносят значительную пользу, то есть предполагается, что с ними лучше, чем без них. По мнению представителей одной из организаций по стандартизации, подобное ранжирование рисков вполне приемлемо:

Как только тестировщик определяет потенциальный риск и хочет выяснить, насколько тот серьезен, первым шагом становится оценка вероятности. В общем смысле – это приблизительная мера того, насколько велика вероятность, что злоумышленник найдет и использует данную уязвимость. Не обязательно быть очень точным в оценке. В целом достаточно определить, является ли вероятность низкой, средней или высокой.

OWASP^19 (курсив наш. – Д. Х., Р. С.)

Стоит ли верить последней фразе? Учитывая, в основе каких критически важных решений могут лежать подобные методы, мы утверждаем, что не стоит. Это проверяемое утверждение, и оно реально проверялось множеством различных способов. Рост атак в области кибербезопасности сам по себе уже намекает на то, что, возможно, настало время попробовать иной подход.

Поэтому давайте проясним нашу позицию в отношении существующих методов. Они неудачные. Они не работают. Тщательное изучение исследований, посвященных как этим методам, так и методам принятия решений в целом, указывает на следующее (обо всем этом подробнее говорится в главах 4 и 5).

• Нет доказательств, что типы балльных оценок и методы построения матриц рисков, широко используемые в кибербезопасности, повышают эффективность суждений.

• Напротив, есть доказательства, что эти методы вносят искажения и ошибки в процесс оценивания. Один из исследователей – Тони Кокс – даже утверждает, что они «хуже, чем действия наугад» (исследование Кокса и многие другие будут подробно описаны в главе 5).

• Вся мнимая «работа» методов, вероятно, является разновидностью эффекта плацебо. То есть метод может заставить вас почувствовать себя лучше, даже если его применение не способствует ощутимому улучшению в оценке рисков (или вовсе увеличивает число ошибок).

• В опубликованных исследованиях имеется огромное количество доказательств эффективности количественных, вероятностных методов.

• К счастью, большинство экспертов по кибербезопасности, похоже, готовы и способны использовать более эффективные количественные решения. Однако распространенные заблуждения (в том числе неправильные представления о базовой статистике), которых придерживаются часть людей, создают ряд препятствий для внедрения более эффективных методов.

Способ, с помощью которого служба кибербезопасности оценивает риск и выявляет степень его снижения, лежит в основе определения того, где следует использовать ресурсы в первую очередь. И если выбранный способ не работает или как минимум требует значительных улучшений, то именно это тогда и является главной проблемой, которой следует заняться службе кибербезопасности! Очевидно, что создание прочного фундамента для методов принятия решений и оценки рисков кибербезопасности повлияет на все остальные действия в сфере кибербезопасности. Если оценка рисков сама по себе слабое место, то ее исправление – самая важная «заплатка» для специалиста по кибербезопасности.

Предложение по управлению рисками кибербезопасности

В этой книге нами предлагается другое направление развития кибербезопасности, а каждое решение, рассматриваемое в его рамках, в итоге будет полностью соответствовать названию книги. То есть мы будем разбирать вопросы, описывая, как измерить риски кибербезопасности – все что угодно в области рисков кибербезопасности. Измерения станут инструментами для предложенных решений и, кроме того, продемонстрируют, каким образом эти решения выбирались. Итак, давайте считать, что мы все принимаем наш новый количественный подход, который строится на следующих принципах.

• Можно значительно улучшить существующие методы. Многие аспекты существующих методов были оценены и признаны непродуктивными. Подобное неприемлемо в масштабах проблем, с которыми сталкивается сфера кибербезопасности.

• В кибербезопасности можно применять тот же количественный язык анализа рисков, что и в других сферах. Как будет показано далее, существует множество областей, в которых риск огромен, данные минимальны, а участники хаотичны, и для этих областей регулярно строятся модели с помощью традиционных математических методов. Не нужно заново изобретать терминологию или методы, когда они уже есть в других сферах, где также сталкиваются со сложными проблемами анализа рисков.

• Существуют методы, которые уже показали себя более результативными по сравнению с профессиональным чутьем. И это верно даже для случаев, когда указанные методы, как и обычные, широко используемые, основываются только на субъективных суждениях экспертов по кибербезопасности.

• Усовершенствованные методы вполне применимы. Нам об этом известно, поскольку их уже применяли. Каждый из описанных в книге методов применялся хотя бы одним из авторов в реальных условиях в корпоративной среде. В настоящее время этими методами пользуются специалисты по кибербезопасности из самых разных отраслей.

• Описываемые модели можно усовершенствовать с помощью эмпирических данных. У вас больше данных, чем кажется. Они доступны из различных, как существующих, так и новых, только появляющихся источников. Но даже при ограниченных данных математические методы все равно могут быть эффективнее субъективных суждений. Кроме того, сами методы анализа рисков также можно измерять и отслеживать, чтобы постоянно их совершенствовать.

Книга разделена на три части, каждая из которых по-своему подтверждает все перечисленные принципы. В первой части представлен простой количественный метод, требующий чуть больше усилий, чем существующие методы балльной оценки, но в нем применяются техники, продемонстрировавшие заметно более эффективные результаты. Затем мы обсудим, как измерить сами методы измерения. Другими словами, попытаемся ответить на вопрос «Как узнать, что они работают?» относительно различных методов оценки кибербезопасности. Последняя глава первой части будет посвящена разбору распространенных возражений против количественных методов, подробному рассмотрению исследований, показывающих несостоятельность методов балльной оценки, а также обсуждению заблуждений и ложных представлений, удерживающих от перехода на более эффективные методы.

Во второй части мы отойдем от вопроса «почему используются определенные методы» и сосредоточимся на том, как еще улучшить простую модель, описанную в первой части. Мы поговорим о том, как добавить полезные детали к простой модели, как помочь специалистам по кибербезопасности отточить свои навыки оценки неопределенности и как улучшить модель с помощью эмпирических данных (даже если кажется, что данных мало).

В третьей части будет показана более общая картина: как эти методы можно реализовать в компании, как возникают новые угрозы и как развивающиеся инструменты и методы способствуют повышению эффективности измерений рисков кибербезопасности. И еще мы попытаемся сформулировать призыв к сфере кибербезопасности в целом.

А для начала в следующей главе будет заложена основа для понимания термина «измерение». Термин может казаться простым и очевидным, но неверное понимание измерений и методов их осуществления частично является причиной нежелания применять измерения в области кибербезопасности.

Примечания

1. Greg Miller, “FBI Director Warns of Cyberattacks; Other Security Chiefs Say Terrorism Threat Has Altered,” Washington Post, November 14, 2013, www.washingtonpost.com/world/national-security/fbi-directorwarns-of-cyberattacks-other-security-chiefs-say-terrorism-threat-hasaltered/2013/11/14/ 24f1b27a-4d53-11e3-9890-a1e0997fb0c0_story.html.

2. Dan Waddell, Director of Government Affairs, National Capital Regions of (ISC)2 in an announcement of the Global Information Security Workforce Study (GISWS), www.isc2.org, May 14, 2015.

3. Stephen Gandel, “Lloyd’s CEO: Cyber Attacks Cost Companies $400 Billion Every Year,” Fortune.com, January 23, 2015, http://fortune.com/2015/01/23/cyber-attack-insurance-lloyds/.

4. Sue Poremba, “2014 Cyber Security News Was Dominated by the Sony Hack Scandal and Retail Data Breaches,” Forbes Magazine, December 31, 2014, www.forbes.com/sites/sungardas/2014/12/31/2014-cybersecurity-news-was-dominated-by-the-sony-hack-scandal-and-retaildata-breaches/#1c79203e4910.

5. Kevin Haley, “The 2014 Internet Security Threat Report: Year Of The Mega Data Breach,” Forbes Magazine, July 24, 2014, www.forbes.com/sites/symantec/2014/07/24/the-2014-internet-security-threat-reportyear-of-the-mega-data-breach/#724e90a01a98.

6. Matthew Heller, “Lloyd’s Insurer Says Cyber Risks Too Big to Cover,” CFO.com, February 6, 2015, ww2.cfo.com/risk-management/2015/02/lloyds-insurer-says-cyber-risks-big-cover/.

7. Jim Bird and Jim Manico, “Attack Surface Analysis Cheat Sheet.” OWASP.org. July 18, 2015, www.owasp.org/index.php/Attack_Surface_Analysis_Cheat_Sheet.

8. Stephen Northcutt, “The Attack Surface Problem.” SANS.edu. January 7, 2011, www.sans.edu/research/security-laboratory/article/did-attacksurface.

9. Pratyusa K. Manadhata and Jeannette M. Wing, “An Attack Surface Metric,” IEEE Transactions on Software Engineering 37, no. 3 (2010): 371–386

10. Gartner, “Gartner Says 4.9 Billion Connected ‘Things’ Will Be in Use in 2015” (press release), November 11, 2014, www.gartner.com/newsroom/id/2905717.

11. The President’s National Security Telecommunications Advisory Committee, “NSTAC Report to the President on the Internet of Things,” November 19, 2014, www.dhs.gov/sites/default/fi les/publications/IoT%20Final%20Draft%20Report%2011–2014.pdf.

12. Alissa Ponchione, “CISOs: The CFOs of IT,” CFO, November 7, 2013, ww2.cfo.com/technology/2013/11/cisos-cfos/.

13. Matthew J. Schwartz, “Target Ignored Data Breach Alarms,” Dark Reading (blog), InformationWeek, March 14, 2014, www.darkreading.com/attacks-and-breaches/target-ignored-data-breach-alarms/d/d-id/1127712.

14. Elizabeth Weise, “Chief Information Security Officers Hard to Find – and Harder to Keep,” USA Today, December 3, 2014, www.usatoday.com/story/tech/2014/12/02/sony-hack-attack-chiefinformation-security-offi cer-philip-reitinger/19776929/.

15. Kelly Kavanagh, “North America Security Market Forecast: 2001–2006,” Gartner, October 9, 2002, www.bus.umich.edu/KresgePublic/Journals/ Gartner/ research/110400/110432/110432.html.

16. Sean Brodrick, “Why 2016 Will Be the Year of Cybersecurity,” Energy & Resources Digest, December 30, 2015, http://energyandresourcesdigest.com/ invest-cybersecurity-2016-hack-cibr/.

17. Deborah Gage, “VCs Pour Money into Cybersecurity Startups,” Wall Street Journal, April 19, 2015, www.wsj.com/articles/vcs-pour-moneyinto-cybersecurity-startups-1429499474.

18. PWC, Managing Cyber Risks in an Interconnected World: Key Findings from the Global State of Information Security Survey 2015, September 30, 2014, www.pwc.be/en/news-publications/publications/2014/gsiss2015.html.

19. OWASP, “OWASP Risk Rating Methodology,” last modified September 3, 2015, www.owasp.org/index.php/ OWASP_Risk_Rating_Methodology.

Глава 2. Руководство по измерениям для сферы кибербезопасности

Успех складывается из настойчивости, упорства и готовности на протяжении двадцати двух минут разбираться с задачей, которую большинство людей бросили бы после тридцати секунд.

Малкольм Гладуэлл. Гении и аутсайдеры. Почему одним все, а другим ничего?1

Прежде чем обсуждать, каким образом в сфере кибербезопасности можно измерить буквально все, нужно поговорить об измерениях как таковых и сразу отмести возражение, что некоторые вещи в кибербезопасности просто не поддаются измерению. Дело в том, что ряд недоразумений, связанных с методами измерений, измеряемыми явлениями или даже с самим понятием измерений, препятствует многим попыткам проводить измерения. Данная глава не принесет ничего нового тем, кто уже читал книгу «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». Это отредактированный вариант главы из первой книги с примерами, измененными под сферу кибербезопасности. Так что если вы уже читали первую книгу, то, возможно, предпочтете пропустить главу. В ином случае с главой лучше ознакомиться, чтобы понять важнейшие основы.

По нашему мнению, существует лишь три причины, почему можно посчитать что-либо, в том числе кибербезопасность, не поддающимся измерениям. И все три коренятся в тех или иных заблуждениях, которые мы делим на категории: концепция, объект и метод. Различные возражения против измерений будут подробнее разбираться далее (особенно в главе 5), а пока давайте рассмотрим самое основное.

1. Концепция измерений. Термин «измерения» часто понимается неправильно. Как только вы осознаете его реальное значение, гораздо больше объектов и явлений окажутся измеримыми.

2. Объект измерения. Не дается точное определение для того, что подвергается измерениям. Небрежные и двусмысленные формулировки мешают измерениям.

3. Методы измерения. Многие процедуры эмпирического наблюдения малоизвестны. Если бы люди были знакомы с некоторыми из этих базовых методов, стало бы очевидно, что многие вещи, считающиеся неизмеримыми, не только можно измерить, но, вероятно, они уже давно измерены.

Хороший способ запомнить эти три распространенных заблуждения – воспользоваться памяткой, например «howtomeasureanything.com», где буквы «c», «o» и «m» в «.com» означают «концепцию», «объект» и «метод». Как только выясняется, что эти возражения возникают от недопонимания, становится очевидно, что измерить можно все что угодно.

Концепция измерений

Пока законы математики остаются определенными, они не имеют ничего общего с реальностью; как только у них появляется нечто общее с реальностью, они перестают быть определенными.

Альберт Эйнштейн (1879–1955), немецкий физик

Хоть это может показаться парадоксальным, но вся точная наука подчинена идее аппроксимации. Если человек говорит, что он что-то точно знает, можно с уверенностью сказать, что вы разговариваете с невнимательным человеком.

Бертран Рассел (1872–1970), британский математик и философ

Для людей, считающих, что какие-то вещи невозможно измерить, сама концепция измерения, или, точнее, ее неверная интерпретация, становится, вероятно, главным препятствием, которое необходимо преодолеть. Если ошибочно полагать, что измерение означает соответствие какому-то почти недостижимому стандарту определенности, то тогда даже в физических науках лишь немногое будет поддаваться измерению.

Если спросить руководителя или эксперта в сфере кибербезопасности, что означает измерение, они, как правило, ответят фразами наподобие «дать количественную оценку», «вычислить точное значение», «свести к одному числу», «выбрать репрезентативную выборку» и т. д. Во всех этих ответах говорится напрямую или подразумевается, что измерение – одно точное число, которое обязано быть верным. Если бы это было действительно так, то и правда лишь очень немногое можно было бы измерить.

Возможно, читателям доводилось слышать или самим говорить что-то вроде: «Нам не измерить реальный ущерб от утечки данных, потому что о некоторых последствиях нельзя знать наверняка». Или, быть может, такое: «Невозможно определить вероятность того, что мы окажемся объектом массированной атаки отказа в обслуживании, ведь неопределенность слишком велика». Подобные заявления указывают на описанные выше ошибочные интерпретации измерений, которые не только не связаны с реальным принятием решений, но и ненаучны. Когда ученые, актуарии или статистики проводят измерения, они используют другое фактическое определение.

Определение измерений

В процессе принятия практических решений следует рассматривать измерения как наблюдения, количественно уменьшающие неопределенность. Простого уменьшения, не обязательно устранения неопределенности для измерений будет достаточно. Даже если некоторые ученые формулируют определение немного иначе, применяемые ими методы доказывают, что для них измерения также являются исключительно вероятностной задачей и твердой уверенности в реальных величинах у них, как правило, нет. Тот факт, что ошибки неизбежны, но их все равно можно считать прогрессом по сравнению с предыдущими данными, является важнейшим в методах проведения экспериментов, опросов и других научных измерений.

Практические различия между этим определением и наиболее популярной трактовкой измерений огромны. Прежде всего, верным измерениям, чтобы считаться таковыми, не нужно быть абсолютно точными. К тому же отсутствие зарегистрированной ошибки (подразумевающее, что число точное) может быть признаком того, что не применялись эмпирические методы, такие как выборка и эксперименты (т. е. на самом деле это вообще не измерения). Измерения, соответствующие основным стандартам научной достоверности, будут сообщать о результатах с некоторой долей неопределенности, например: «Существует 90 %-ная вероятность того, что атака на систему приведет к сбою в ее работе на период от 1 до 8 часов».

Определение измерения

Измерение – количественно выраженное уменьшение неопределенности на основе одного или нескольких наблюдений.

Такая концепция измерения может оказаться новой для многих читателей, но есть веские математические основания и практические причины для подобной трактовки. В конечном счете измерение – это лишь информация, а для информации существуют строгие теоретические рамки. Область знания, получившая название «теория информации», была разработана в 1940-х годах Клодом Шенноном, американским инженером-электриком и математиком. В 1948 году он опубликовал работу под названием A Mathematical Theory of Communication^2 («Математическая теория коммуникации»), заложив в ней основы теории информации и, по сути, большей части информационных технологий, с которыми работают специалисты по кибербезопасности.

Шеннон предложил математическое определение информации как степени уменьшения неопределенности в сигнале, которую он рассматривал с точки зрения энтропии, устраняемой сигналом. По Шеннону, адресат информации находится в некотором изначальном состоянии неопределенности, иными словами, ему уже что-то известно, а новая информация просто устраняет хотя бы часть неопределенности (т. е. необязательно полностью). Изначальное состояние знания или неопределенности адресата можно использовать для вычисления, скажем, пределов объема информации, передаваемой сигналом, минимальной интенсивности сигнала с поправкой на шум, а также максимально возможного сжатия данных.

Такая концепция «снижения неопределенности» крайне важна для бизнеса. Продуктивность значимых решений, принимаемых в состоянии неопределенности (например, связанных с утверждением крупных IT-проектов или новых средств контроля безопасности), можно повысить, пусть даже совсем немного, за счет снижения неопределенности. Иногда даже небольшое снижение неопределенности может сберечь миллионы долларов.

Таксономия шкал измерения

Итак, измерения в области кибербезопасности похожи на любые другие в том смысле, что для них не нужна определенность. Различные типы измерительных шкал могут продвинуть наше понимание измерений еще дальше. Обычно мы думаем, что для измерений необходимы конкретные, строго определенные единицы, например доллары в год в бюджете кибербезопасности или минуты для определения продолжительности времени простоя системы.

А можно ли считать подходящей для измерений шкалу с градациями «высокий», «средний» и «низкий»? Специалистам по кибербезопасности часто встречаются подобные шкалы во многих стандартах и практиках во всех областях оценки риска. Такие величины, как «воздействие» или «вероятность», общепринято оценивать субъективно по шкале от 1 до 5, а затем комбинировать, чтобы определить степень риска как высокую, среднюю или низкую. Эти обманчиво простые методы поднимают целый ряд проблем, которые более подробно будут рассмотрены далее в этой книге. А пока давайте поговорим о том, в каких случаях имеет смысл использовать шкалы, отличные от общепринятых единиц измерения.

Обратите внимание, что в предлагаемом нами определении измерения говорится, что оно «выражено количественно». Неопределенность в любом случае следует выразить количественно, хотя объект наблюдения может быть вовсе не количественной величиной, а качественной, скажем, обозначать принадлежность к какому-либо множеству. Например, можно «измерить» что-то, ответив «да» или «нет» (допустим, произойдет ли в этом году утечка данных или будет ли предъявлен иск по киберстрахованию), и это все еще будет точно соответствовать нашему определению измерения. Однако степень неопределенности в отношении подобных наблюдений все равно должна быть выражена количественно, например: существует 15 %-ная вероятность утечки данных в этом году, существует вероятность 20 % предъявления иска по киберстрахованию и т. д.

Точка зрения, в соответствии с которой измерения применимы к вопросам с ответом «да/нет» и прочим качественным признакам, согласуется с другим признанным направлением научной мысли в области измерений. В 1946 году психолог Стэнли Смит Стивенс опубликовал статью On the Theory of Scales and Measurement (Теория шкал и измерений)3. В ней описаны четыре различные шкалы измерения: номинальная, порядковая, интервальная и отношений. Если вы думаете о градусах Цельсия или долларах как единицах измерения, то вы используете интервальную шкалу и шкалу отношений соответственно. У обеих шкал есть четко определенная единица стандартной величины. В обоих случаях можно сказать, что 6 на 2 больше, чем 4 (6 градусов Цельсия или 6 долл.). Однако интервальная шкала не позволяет сказать, что 6 «на 50 % больше», чем 4, или «в два раза больше», чем 3. Например, 6 градусов Цельсия не «в два раза жарче», чем 3 градуса Цельсия (поскольку положение нуля на шкале Цельсия установлено произвольно в точке замерзания воды). А вот 6 млн долл. в два раза больше, чем 3 млн. То есть для интервальных шкал неактуальны некоторые математические вычисления, например умножение или деление.

Номинальные и порядковые шкалы еще более ограничены. У номинальной шкалы нет подразумеваемого порядка или величины, сюда можно отнести указание пола индивида, местоположения объекта или наличие у системы определенного признака. Номинальная шкала выражает состояние, не указывая, что одно состояние в два раза больше другого, или, если уж на то пошло, хотя бы просто больше или меньше оно относительно другого. Каждая шкала состояния – это просто иное состояние, не большее или меньшее. Порядковые шкалы, с другой стороны, ранжируют, но не сравнивают величины. Администратор обладает бóльшими правами, чем обычный пользователь, но при этом нельзя сказать, что его права в пять раз больше, чем у обычного пользователя, и в два раза больше, чем у другого пользователя. Поэтому большинство математических операций – кроме базовых логических или операций со множествами – неприменимы к номинальным или порядковым шкалам.

Тем не менее номинальные и порядковые шкалы могут быть информативными, даже несмотря на их отличия от более традиционных шкал измерения, таких как килограммы или секунды. Геологам полезно знать, что одна горная порода тверже другой, но не обязательно знать насколько. Метод, применяемый ими для сравнения твердости минералов, называется «шкала твердости Мооса», и используемая в нем шкала является порядковой.

Таким образом, использование порядковых шкал, подобных тем, что часто встречаются в области кибербезопасности, строго говоря, не противоречит концепции измерений, а вот то, как это делается, к чему применяется и что происходит с этими значениями потом, действительно нарушает основные принципы и может вызвать массу проблем. Геологи не умножают значения по шкале твердости Мооса на цвет породы. И хотя значение по шкале твердости Мооса – четко определенное измерение, в порядковых шкалах в области кибербезопасности такой четкости часто нет.

Позже мы покажем, что измерения, основанные на четко определенных величинах, таких как ежегодная вероятность события и вероятностное распределение потенциальных потерь, предпочтительнее, чем порядковые шкалы, обычно используемые в сфере кибербезопасности. На самом деле, в науке и технике ничего не зависит от порядковых шкал. Даже шкалу твердости Мооса часто заменяют другой: вне геологии для оценки материалов в научных и инженерных задачах более подходящей считается шкала Виккерса, являющаяся шкалой отношений.

Всё это важные особенности концепции измерений, из которых могут извлечь полезные уроки как руководители в целом, так и специалисты по кибербезопасности в частности. В распространенном представлении об измерениях как о точных значениях игнорируется полезность простого уменьшения неопределенности, если ее устранение невозможно или экономически нецелесообразно. Да и не все измерения требуется сводить к количеству в традиционном понимании. Измерения применяются как к дискретным, номинальным аспектам, которые требуется прояснить, таким как «Произойдет ли у нас крупная утечка данных?», так и к непрерывным величинам, например «Во сколько нам обойдется утечка данных, если она произойдет?». В бизнесе лица, принимающие решения, делают свой выбор в условиях неопределенности. И если эта неопределенность касается важных, связанных с риском решений, то ее уменьшение имеет большую ценность. Именно поэтому мы будем использовать данное нами определение измерений.

Байесовские измерения: прагматическая концепция для принятия решений

…истинной логикой этого мира является исчисление вероятностей, занимающееся нахождением величин вероятностей, которые учитывает или должен учитывать любой здравомыслящий человек.

Джеймс Клерк Максвелл (1831–1879), британский физик, математик и механик

Когда мы говорим об измерении как о «снижении неопределенности», то подразумеваем наличие некоторого предшествующего состояния неопределенности, которое необходимо уменьшить. А поскольку степень неопределенности может меняться в результате наблюдений, мы считаем неопределенность характеристикой наблюдателя и не обязательно присущей наблюдаемому объекту^4. Когда проводится тест на проникновение в систему, с его помощью не меняется состояние приложения, скорее, изменяется степень нашей неопределенности о состоянии приложения.

Мы количественно оцениваем эту начальную неопределенность и изменение неопределенности после наблюдений с помощью вероятностей. Это означает, что термин «вероятность» используется для обозначения состояния неопределенности наблюдателя или так называемой степени убежденности. Если вы почти уверены, что данная система будет взломана, то можно сказать, что вероятность этого составляет 99 %. Если вы не уверены, то можно говорить о существовании 50 %-ной вероятности (как станет ясно из главы 7, субъективное оценивание вероятностей – навык, которому можно научиться).

Аналогичным образом, если вы не уверены в продолжительности отключения после атаки типа «отказ в обслуживании» («DoS-атака»), можно сказать, что вероятность того, что истинное значение находится в диапазоне от 10 минут до 2 часов, составляет 90 %. Имея больше информации, можно было бы сузить диапазон, но все равно присвоить вероятность 90 % тому, что истинное значение в него попадает.

Такой взгляд на вероятности называют субъективистской, или иногда байесовской, интерпретацией. Название происходит от имени Томаса Байеса, британского математика и пресвитерианского священника XVIII века, чей главный вклад в статистику был опубликован лишь после его смерти. Его простая формула, известная как теорема Байеса, описывает, каким образом новая информация может скорректировать априорные вероятности. Понятие «априорные» по большей части относится к исходному состоянию неопределенности, но также может относиться и к состоянию неопределенности в момент, предшествующий любым объективным и зафиксированным наблюдениям. Как минимум в последнем случае априорная вероятность часто оказывается субъективной.

Для принятия решений такое употребление слова «вероятность» наиболее подходящее. Это не просто информация, которую можно получить на основе других данных. Человек формулирует степень неопределенности, обозначая вероятность. Способность выразить априорное состояние неопределенности является важной отправной точкой во всех практических решениях. По сути, у вас обычно уже имеется априорная неопределенность, даже если вы не можете обозначить конкретные вероятности. Указание априорной неопределенности еще и позволяет вычислить ценность дополнительной информации, поскольку ее ценность, естественно, хотя бы частично зависит от состояния неопределенности до сбора информации. Этим и занимается байесовский подход, значительно упрощая некоторые проблемы и позволяя получить больше пользы от ограниченной информации.

Специалисты по кибербезопасности должны понимать обозначенные выше особенности. Те, кто считает вероятность лишь результатом вычислений данных, а не отражением личной неопределенности, возможно, сами того не осознавая, придерживаются некоторой заданной интерпретации вероятности. Они выбирают «фриквентистскую» интерпретацию, и хотя им она может казаться объективной и научной, многие великие статистики, математики и ученые с ними не согласятся (в книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» содержится подробное описание различий).

Поэтому, когда кто-то из специалистов по кибербезопасности говорит, что им не хватает данных для определения вероятности, это звучит крайне иронично. Мы используем вероятность потому, что у нас нет полной информации, а не вопреки этому. Лучше всего данная позиция была сформулирована общепризнанным основоположником области анализа решений, профессором Роном Ховардом из Стэнфордского университета. Во время подкаста с интервью журналу Harvard Business Review корреспондент спросил Ховарда, как решить проблему анализа «когда вероятность неизвестна». Ховард ответил:

Видите ли, вся идея вероятности заключается в том, чтобы иметь возможность описать с помощью чисел вашу неосведомленность или, в равной степени, ваше знание. Поэтому неважно, насколько вы информированы или несведущи, определяется, какая степень вероятности соответствует этому^5.

Бывают случаи, когда вероятность является вычисляемой величиной, но, как утверждают великие умы Ховард и Джеймс Клерк Максвелл (из более ранней цитаты), вероятность также используется для обозначения нашего состояния неопределенности относительно чего-либо в данный момент, независимо от того, насколько велика эта неопределенность. Имейте в виду, однако, что хоть вероятность, о которой здесь говорится, и субъективна, она не является иррациональной и непредсказуемой. Необходимо, чтобы субъективная неопределенность была по крайней мере математически последовательной и не противоречила многократным последующим наблюдениям. Здравомыслящий человек не может просто сказать, например, что есть 25 %-ная вероятность, что его организация пострадает от определенной кибератаки, и 90 %-ная вероятность, что ее не будет (конечно же, в сумме эти шансы должны давать вероятность 100 %). Кроме того, если кто-то продолжает утверждать, что он на 100 % уверен в своих прогнозах, и постоянно ошибается, то можно не учитывать его субъективную неопределенность на объективных основаниях, так же как не берут в расчет показания сломанных электронных весов или амперметра. В главе 7 вы узнаете, как вероятность может быть субъективной и в то же время рациональной.

Наконец, следует помнить, что существует еще одна грань уменьшения неопределенности. Полное устранение неопределенности не является необходимым для измерения, но она должна сколько-нибудь снизиться. Если те, кто принимает решения, или аналитики считают, что проводят измерения, а эффективность их оценок и решений на самом деле не повышается или даже снижается, значит, они не сокращают число ошибок и не проводят измерения, как они понимаются в нашем определении.

Получается, чтобы определить, подходят ли для измерений порядковые шкалы, столь часто применяемые в области кибербезопасности, надо по меньшей мере выяснить, действительно ли эти шкалы уменьшают неопределенность (эти тонкости будут подробнее рассмотрены в главе 5).

Объект измерений

Хорошо сформулированная проблема – наполовину решенная проблема.

Чарльз Кеттеринг (1876–1958), американский изобретатель, обладатель более 100 патентов, в том числе на электрическую систему зажигания для автомобилей

Нет большего препятствия для продвижения знаний, чем двусмысленность слов.

Томас Рид (1710–1796), шотландский философ

Даже после принятия более удобной формулировки понятия «измерение» (как наблюдения, уменьшающего неопределенность) некоторые вещи кажутся неизмеримыми, из-за того что мы просто не понимаем, что имеем в виду, когда впервые задаемся вопросом об их измерении. То есть мы не можем однозначно определить объект измерения. Если кто-то интересуется, как измерить «ущерб репутации», или «угрозу», или «срыв рабочего процесса», то достаточно спросить: «Что вы имеете в виду?» Любопытно, как часто люди затем уточняют термин, так что он сам по себе уже почти отвечает на вопрос об измерении.

Как только становится ясно, что имеется в виду и почему это важно, проблема начинает казаться гораздо более измеримой. На этом первом уровне анализа один из авторов, Хаббард, обычно проводит так называемые семинары по разъяснению. Они сводятся к тому, что клиенты заявляют конкретный, но изначально двусмысленный предмет, который требуется измерить. А затем им просто задаются вопросы: «Что вы имеете в виду под [указать нужное]?» и «Почему вас это волнует?»

Такой подход применим к широкому спектру проблем измерения, и кибербезопасность не исключение. В 2000 году, когда министерство по делам ветеранов обратилось к Хаббарду за помощью в определении показателей эффективности того, что они называли IT-безопасностью, Хаббард спросил: «Что вы подразумеваете под IT-безопасностью?» В ходе двух или трех семинаров сотрудники министерства дали ему точное определение: выяснилось, что под IT-безопасностью они понимали такие параметры, как снижение числа проникновений и заражений вирусами. Далее они пояснили, что подобные вещи влияют на министерство через мошенничество, потерю производительности или даже потенциальную юридическую ответственность (которой им едва удалось избежать, когда в 2006 году был найден украденный у них ноутбук с хранившимися на нем номерами социального страхования 26,5 млн ветеранов). Все выявленные в итоге воздействия почти в каждом случае оказались явно измеряемыми. Понятие «безопасность» было расплывчатым, пока его не разложили на компоненты, которые на самом деле хотели изучить.

То, что мы называем «цепочкой разъяснений», – всего лишь короткая серия рассуждений, которая должна помочь нам перейти от восприятия объекта как нематериального к восприятию его как осязаемого. Во-первых, следует признать, что если Х – волнующая нас проблема, то по определению X можно каким-то образом выявить. Зачем бы нам волноваться о таких вещах, как «качество», «риск», «безопасность» или «имидж», если бы они никак не проявлялись ни прямо, ни косвенно? Единственная причина переживать из-за какой-то неизвестной величины – уверенность, что она каким-то образом соотносится с желаемым или нежелательным результатом. Во-вторых, если этот объект можно выявить, то выявлен он будет в каком-то объеме. То есть раз объект вообще можно наблюдать, значит, его можно наблюдать в большем или меньшем количестве. Как только мы признаем это, последний шаг, возможно, станет самым простым: если можно наблюдать объект в каком-то количестве, то он должен быть измеримым.

Цепочка разъяснений

1. Если объект имеет значение, то он выявляем/наблюдаем.

2. Если он выявляем, то его можно обнаружить в каком-то количестве (или диапазоне возможных вариантов количества).

3. Если его можно определить как диапазон возможных вариантов количества, то его можно измерить.

Если цепочка разъяснений не сработает, можно попробовать то, что ученые называют «мысленным экспериментом». Представьте, что вы – инопланетный ученый, способный клонировать не только овец или даже людей, но и целые организации. Вы создаете две одинаковые организации, называя одну из них тестовой группой, а другую – контрольной. Теперь представьте, что в тестовой группе вами задается небольшое повышение параметра «ущерб репутации», при этом в контрольной группе он остается неизменным. Как думаете, какие изменения (прямые или косвенные) вы увидите в первой организации? Снизятся ли в ближайшей или долгосрочной перспективе продажи? Станет ли труднее набирать новых сотрудников, стремящихся работать в престижных компаниях? Придется ли проводить дорогостоящие пиар-кампании, чтобы компенсировать последствия? Если вы сможете наблюдать хотя бы одно отличие клонированных организаций друг от друга, то уже будете на пути к выяснению, как его измерить.

Также полезно указать, зачем надо что-то измерить, чтобы понять, что именно измеряется. Цель измерения часто является ключом к пониманию того, каким оно на самом деле должно быть. Измерения всегда должны подкреплять какое-то решение, неважно, принимается ли оно единожды или регулярно. В случае измерения рисков кибербезопасности измерения, скорее всего, проводятся, чтобы лучше распределить ресурсы для снижения рисков. Цель измерения дает подсказки о том, что на самом деле означает измерение и как его проводить. А попутно может обнаружиться еще ряд потенциальных объектов, которые, возможно, также потребуется измерить для подкрепления соответствующего решения.

C определения объекта измерения действительно начинаются почти все научные исследования, включая по-настоящему революционные. Специалистам по кибербезопасности и руководителям следует уяснить, что некоторые вещи кажутся неосязаемыми только потому, что были плохо определены. Чересчур расплывчатые термины, такие как «потенциальная сила угрозы», «ущерб репутации» или «доверие клиентов», выглядят поначалу неизмеримыми, вероятно, лишь из-за того, что их значение не совсем понятно. Такие термины могут, по сути, представлять собой список отдельных и наблюдаемых явлений, для понимания которых каждому из них требуется дать определение. Далее в этой книге (особенно в главе 6) будут предложены способы разложения на подобные списки из более конкретных элементов.

Разъяснение цели измерений следует начать со значений некоторых других терминов, что уже неоднократно здесь использовались. Чтобы измерить кибербезопасность, надо разобраться с вопросами «Что подразумевается под кибербезопасностью?» и «Какие решения зависят от ее измерения?».

Для большинства людей повышение уровня безопасности все же должно означать нечто большее, чем, скажем, увеличение количества сотрудников, прошедших обучение по безопасности, или числа компьютеров с установленным новым защитным программным обеспечением. Если уровень безопасности повышается, то некоторые риски должны понижаться. В таком случае необходимо понять, что подразумевается под риском. Для прояснения этой проблемы требуется уточнить понятия «неопределенность» и «риск». Они не только поддаются измерению, но и являются ключевыми для понимания измерений в целом. Итак, давайте определим значения этих терминов и их измерений.

Значения неопределенности, риска и их измерений

Неопределенность – отсутствие полной уверенности, т. е. существование более чем одной возможности. Истинные итог/состояние/результат/значение не известны.

Измерение неопределенности – набор вероятностей, приписываемых набору возможностей. Например: «Существует 20 %-ная вероятность, что в течение следующих пяти лет у нас произойдет утечка данных».

Риск – состояние неопределенности, когда некоторые из возможностей связаны с убытками, катастрофой или другими нежелательными последствиями.

Измерение риска – набор возможностей, каждая из которых имеет количественную оценку вероятности и количественно выраженные потери. Например: «Существует 10 %-ная вероятность, что утечка данных повлечет за собой судебные иски на более чем 10 млн долл.».

Как задаются подобные вероятности, будет показано далее (сначала на основе техник из главы 7), пока же достаточно того, что мы определились с понятиями, с чего всегда и начинаются измерения. Были выбраны именно эти значения, поскольку они наиболее соответствуют нашему подходу к измерениям в описываемом здесь примере с безопасностью и ее ценностью. Однако, как вы увидите, они также пригодны для рассмотрения любых других проблем, касающихся измерений.

Теперь, когда имеются значения неопределенности и риска, появляется более эффективный инструментарий для определения следующих терминов, таких как «безопасность» (или «сохранность», «надежность» и «качество», но об этом позже). Говоря, что безопасность улучшилась, обычно мы имеем в виду, что конкретные риски снизились. С учетом приведенного выше определения риска его снижение должно означать, что вероятность и/или тяжесть последствий (убытки) снижаются для конкретных событий. Вот это и есть упоминавшийся ранее подход, помогающий измерить некоторые очень крупные вложения в IT-безопасность, включая модернизацию системы информационной безопасности министерства по делам ветеранов, обошедшуюся в 100 млн долл.

В общем, как только вы поймете, что имеете в виду, будете на полпути к измерениям. В главе 6 будут подробнее рассмотрены подходы к определению доступных для наблюдения последствий кибербезопасности, узнаем, как ослабить последствия нарушений кибербезопасности и как выяснить, какое решение необходимо принять (тогда мы снова обратимся к работе Рона Ховарда по анализу решений).

Методы измерения

Нас ведет к беде не то, что мы чего-то не знаем… К беде ведет знание, которое мы считаем истинным, но оно на самом деле ошибочно.

Марк Твен[3]

В разговоре о методах измерения кто-то может представить довольно буквальный пример с измерением времени простоя системы или количества людей, прошедших обучение по безопасности. То есть когда нет больших «неявных» совокупностей, которые нужно оценить, а имеется прямой доступ ко всем объектам измерения. Если на этом понимание человека о методах измерения заканчивается, то, несомненно, многое будет казаться неизмеримым.

Статистика и наука в целом были бы намного проще, если бы можно было непосредственно видеть все, что когда-либо измерялось. Большинство «трудных» измерений, однако, предполагают косвенные умозаключения и выводы. Это, безусловно, относится и к сфере кибербезопасности, в которой часто приходится на основе увиденного делать выводы о чем-то невидимом. Изучение совокупностей, которые слишком велики или динамичны, чтобы их можно было рассмотреть целиком, – вот в чем на самом деле суть статистики.

Кибербезопасность не является какой-то исключительной областью, не относящейся к сфере статистики. Статистика была создана именно для решения подобных проблем. Специалистам по кибербезопасности, убежденным в обратном, стоит внимательно перечитать высказывание Марка Твена, приведенное выше. Люди вроде них могут считать, что все правильно помнят и понимают достаточно в области статистики и вероятности, чтобы без применения математики с уверенностью заявлять, какие выводы можно сделать из тех или иных данных. К сожалению, их умственные вычисления часто совсем не верны. Наличие ошибочных представлений о методах измерения мешает оценивать риск во многих областях, в том числе и в кибербезопасности.

Статистическая значимость. Что такое значимость?

Часто можно услышать утверждение, что выборка недостаточно велика, чтобы считаться «статистически значимой». Если слышите подобное, точно знайте одно: говорящий неправильно понимает идею статистической значимости. Недавний проведенный авторами опрос, в котором принял участие 171 специалист по кибербезопасности, показал, что такие заблуждения распространены в данной сфере так же, как и в любой другой (более подробно результаты исследования описаны в главе 5). Можно заметить, что некоторые представления о статистике противоречат следующим фактам.

• Не существует единого, универсального размера выборки, необходимого, чтобы считать ее статистически значимой.

• Чтобы правильно рассчитать статистическую значимость, нужно знать, что она зависит не только от размера выборки, но и от дисперсии внутри выборки, и от самой проверяемой гипотезы. Все эти факторы используются для расчета так называемого π-значения («пи-значения»), а затем результат сравнивается с заданным уровнем значимости. Если указанные шаги пропущены, то нельзя доверять заявлениям о том, что является статистически значимым.

• Выяснив, как вычислить статистическую значимость, и поняв, что она означает, вы обнаружите, что хотели узнать совсем не это. Статистическая значимость не означает, что вы узнали что-то новое, а ее отсутствие – что вы ничего не узнали.

Данный вопрос более детально рассматривается с математической точки зрения в первой книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». А пока, полагаем, вам лучше избегать употребления фразы «статистическая значимость». Что же действительно нужно знать, так это уменьшится ли неопределенность после изучения источника данных и оправдывает ли ее уменьшение определенные изменения в действиях. Статистики знают, что статистическая значимость не дает ответа на этот вопрос, и они сами постоянно поправляют тех, кто считает иначе. Для вопросов о степени снижения неопределенности существуют математические расчеты, и, отвечая на подобные вопросы, можно не ссылаться на статистическую значимость или на то, что под ней подразумевают аналитики из сферы кибербезопасности.

Экспертам по кибербезопасности, как и многим другим специалистам практически во всех областях управления, необходимо избавиться от ошибочных представлений о статистике и изучить новые концепции в ней. Позже мы обсудим, как можно использовать некоторые проверенные методы измерения для решения различных проблем при измерении того, что изначально, возможно, казалось неизмеримым. Здесь же представим несколько примеров, в которых выводы о неявных аспектах могут быть сделаны из вполне очевидных.

• Измерения очень больших совокупностей с помощью очень маленьких случайных выборок. Можно кое-что узнать из небольшой выборки случаев утечки данных и других нарушений, особенно в ситуации высокой степени неопределенности.

• Измерения в условиях со множеством переменных, в том числе неизвестных. Можно оценить, насколько эффективно новые средства контроля системы безопасности снизили риск даже при наличии множества других факторов, влияющих на то, нанесет ли кибератака урон системе.

• Измерение риска редких событий. О вероятности неудачи при запуске ракеты, которую никогда раньше не запускали, или наступления еще одного крупного финансового кризиса можно на практике узнать с помощью наблюдений и логических рассуждений. Эти проблемы не менее сложны, чем оценка риска редко случающегося крупного нарушения кибербезопасности, тем не менее их можно измерить, и измерения проводятся.

• Измерение субъективных предпочтений и ценностей. Можно измерить ценность искусства, свободного времени или уменьшения риска для вашей жизни, установив, сколько люди действительно платят за эти вещи. Опять же, опыт других областей в равной степени применим и к кибербезопасности.

Большинство из этих подходов к измерениям являются лишь вариациями основных методов, к которым относятся различные виды выборки и экспериментального контроля, а иногда и разнообразные типы вопросов, являющиеся косвенными показателями того, что мы пытаемся измерить. К подобным базовым методам наблюдения часто не прибегают в бизнесе при принятии определенных решений, вероятно, потому, что считают такие измерительные процедуры сложными и чрезмерно формализованными. Бытует мнение, что при необходимости эти методы не удастся оперативно применить без особых затрат и подготовки. Однако мы продемонстрируем методы, которые, используя популярное понятие в системной инженерии, можно даже назвать гибкими (agile).

Небольшие выборки более информативны, чем кажутся

Когда специалисты в сфере кибербезопасности или любой другой области говорят: «У нас недостаточно данных, чтобы это измерить», – они, вероятно, не понимают, что произносят вполне конкретное математическое утверждение, не подкрепленное никакими фактическими математическими выкладками. Действительно ли они вычисляли снижение уровня неопределенности, используя имеющийся объем данных? Рассчитывали ли они на самом деле экономическую ценность такого снижения неопределенности? Скорее всего, нет.

Когда дело доходит до вероятностных выводов о данных, наша интуиция превращается в проблему. Однако намного большей проблемой может стать то, что, как кажется, нам известно (ошибочно) о статистике. Поскольку на практике статистика позволяет делать информативные выводы из удивительно маленьких выборок.

Рассмотрим случайную выборку всего лишь из пяти единиц чего-либо. Это может быть время, проведенное сотрудниками на веб-сайтах, опрос компаний в некоторых отраслях, представляющих отчеты о бюджетах, выделенных на кибербезопасность, и т. д. Какова вероятность того, что медиана всей совокупности (точка, в которой половина совокупности находится ниже, а половина выше) окажется между наибольшим и наименьшим значением этой выборки из пяти? Ответ – 93,75 %. В книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» Хаббард называет это «правилом пяти». При такой маленькой выборке диапазон может быть очень широким, но если он окажется ýже, чем предыдущий, то можно говорить, что было проведено измерение в соответствии с данным ранее определением. Правило пяти простое, оно работает, и можно доказать, что оно является статистически обоснованным для удивительно широкого спектра задач. Если ваша интуиция или познания в статистике подсказывают иное, то проблема тут не в математике.

Может показаться, что нельзя быть уверенными в чем-либо на 93,75 % на основании случайной выборки всего лишь из пяти единиц, но это не так. Если бы случайно были выбраны пять значений, которые все располагались бы выше медианы или ниже ее, то медиана оказалась бы за пределами нашего диапазона. Но какова вероятность этого? Помните, что шанс случайно выбрать значения выше медианы, по сути, составляет 50 %, как шанс, что подброшенная монетка упадет орлом вверх. То есть вероятность, что все выбранные пять значений случайно окажутся выше медианы, сродни вероятности, что выпадет орел пять раз подряд. Шанс выпадения орла пять раз подряд при случайном подбрасывании монетки составляет 1 к 32, или 3,125 %, то же самое касается и выпадения решки пять раз подряд. Тогда шансы, что не выпадут все орлы или все решки, составляет 100 % – (3,125 % × 2), или 93,75 %. Таким образом, вероятность, что хотя бы одно значение в выборке из пяти окажется выше медианы и хотя бы одно будет ниже, составляет 93,75 % (округлите до 93 % или даже до 90 %, если хотите быть сдержанными в оценках). Некоторые читатели, возможно, со времен учебы помнят статистику для очень маленьких выборок. Ее методы были сложнее, чем правило пяти, но ответ, в сущности, мало отличался (и там и там применяются упрощающие допущения, которые очень хорошо работают на практике).

Правило пяти

Существует 93,75 %-ная вероятность того, что медиана совокупности находится между наименьшим и наибольшим значениями любой случайной выборки из этой совокупности.

Это правило можно улучшить, увеличив выборку и применив простые методы для учета ряда погрешностей, которые мы обсудим далее. Тем не менее, даже несмотря на имеющиеся недостатки, правило пяти стоит взять на вооружение тем, кто хочет развить интуицию относительно измерений.

Давайте примем несколько обдуманных и конструктивных предположений вместо расхожих домыслов. Нами предлагается набор предположений, которые (на то они и предположения) не всегда верны в каждом отдельном случае, но все же на практике демонстрируют гораздо бóльшую эффективность, чем противоположные устоявшиеся мнения. Подробнее эти аспекты будут рассмотрены позже, а пока просто назовем их.

1. Независимо от того, насколько сложна или уникальна ваша проблема измерений, следует предполагать, что подобные измерения уже проводились ранее.

2. Если вы изобретательны, то, вероятно, сможете найти больше источников данных, чем предполагали изначально.

3. Возможно, вам нужно меньше данных, чем подсказывает интуиция, и это действительно так, особенно в ситуации с высокой степенью неопределенности.

В некоторых редких случаях только из-за отсутствия самых изощренных методов измерения что-либо кажется неизмеримым. Однако в случаях, касающихся так называемых непостижимых объектов, дело почти всегда вовсе не в нехватке продвинутых и сложных методов. Просто такие объекты, как правило, слишком неопределенные, поэтому даже самые простые методы измерения, скорее всего, позволят уменьшить какую-то часть их неопределенности. Кибербезопасность в настоящее время является настолько важным направлением, что даже небольшое снижение неопределенности может быть чрезвычайно ценным.

В следующей главе будет показано, как наши концепции можно частично применить для оценки рисков кибербезопасности с помощью очень простого количественного метода, и это займет лишь чуть больше времени, чем построение обычной матрицы рисков.

Примечания

1. Гладуэлл Малкольм. Гении и аутсайдеры. Почему одним все, а другим ничего? / Пер. О. Галкина. – М.: Манн, Иванов и Фербер, 2020.

2. C. Shannon, “A Mathematical Theory of Communication,” The Bell System Technical Journal 27 (July/October, 1948): 379–423, 623–656.

3. S. S. Stevens, “On the Theory of Scales and Measurement,” Science 103 (1946): 677–680.

4. Leonard J. Savage, The Foundations of Statistics (New York: John Wiley & Sons, 1954).

5. Рон Ховард, подкаст Harvard Business Review, интервьюер Джастин Фокс, 20 ноября 2014 года.

Глава 3. Моделируем немедленно!

Введение в практические количественные методы оценки в сфере кибербезопасности

Построй немного. Попробуй немного. Узнай много.

Контр-адмирал Уэйн Мейер, руководитель программы системы вооружений Aegis

В этой главе мы предложим простую отправную точку для разработки количественной оценки риска. Позже будут рассмотрены более подробные модели (начиная с главы 6) и более современные методы (начиная с главы 8). А пока начнем с модели, которая лишь заменяет обычную матрицу рисков. Это всего лишь способ зафиксировать субъективные оценки вероятности и воздействия, но сделать это вероятностно.

Чтобы все получилось, придется освоить несколько методов. Прежде всего вы познакомитесь с идеей субъективной оценки вероятностей (хотя упражнения для обучения такой оценке мы отложим до главы 7, пока потерпите). Также будет представлен очень простой метод моделирования, а работа по фактическому построению симуляции по большей части будет сделана за вас (пример будет представлен в таблице Excel, которую можно загрузить с сайта www.howtomeasureanything.com/cybersecurity).

Изучение вами данной главы заложит фундамент, на который мы будем опираться до конца книги, постепенно надстраивая различные улучшения. Вы узнаете, как проверять свои субъективные оценки вероятности и улучшать их, как математически обоснованно использовать даже малое число наблюдений для дальнейшего уточнения оценки, а кроме того, как совершенствовать модели с помощью дополнительной детализации и усложнения. Пока же остановимся на простейшем варианте метода замены, часто используемого сегодня в области кибербезопасности.

Простая замена «один на один»

Путь к более точной оценке риска можно начать, всего лишь заменив элементы, используемые в методе, с которым большинство экспертов по кибербезопасности уже знакомы, – матрице рисков. Как и в случае с матрицей рисков, мы будем полагаться только на суждение экспертов в области кибербезопасности. Они продолжат выносить субъективные экспертные суждения о вероятности и воздействии точно так же, как делают это сейчас при составлении матриц риска. Не потребуется никаких иных данных, кроме информации, которую, возможно, уже и так используют аналитики в сфере кибербезопасности для обоснования своих суждений с помощью матрицы риска. Как и прежде, эксперты смогут использовать столько данных, сколько посчитают нужным, для вынесения, по сути, все того же субъективного суждения.

Единственное предлагаемое нами изменение в том, чтобы вместо использования шкал типа «высокий, средний, низкий» или «от 1 до 5» эксперты научились субъективно оценивать фактические величины, стоящие за такими шкалами, т. е. вероятность и воздействие в денежном выражении. В табл. 3.1 кратко описана возможная замена каждого элемента привычной матрицы риска с помощью метода, использующего вероятности в явном виде.

Таблица 3.1. Сравнение метода простой замены величин и матрицы рисков

Предложенный метод, как и матрица рисков, на самом деле не более чем еще один способ выражения текущего состояния неопределенности. Он не отражает надлежащее измерение в принятом нами смысле: мы не снижаем неопределенность на основе дополнительных наблюдений, мы лишь подтверждаем свою априорную неопределенность. Однако теперь уровень этой неопределенности выражен таким образом, который позволяет нам однозначно сообщать о риске и корректировать степень неопределенности с появлением новой информации.

Давайте теперь соберем воедино элементы данного подхода, начиная с того, как эксперт в сфере кибербезопасности дает субъективную оценку вероятности.

Эксперт как инструмент

В соответствии с принципами замены «один на один» нами будет задействован тот же источник данных для оценки, что использовался бы и при составлении матрицы рисков, – эксперт в сфере кибербезопасности. Подобно тому как эксперты уже оценивают вероятность и воздействие с помощью обычной матрицы рисков, они могут оценить их же, используя значимые величины. Чуть позже будет также разобрано, как добавить к их оценке дополнительную внешнюю информацию. В любой проблеме измерения важной отправной точкой является фиксирование текущего состояния неопределенности. Нужно лишь задать базовую структуру, выполнив следующие действия.

1. Определить список рисков. Классифицировать риски можно по-разному, но сейчас только укажем, что для обычной матрицы рисков составляется такой же список.

2. Определить конкретный период времени, в течение которого может возникнуть несущее риск событие (например: «Утечка данных из приложения Х произойдет в ближайшие 12 месяцев», «Потеря доступа к системе Х достаточно продолжительная, чтобы привести к снижению производительности в ближайшие пять лет» и т. д.).

3. Для каждого риска субъективно определить вероятность (от 0 до 100 %), с которой заявленное событие произойдет в указанное время (например: «Существует вероятность 10 %, что утечка данных из системы X произойдет в ближайшие 12 месяцев»).

4. Для каждого риска субъективно определить диапазон финансовых потерь в случае наступления события в виде 90 %-ного доверительного интервала (ДИ). Это достаточно широкий диапазон, позволяющий быть на 90 % уверенными, что фактические потери окажутся в его пределах (например: «Если произойдет утечка данных из приложения X, то с вероятностью 90 % можно предположить, что потери составят от 1 до 10 млн долл.»).

5. Если есть возможность, то получить оценки нескольких экспертов, но не проводить при этом общее совещание в попытке достичь консенсуса. Просто предоставьте список определенных событий, и пусть люди отвечают по отдельности. Если ответы некоторых экспертов сильно отличаются от остальных, выясните, не интерпретируют ли они иначе проблему. Например, если один человек называет вероятность наступления какого-либо события равной 5 % в течение года, а другой говорит, что оно с вероятностью 100 % происходит каждый день, тогда они, судя по всему, по-разному поняли вопрос (авторы лично сталкивались именно с таким вариантом). Однако, если эксперты понимают вопрос одинаково, просто усредните их ответы. То есть вычислите среднее арифметическое значение всех вероятностей наступления события, чтобы получить одно значение вероятности, а затем вычислите среднее арифметическое всех наименьших значений вероятностей для получения одного нижнего предела и наибольших значений для получения одного верхнего предела.

Идея субъективной оценки вероятностей может встретить возражения. Некоторые аналитики, без проблем говорящие, что вероятность составляет 4 по шкале от 1 до 5 или является средней по вербальной шкале, будут утверждать, что существуют требования к количественным вероятностям, делающие количественную оценку невыполнимой. Почему-то проблемы, которые не смущали их при использовании более неоднозначных методов, становятся основными препятствиями при попытке сформулировать значимую вероятность.

Это распространенное заблуждение. Как уже отмечалось в главе 2, использование субъективной вероятности для обозначения исходного состояния неопределенности эксперта является математически обоснованным. На самом деле некоторые проблемы в статистике можно решить только с помощью вероятностно выраженного исходного состояния неопределенности. И как раз такие задачи оказываются наиболее значимыми для принятия решений в любой области, включая кибербезопасность. Позже будут приведены источники, поддерживающие этот подход, в том числе несколько очень крупных эмпирических исследований, демонстрирующих его обоснованность. Более того, здесь есть глава, посвященная тому, как помочь читателям измерить и усовершенствовать собственные навыки оценки вероятностей с помощью короткой серии упражнений, позволяющих со временем повысить эффективность этих навыков. Оценки вероятности, получаемые после такого улучшения навыков, мы называем откалиброванными, и, как будет показано далее, существует достаточно много исследований, подтверждающих обоснованность подобных практик.

Пока же просто уясните, что большинство экспертов можно научить субъективно оценивать вероятности и что этот навык объективно измерим (как бы иронично это ни звучало). Помните: если основное беспокойство по поводу использования вероятностных методов возникает из-за отсутствия данных, то, значит, вам не хватает имеющихся данных и для применения неколичественных методов. Как уже говорилось, оба метода на начальном этапе используют один и тот же источник данных – экспертное мнение специалистов по кибербезопасности. И нельзя утверждать, что при использовании количественных показателей вероятности без надлежащего обучения будут допущены ошибки, которых удалось бы избежать, применяя качественные методы.

Достоверность мнения эксперта можно повысить за счет методов, учитывающих два других источника ошибок в суждениях: высокую степень несогласованности экспертов и склонность к распространенным ошибкам в умозаключениях, когда дело касается вероятностного мышления. Все это также будет рассмотрено в следующих главах (и, разумеется, влияние данных источников ошибок никак не учитывается в обычной матрице рисков).

Вычисляя неопределенность

У использования диапазонов для обозначения неопределенности вместо нереалистично точных конкретных значений есть свои преимущества. Скажем, при применении диапазонов и вероятностей нет нужды делать предположения, в которых вы не уверены. Однако плюс точных значений в том, что их легко складывать, вычитать, умножать и делить в электронной таблице. Если точно знать величину убытков каждого типа, можно без труда вычислить общие убытки. А поскольку для каждого типа у нас есть только диапазоны, то для вычислений придется использовать методы вероятностного моделирования.

Так каким же образом выполнять математические действия в электронной таблице, когда у нас не точные значения, а диапазоны? К счастью, есть проверенное практическое решение, которое можно применить на любом современном компьютере, – метод Монте-Карло. В симуляции по методу Монте-Карло с помощью компьютера генерируется множество сценариев, в качестве вводных данных для которых используются вероятности. В каждом сценарии для каждой из неизвестных переменных случайным образом задается конкретное значение. Затем эти значения подставляются в формулу для расчета выходных данных одного сценария. Процесс обычно охватывает тысячи сценариев.

В 1940-х годах ряд математиков и ученых начали использовать подобные симуляции тысяч случайных испытаний для некоторых очень трудных математических задач. Станислав Улам, Джон фон Нейман и Николас Метрополис сумели применить данный метод на примитивных компьютерах, доступных в то время, чтобы помочь решить математические задачи, связанные с разработкой первой атомной бомбы. Ими было обнаружено, что при проведении тысяч испытаний в произвольном порядке можно вычислить вероятность различных результатов для модели, имеющей некоторое количество входных данных, характеризующихся высокой степенью неопределенности. По предложению Метрополиса Улам назвал этот компьютерный метод генерации случайных сценариев методом Монте-Карло – по известному месту для любителей азартных игр, в честь своего дяди, заядлого игрока^1. В настоящем, когда имеется большая вычислительная мощность (в миллиарды раз превышающая практически по всем показателям ту, что была доступна в Манхэттенском проекте), симуляции по методу Монте-Карло используются для моделирования проектных и финансовых рисков, для создания моделей риска на электростанциях, в системе поставок, в страховании и, да, в кибербезопасности.

Если у вас нет опыта работы с симуляциями по методу Монте-Карло, скорее всего, они кажутся вам сложнее, чем есть на самом деле. Они регулярно применяются авторами и многими их сотрудниками для решения различных практических задач в бизнесе. Нам не единожды приходилось видеть, как люди, у которых сама идея использования симуляций по методу Монте-Карло вызывала дискомфорт, после непосредственной работы с ними становились в итоге их ярыми сторонниками.

Давайте начнем с очень простой задачи и разберем инструменты для ее решения. Предположим, есть набор возможных событий, которые могут случиться за год. Для каждого события заданы степень вероятности и диапазон возможных убытков, в случае если оно произойдет. Пусть вероятность одних событий составляет 1 %, а других – более 10 %. В конкретном году может не произойти события, которое приведет к значительным убыткам, или их окажется несколько, возможно даже, что одно и то же событие случится несколько раз в течение года. Для последнего варианта также есть решение, но сейчас мы будем придерживаться простого сценария и моделировать событие как результат «или-или», происходящий не чаще одного раза в год. Матрица рисков, в любом случае, не учитывает подобный вариант (как и некоторые другие аспекты, о которых поговорим позже), так что простой сценарий делает пример ближе к принципу замены «один на один».

Далее в книге будет возможность подробнее остановиться на этом виде моделирования. Однако, чтобы помочь вам начать работу, мы предоставили несколько простых примеров в электронной таблице Excel, которую можно загрузить с сайта www.howtomeasureanything.com/cybersecurity. Вооружившись информацией из таблицы и более подробными материалами из следующих глав, вы сможете моделировать свою неопределенность и отвечать на вопросы вроде «Какова вероятность того, что в следующем году из-за кибератаки убытки составят больше, чем X?».

Для решения нашей задачи мы смоделируем тысячи сценариев для каждого риска. В каждом сценарии нужно лишь определить по каждому виду риска, произойдет ли событие и, если произойдет, каковы будут его последствия.

Введение в генерацию случайных событий и воздействий в Excel

Начнем с определения того, произошло ли событие в отношении одного риска в одном сценарии. Для этого при моделировании можно случайным образом генерировать «1», если событие произойдет, и «0», если не произойдет, где вероятность получения «1» равна заявленной вероятности события. В редакторе Excel это можно записать следующим образом:

=ЕСЛИ(СЛЧИС() < вероятность_события;1;0)

Например, если вероятность события равна 0,15, то эта формула будет выдавать результат «1» (означающий, что событие произошло) в 15 % случаев. В Excel при каждом новом вычислении (по нажатию клавиши F9) будет получаться новый результат. Повторив операцию тысячу раз, вы увидите, что событие произойдет примерно 150 раз. Обратите внимание, что так будет для каждого отдельного риска, указанного в симуляции. То есть, если у вас 100 рисков, у каждого из которых различная вероятность, и вы запустите 1000 сценариев, то эта маленькая формула будет рассчитана 100 000 раз.

Для определения воздействия необходимо генерировать не просто «0» или «1», а континуум значений. Это можно сделать с помощью одной из обратных функций вероятности редактора Excel. Некоторые функции вероятности в Excel позволяют определить вероятность конкретного результата при определенном распределении вероятности. Например, НОРМРАСП(x;среднее; стандартное_откл;1) покажет вероятность того, что нормальное распределение с заданными средним значением и стандартным отклонением даст значение, равное x или меньше. Обратная же функция вероятности выдаст значение x с учетом вероятности.

В Excel обратная функция вероятности для нормального распределения выглядит так:

=НОРМОБР(вероятность; среднее; стандартное_откл)

(Примечание: в последних версиях Excel также используется функция НОРМ.ОБР, но НОРМОБР тоже работает.) Если заменить аргумент «вероятность» на функцию СЛЧИС(), то получится нормально распределенное случайное число с указанным средним значением и стандартным отклонением. Стандартное отклонение – своего рода мера ширины распределения вероятности, но на самом деле эту величину специалистам очень трудно определить интуитивно. Лучше просто попросить эксперта назвать 90 %-ный доверительный интервал, как описывалось ранее. ДИ можно использовать для вычисления необходимых параметров среднего значения и стандартного отклонения на основе верхнего и нижнего пределов (ВП и НП) диапазона потенциальных убытков, предоставленного экспертом.

Этот диапазон мы превратим в распределение вероятности определенного типа, которое будем часто применять: логнормальное распределение, представляющее собой разновидность более привычного колоколообразного нормального распределения. Это просто нормальное распределение по логарифму значения, которое мы хотим смоделировать, и оно обычно гораздо точнее отображает реальность.

Рис. 3.1. Сравнение логнормального и нормального распределений

На рис. 3.1 показан пример подобного распределения в сравнении с нормальным. Обратите внимание, что логнормальное распределение, в отличие от нормального, выглядит однобоким или «перекошенным». При логнормальном распределении не может получиться нулевое или отрицательное число, но у него имеется хвост справа, допускающий получение очень больших значений в результатах. Именно поэтому логнормальное распределение часто реалистично отражает вероятность различных сумм убытков. Нормальное распределение достаточно широкое, чтобы охватить некоторые экстремальные события, однако оно может также выдавать нелогичные отрицательные результаты на другом конце шкалы (не может быть отрицательного количества взломанных учетных записей или отрицательного времени простоя системы). Вот почему логнормальное распределение используют еще и для моделирования различных величин, которые не могут быть отрицательными, но способны (хотя и редко) оказываться очень большими.

Для получения логнормального распределения в примере, представленном на сайте книги, применяется следующая формула Excel:

= ЛОГНОРМОБР(СЛЧИС();среднее ln(X);стандартное_отклонение ln(X)),

где:

стандартное_отклонение ln(X) = (ln(ВП) – ln(НП))/3,29)

среднее ln(X) = (ln(ВП) + ln(НП))/2)

Таким образом, если нами получен 90 %-ный ДИ для воздействия от 100 000 до 8 млн долл., тогда среднее и стандартное отклонение, которые должны использоваться в функции ЛОГНОРМОБР (т. е. среднее значение и стандартное отклонение логарифма исходного распределения), будут равны:

среднее ln(x) = (ln(8000000) + ln(100000)) / 2 = 13,7

стандартное_отклонение ln(x) =

(ln(8000000) – ln(100000)) / 3,29 = 1,33

Определение убытков от события, у которого вероятность возникновения составляет 5 %, а воздействие – от 1 до 9 млн долл., можно записать так:

= ЕСЛИ(СЛЧИС() < 0,05; ЛОГНОРМОБР(СЛЧИС(); (ln(9000000) + ln(1000000)) / 2;

(ln(9000000) – ln(1000000)) / 3,29); 0)

В большинстве случаев (95 %) эта функция будет выдавать ноль. И только в 5 % случаев она сгенерирует значение, которое с вероятностью 90 % попадет в диапазон от 1 до 9 млн долл. Обратите внимание, что, поскольку это 90 %-ный ДИ, существует вероятность 5 %, что значение окажется ниже нижнего предела (но выше нуля, так как логнормальное распределение может давать только положительные значения), и вероятность 5 %, что оно будет выше верхнего предела, иногда намного выше. Так, если в приведенном выше примере событие происходит, то существует вероятность 1 %, что убытки могут превысить 14,2 млн долл.

Логнормальные распределения следует применять осторожно. Экстремальные значения убытков заданного 90 %-ного ДИ могут оказаться нереалистичными, если верхний предел во много раз превысит нижний. Так происходит, когда эксперт, оценивающий значение, ошибочно решает, что верхний предел представляет собой наихудший вариант, а это не так. Верхний предел 90 %-ного доверительного интервала допускает с вероятностью 5 %, что значение будет больше. Экстремальные результаты также чувствительны к нижнему пределу. Если 90 %-ный ДИ составляет от 10 000 до 1 млн долл., то верхний предел оказывается в 100 раз больше нижнего. В этом случае существует вероятность 1 %, что убытки в 2,6 раза превысят заявленный верхний предел (составят 2,6 млн долл.). Если же 90 %-ный ДИ составляет от 1000 до 10 млн долл., то убытки с вероятностью 1 % будут больше верхнего предела более чем в 6,7 раза (67 млн долл.).

Если числа кажутся слишком большими, измените ширину диапазона или просто ограничьте сгенерированное значение некоторым максимумом. При желании обозначить, что 10 млн долл. – это максимальный убыток, можно использовать функцию =МИН(убытки;10000000), чтобы в результате получить наименьшую сумму из убытков или 10 млн долл.

В приложении А представлены и другие распределения, более подходящие для решения тех или иных типов проблем. Там же указаны формулы Excel для распределений с описанием, когда уместно применять каждое из них. Позже мы еще затронем тему выбора распределения.

Суммирование рисков

Для большого количества событий и воздействий можно составить таблицу наподобие табл. 3.2, чтобы смоделировать все убытки для всех событий (пример можно скачать с сайта www.howtomeasureanything.com/cybersecurity).

В приведенном примере интерес представляет общая сумма убытков: 23 345 193 долл. Теперь остается лишь провести еще несколько тысяч испытаний, чтобы увидеть, каким будет распределение убытков. Каждый раз при пересчете таблицы в итоговой сумме будет появляться новое значение (если вы работаете в MS Office на ПК, то команда «пересчитать» должна запускаться нажатием клавиши F9). Если бы вы сумели каким-то образом записать каждый такой результат нескольких тысяч испытаний, то получили бы итог симуляции по методу Монте-Карло.

Таблица 3.2. Пример наступления события риска кибербезопасности, выполненный в Excel

В Excel это проще всего сделать с помощью таблицы данных инструмента «Анализ „что если“». Можно запускать сколько угодно испытаний и видеть результаты каждого, и при этом не придется тысячи раз копировать табл. 3.2. Таблица данных позволяет пользователю Excel увидеть, как будет выглядеть серия ответов в формуле, если менять по одному параметру за раз. Например, у вас есть очень большая электронная таблица для расчета пенсионного дохода, включающая текущие нормы сбережений, рост рынка и ряд других факторов. Возможно, вы захотите посмотреть, как изменится оценка продолжительности проекта, если менять размер ежемесячных сбережений со 100 до 5000 долл. с шагом в 100 долл. В таблице данных автоматически отобразятся все результаты, как если бы вы вручную каждый раз самостоятельно изменяли этот один параметр и записывали результат. Этот метод применяется в электронной таблице, которую можно скачать с сайта www.howtomeasureanything.com/cybersecurity.

Таблица 3.3. Таблица данных Excel, показывающая 10 000 сценариев убытков из-за нарушения кибербезопасности

Чтобы узнать больше о таблицах данных в целом, изучите основы на страницах справки в Excel, но нами используется немного измененный вариант таблицы-образца. Обычно требуется ввести значение в поле «Подставлять значения по столбцам в» или в поле «Подставлять значения по строкам в» (в нашем случае можно было бы использовать только поле «Подставлять значения по столбцам в»), чтобы указать, какое значение таблицы данных будет многократно меняться для получения различных результатов. В данном же примере не требуется определять, какие входные данные менять, потому что у нас уже есть функция СЛЧИС(), меняющая значение каждый раз при пересчете. Таким образом, наши входные значения – просто произвольные числа, отсчитываемые от 1 до количества сценариев, которое мы хотим запустить.

Существует важный момент, касающийся количества испытаний при моделировании событий нарушения кибербезопасности. Нам часто приходится иметь дело с редкими, но обладающими большим воздействием событиями. Если вероятность события составляет всего 1 % в год, то 10 000 тестов в большинстве случаев приведут к 100 таким событиям за указанный срок, но этот показатель может немного варьироваться. При данном количестве испытаний он может произвольно варьироваться от ровно 100 (точно так же, как при подбрасывании монетки из 100 раз не обязательно выпадет ровно 50 орлов). В этом случае результат будет находиться между 84 и 116 примерно в 90 % случаев.

Теперь для каждого из случаев, когда происходит событие, нужно смоделировать убытки. Если у убытков длинный хвост, то при каждом запуске симуляции по методу Монте-Карло могут наблюдаться значительные отличия. Под длинным хвостом имеется в виду, что, вполне возможно, убытки будут больше среднего. Например, у нас может быть распределение убытков, где наиболее вероятным исходом являются убытки в 100 000 долл., но существует 1 %-ная вероятность крупных убытков (50 млн долл. или более). Однопроцентный наихудший сценарий в риске, вероятность которого всего лишь 1 % в год, – это, прежде всего, ситуация, которая может произойти с вероятностью 1/100 × 1/100, или 1: 10 000 в год. И поскольку 10 000 является заданным количеством тестов, то в какой-то симуляции это наихудшее событие может произойти один или несколько раз за 10 000 испытаний, а в какой-то может не произойти ни разу. Это значит, что каждый раз при запуске симуляции по методу Монте-Карло можно наблюдать, что среднее общее значение убытков немного меняется.

Самым простым решением здесь для специалиста, использующего метод Монте-Карло, которому не хочется слишком утруждаться, станет проведение большего числа испытаний. Разброс значений от симуляции к симуляции уменьшится, если провести 100 000 тестов или 1 млн. Вы удивитесь, как мало времени это занимает в Excel на достаточно быстром компьютере. У нас заняло несколько секунд проведение 100 000 тестов, так что затрачиваемое время не кажется серьезным ограничением. Мы даже выполнили в старом добром Excel миллион сценариев с несколькими крупными вычислениями, и на это потребовалось не более 15 минут. Однако, по мере того как события становятся все более редкими и значимыми, применяются более эффективные методы, чем увеличение числа испытаний в разы. Но пока не будем усложнять задачу и просто бросим дешевые вычислительные мощности на решение проблемы.

Теперь у нас есть способ генерации тысяч результатов в симуляции по методу Монте-Карло с помощью стандартного Excel (без каких-либо надстроек или кода Visual Basic для выполнения расчетов). Учитывая, насколько широко используется Excel, почти наверняка у любого аналитика из сферы кибербезопасности есть инструменты для его применения. А полученные данные можно использовать для другого важного элемента анализа риска – количественной визуализации риска.

Визуализация риска

Популярность матриц рисков, знакомых каждому, кто занимается кибербезопасностью, объясняется тем, что они доступно иллюстрируют вероятности и воздействия на одной схеме. В предложенном нами несложном решении шкала для вероятности заменена вероятностью в явном виде, а для воздействия – 90 %-ным ДИ, представляющим диапазон потенциальных убытков.

В нашем варианте вертикальная ось по-прежнему может быть представлена одной точкой – только вероятностью, а не балльной оценкой, зато воздействие теперь представлено более чем одной точкой. Заявляя, что вероятность наступления события составляет 5 %, мы не можем утверждать, что его воздействие составит ровно 10 млн долл. На деле существует вероятность 5 %, что у нас будут некоторые убытки, при этом есть 2 %-ная вероятность потерять больше 5 млн долл., вероятность потери более 15 млн долл. составляет 1 % и т. д.

Такой объем информации невозможно отобразить простой точкой на двухмерной диаграмме. Но можно представить его с помощью графика, называемого кривой вероятности превышения потерь. Нам не требуется заново изобретать велосипед (хотя риск-менеджеры во многих отраслях регулярно именно этим и занимаются), ведь эту концепцию также используют в оценке риска финансового портфеля, актуарной науке, в так называемой вероятностной оценке риска в ядерной энергетике и других технических науках. Наименование может меняться в зависимости от области: где-то это будет «вероятность превышения», а где-то «дополнительная функция кумулятивных вероятностей». На рис. 3.2 показан пример кривой вероятности превышения потерь.

Рис. 3.2. Пример кривой вероятности превышения потерь

Пояснение элементов кривой вероятности превышения потерь

На рис. 3.2 показана вероятность того, что данная сумма будет потеряна за некоторый период времени (например, год) из-за определенной категории рисков. Подобную кривую можно полностью построить на основе информации, полученной в предыдущем примере таблицы данных (табл. 3.3). Строить такие кривые риска можно как для конкретной уязвимости, так и для системы, структурной единицы или предприятия. По кривой вероятности превышения потерь хорошо видно, какой диапазон убытков возможен (а не просто точечное значение), а еще что бóльшие потери менее вероятны, чем меньшие. В примере на рис. 3.2 (который, судя по размерам сумм, вероятно, описывает риски в области кибербезопасности на уровне всего предприятия, причем весьма крупного) существует вероятность 40 %, что убытки составят 10 млн долл. в год или больше, а также вероятность примерно 15 % потерять 100 млн долл. или больше. Для удобства отображения более широкого диапазона потерь на горизонтальной оси используется логарифмическая шкала, но это лишь вопрос предпочтений, годится и линейная.

Рис. 3.3. Неотъемлемый риск, остаточный риск и рискоустойчивость

Кроме того, можно создать еще один вариант этого графика, добавив пару кривых. На рис. 3.3 показаны три кривые: неотъемлемый риск, остаточный риск и рискоустойчивость. Сопоставление неотъемлемого и остаточного рисков распространено в сфере кибербезопасности для представления рисков до применения предлагаемых средств контроля (т. е. методов снижения рисков) и после применения средств контроля соответственно. Неотъемлемый риск, однако, не обязательно означает полное отсутствие контроля, поскольку такой вариант невозможен в реальности. Скорее его можно определить как риск, включающий только минимально необходимые средства контроля, т. е. те, исключение которых равносильно небрежности, и, следовательно, вопрос о целесообразности их применения не стоит вовсе. Различие между неотъемлемыми и остаточными рисками составляет истинно произвольный контроль – такие виды контроля, исключение которых можно считать разумным. Примерами минимальных средств контроля могут быть защита с помощью пароля, системы сетевой защиты, некоторая регулярность обновления патчей, ограничение определенных видов доступа к учетным записям администраторов и т. д. Организация может составить собственный список минимальных средств контроля. Если средство контроля считается необходимым минимумом, то не возникает проблема выбора. А раз нет проблемы выбора, то информация не несет ценности для анализа решений. Поэтому лучше сосредоточить внимание на средствах контроля в тех случаях, когда разумны оба варианта: использовать и не использовать.

Кривая вероятности превышения потерь предоставляет простой и удобный визуальный способ сравнения риска с рискоустойчивостью, которую тоже можно однозначно и количественно выразить в виде кривой вероятности превышения потерь. На рис. 3.3 можно заметить, что часть кривой неотъемлемого риска (показана более жирной линией) находится выше кривой рискоустойчивости (показана пунктирной линией). Принято говорить, что эта часть кривой неотъемлемого риска «нарушает» или «ломает» рискоустойчивость. Кривая остаточного риска, с другой стороны, всегда находится на уровне кривой рискоустойчивости или под ней. И в таком случае говорят, что кривая рискоустойчивости «стохастически доминирует» над кривой остаточного риска. Это означает, что остаточный риск является приемлемым. Далее мы расскажем, как можно с легкостью определить кривую рискоустойчивости, но сначала опишем, как получить остальные кривые с помощью приведенной ранее симуляции по методу Монте-Карло.

Генерирование кривых вероятности превышения потерь для неотъемлемых и остаточных рисков

Помните, что, как и в случае с другими методами, используемыми в этой главе, все технические детали отражены в доступных для скачивания электронных таблицах на упомянутом выше сайте.

Как видно из табл. 3.4, у гистограммы имеется два столбца. В первом столбце указаны суммы убытков, соответствующие значениям на горизонтальной оси для кривой вероятности превышения потерь. Во втором столбце указан процент результатов симуляции по методу Монте-Карло, которые дали значение, равное или большее, чем сумма в первом столбце. Самый простой метод получить эти значения вероятностей – применить функцию СЧЁТЕСЛИ в Excel. Если обозначить все данные второго столбца табл. 3.3 как «Результаты Монте-Карло», а под «Убытками» понимать каждую ячейку столбца убытков в гистограмме, находящуюся напротив соответствующей ячейки с расчетом вероятности, то формула этого самого расчета будет иметь следующий вид:

= СЧЁТЕСЛИ(Результаты Монте-Карло;">"&Убытки)/10000

Функция СЧЁТЕСЛИ действует согласно своему названию. Она подсчитывает количество значений в определенном диапазоне, которые удовлетворяют заданному условию. Если функция СЧЁТЕСЛИ возвращает 8840 для данного диапазона и ячейки «Убытки» с суммой 2 млн долл., это означает, что в диапазоне находятся 8840 значений, превышающих 2 млн долл. Деление результата функции на количество тестов в симуляции Монте-Карло (10 000 в нашем примере) позволяет преобразовать его в значение между 0 и 1 (0 и 100 %). По мере применения формулы к все более и более крупным значениям в столбце убытков процент значений в симуляции, превышающих этот уровень убытков, будет уменьшаться.

Таблица 3.4. Гистограмма для кривой вероятности превышения потерь

Теперь просто создадим по этим двум столбцам точечную (X,Y) диаграмму в Excel. Если хотите, чтобы она выглядела так же, как показанная выше кривая вероятности превышения потерь, нужно выбрать тип диаграммы с гладкими кривыми и без маркеров для точки. Именно этот тип диаграмм используется в электронной таблице с сайта. Дополнительные кривые можно добавить, вставив еще столбцы данных. Скажем, создание кривой остаточного риска представляет собой аналогичную процедуру, но основанную на оценках вероятности и воздействия (которые, предположительно, будут меньше) после реализации предложенных дополнительных средств контроля.

Один из недостатков диаграммы с кривыми вероятности превышения потерь заключается в том, что изображение становится перегруженным при наличии множества таких кривых. В типичной матрице рисков каждый риск показан как одна точка (хотя и крайне нереалистичная и двусмысленная точка), а кривая вероятности превышения потерь отображается как линия. Вот почему одна из организаций, составив диаграмму с большим количеством кривых вероятности превышения потерь, назвала ее диаграммой спагетти. Однако с этим недостатком легко справиться, просто создав отдельные диаграммы для различных категорий. Кроме того, поскольку кривые вероятности превышения потерь всегда можно объединить математически, то возможно создание комплексных диаграмм кривых вероятности превышения потерь, где каждая кривая будет раскладываться на несколько других, показанных на отдельной подробной диаграмме. Это еще одно ключевое преимущество использования такого инструмента, как кривые вероятности превышения потерь, для передачи информации о рисках. На сайте книги доступна электронная таблица, демонстрирующая, как это делается.

Теперь сравните эту возможность комплексного сравнения с популярными подходами в оценке рисков кибербезопасности. Типичный подход «низкий/средний/высокий» недостаточно конкретен, чтобы можно было сказать, что «семь низких значений и два средних рискованнее, чем одно высокое» или «девять низких значений в сумме дают одно среднее», но это позволяет сделать кривая вероятности превышения потерь. И еще следует подчеркнуть, что высокая неоднозначность метода «низкий/средний/высокий» никоим образом не избавляет аналитика от необходимости задумываться о подобных вещах. Просто с матрицей рисков он вынужден воспринимать риски гораздо более неоднозначно.

Для построения обобщенной кривой необходимо для начала создать еще одну таблицу, подобную табл. 3.3, но в которой каждое значение будет являться суммой нескольких смоделированных категорий рисков, а затем на ее основе сделать таблицу, аналогичную табл. 3.4. Опять же, в качестве примера у нас есть электронная таблица, доступная для скачивания на сайте www.howtomeasureanything.com/cybersecurity. Порядок действий при этом следующий: проводится еще 10 000 тестов всех рисков, общее влияние которых нас интересует, и к их сумме применяется процедура построения кривой вероятности превышения потерь. Может показаться, что достаточно было бы просто взять отдельно составленные таблицы, такие как табл. 3.3, сложить количество значений, подпадающих под условия соответствующей ячейки с расчетом процента, и получилась бы обобщенная кривая. Но нет, полученные результаты будут неверны, за исключением случаев, когда риски идеально коррелируют (опустим подробности, почему так происходит, но, немного поэкспериментировав, вы сами в этом убедитесь, если захотите увидеть разницу между двумя процессами).

Придерживаясь этого метода, можно увидеть риски системы при нескольких уязвимостях, риски структурного подразделения от нескольких систем и риски в масштабах предприятия для всех структурных подразделений.

Откуда берется кривая рискоустойчивости?

В идеале информация для кривой рискоустойчивости собирается на встрече с руководителями, обладающими компетенцией заявлять, насколько большой риск организация готова принять в соответствии с ее политикой. Хаббарду доводилось формировать кривые рискоустойчивости различных типов (кривая вероятности превышения потерь – лишь один из видов количественной оценки рискоустойчивости) для множества организаций, в том числе с целью определения рискоустойчивости ряда приложений обеспечения кибербезопасности. Такая встреча обычно длится около полутора часов. Предполагается, что в ходе нее вы просто объясняете саму концепцию руководству, а затем просите их установить несколько точек на кривой. Также в процессе необходимо определить, какая именно кривая рискоустойчивости вас интересует (например, ежегодный риск для отдельной системы, риск на десятилетие для всего предприятия и т. д.). Как только суть дела объяснена, можно начинать задавать вопросы, оттолкнувшись от какой-то произвольной точки.

Аналитик: Согласны ли вы принять вероятность десять процентов того, что в год из-за рисков кибербезопасности убытки составят более пяти миллионов долларов?

Руководитель: По-моему, лучше бы обойтись вообще без рисков.

Аналитик: По-моему, тоже, но сейчас вы уже рискуете во многих областях. Очевидно, что, сколько ни вкладывай в снижение рисков, полностью они не исчезнут.

Руководитель: Верно. Полагаю, я могу согласиться с вероятностью десять процентов, что убытки составят пять миллионов долларов или более.

Аналитик: Как насчет вероятности двадцать процентов потерять более пяти миллионов долларов в год?

Руководитель: Кажется, это перебор. Давайте остановимся на десяти процентах.

Аналитик: Отлично, тогда десять процентов. Итак, какую вероятность гораздо бóльших убытков, например пятьдесят миллионов долларов или больше, вы готовы назвать? Может быть, хотя бы один процент?

Руководитель: Полагаю, я не люблю рисковать. Считаю допустимой однопроцентную вероятность для убытков в размере двадцать пять миллионов долларов или более за год…

И так далее. Отметив три или четыре точки, можно интерполировать остальные и передать результат руководству на окончательное утверждение. Технически процесс не сложный, но важно знать, как реагировать на некоторые потенциальные вопросы или возражения. Кто-то из руководителей может указать, что процедура кажется весьма абстрактной. В таком случае стоит привести примеры из практики их компании или других предприятий, касающиеся выбранных убытков и того, как часто они возникают.

Кроме того, некоторые предпочитают рассматривать кривую только в рамках определенного бюджета на кибербезопасность, от них можно услышать что-то вроде «приемлемость данного риска зависит от того, во сколько нам обойдутся меры по его предотвращению». Подобное беспокойство вполне разумно. Если руководство готово уделить вам больше времени, можно задать рискоустойчивость при различных уровнях расходов на предотвращение рисков. Есть даже способы нахождения оптимального соотношения риска и отдачи (подробнее об этом читайте в первой книге Хаббарда «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе»). Однако большинство, похоже, готовы рассмотреть идею о том, что существует максимально приемлемый риск. Именно его мы и пытаемся определить.

Стоит также отметить, что авторы множество раз обсуждали с руководителями организаций кривые рискоустойчивости как в области кибербезопасности, так и в других областях. Если вы переживаете, что начальство ничего не поймет, можем вас заверить: мы с таким ни разу не сталкивались. Даже когда нас уверяли, что начальник в этом не разбирается. На самом деле руководители, похоже, осознают необходимость определения уровня приемлемых рисков не хуже других специалистов в области кибербезопасности. Мы еще вернемся к данной теме в главе 5, когда будем обсуждать различные иллюзорные препятствия для применения количественных методов.

Поддержка решения: рентабельность смягчения последствий

В конечном счете смысл анализа рисков – даже с матрицей рисков, которую мы заменяем, – это поддержка решений. Однако проблема, с которой мы сталкивались раньше, заключалась в принятии конкретных решений по распределению ресурсов для конкретных средств управления. Во сколько обойдется, в конце концов, перевести один «высокий» риск в «средний»? Будет ли это стоить нам 5000 долл. или 5 млн? А что, если наш бюджет на кибербезопасность составляет 8 млн долл. и при этом у нас 80 «низких», 30 «средних» и 15 «высоких» рисков? А если за одну и ту же сумму можно смягчить последствия или нескольких «низких» рисков, или одного «среднего»? Если вам доводилось слышать (авторам вот доводилось) вопросы вроде «если потратить еще миллион долларов, удастся ли перевести этот риск из красной зоны в желтую?», то, возможно, такой подход к проблеме вызывал бы у вас раздражение. Когда руководителю отдела информационной безопасности приходится принимать решения о распределении средств на практике, очевидно, что от традиционной матрицы рисков помощи мало. Может показаться, что реально справиться и вовсе без этих методов. Однако, как будет показано далее, одной из ошибок руководителей отделов информационной безопасности является убеждение, что они примут верные решения, полагаясь только на свою экспертную интуицию.

Руководителю отдела информационной безопасности необходимы расчеты «рентабельности средств контроля», представляющей собой отношение снижения ожидаемых убытков в денежном выражении к стоимости средств контроля. Если рассматривать только выгоду в течение одного года (и игнорировать прочие соображения об изменении стоимости со временем), формула может быть такой:

Термин «ожидаемый» в контексте проектных расчетов обычно относится к средневзвешенному по вероятности значению некоторой суммы. Таким образом, ожидаемые убытки – это среднее значение убытков в симуляции по методу Монте-Карло, связанное с конкретной причиной. Если применить средства контроля для снижения рисков, а затем смоделировать новый набор убытков, среднее значение этих убытков станет меньше (за счет уменьшения вероятности любого из убытков, или уменьшения воздействия от наступления события, влекущего за собой убытки, или и того и другого). Разница убытков до и после применения средств контроля – это и есть параметр «снижение ожидаемых убытков» в формуле выше. Если снижение ожидаемых убытков равно затратам, то, согласно формуле, рентабельность средств контроля составит 0 %. Это верно и для других форм инвестиций.

Также необходимо будет определить, в течение какого периода времени ожидается снижение убытков. Если средства контроля – это текущие расходы, которые можно начать и прекратить в любое время, то приведенная выше формула будет применяться к годовой выгоде (снижению убытков) и годовым затратам. Если же средства контроля – разовая инвестиция, выгода от которой может проявляться в течение длительного периода времени, то следует придерживаться финансовых правил компании, касающихся капиталовложений. Вероятно, при этом надо будет рассчитать выгоду как текущую стоимость потока инвестиций при заданной ставке дисконтирования. Или потребуется подготовить внутреннюю норму рентабельности. Мы не будем уделять этому внимание, но существуют несложные финансовые расчеты, которые, опять же, можно выполнить с помощью одних лишь простых функций в редакторе Excel.

Необходимо соблюдать осторожность, если планируется раскладывать простой диапазон воздействия на множество переменных, используемых для его расчета. В показанном ранее примере вычисление ожидаемых потерь требует очень простых подсчетов: достаточно умножить рассчитанное среднее значение распределения воздействия на вероятность наступления события (электронная таблица, представленная на сайте, сделает это за вас). Однако если разложить воздействие на множество компонентов, которые необходимо перемножить (например, количество взломанных учетных записей умножить на стоимость одной записи, продолжительность отключения умножить на количество пострадавших людей и умножить на стоимость одного человека в час и т. д.), то работа со средними значениями уже не даст разумную оценку. Фактически придется запускать отдельную симуляцию для каждой строки. Но в нашей простейшей модели пока можно об этом не задумываться. По мере совершенствования модели мы сможем вносить в нее больше деталей. В последующих главах будут описаны способы развития модели через добавление элементов, постепенно повышающих ее реалистичность.

Куда двигаться дальше

Существует множество моделей, которые аналитики в сфере кибербезопасности могли бы использовать для определения текущего состояния неопределенности. Можно просто оценить вероятность и воздействие напрямую, без дальнейшего разложения. Можно разработать метод моделирования, определяющий, как изменяются вероятность и воздействие в зависимости от типов угроз, возможностей угроз, уязвимостей или характеристик систем. Можно перечислить приложения и оценить риск для каждого из них либо перечислить средства контроля и оценить риски, на предотвращение которых направлено каждое средство.

В конечном счете нам неважно, какая стратегия моделирования будет выбрана вами, а вот что требует обсуждения, так это вопрос, как следует оценивать различные стратегии. Если появится достаточно информации, чтобы все компании могли обоснованно принять единый, унифицированный метод моделирования, тогда так и нужно будет поступить. До тех пор следует позволить компаниям использовать различные подходы к моделированию, тщательно оценивая при этом относительную эффективность выбранных методов.

Начать можно с применения каких-либо существующих готовых решений для разложения рисков. Помимо методов, продвигаемых Хаббардом, эти решения включают в себя методологию и инструменты, используемые в подходе FAIR (factor analysis of information risk – факторный анализ информационных рисков), разработанном Джеком Джонсом и Джеком Фройндом^2. По мнению авторов, FAIR как еще одно решение, основанное на методе Монте-Карло, но предлагающее собственный вариант разложения рисков на дальнейшие компоненты, вполне подходит для того, чтобы помочь компании сделать первый шаг в верном направлении. Также можно добиться довольно многого с помощью простых инструментов, с которыми мы уже вас познакомили (и еще познакомим в следующих главах). Читатели, обладающие хотя бы базовыми знаниями в области программирования, математики или финансов, запросто смогут привнести что-то свое. Таким образом, большинство читателей смогут развить описанные инструменты, как посчитают нужным. А те, кто заинтересуется, смогут найти на нашем сайте дополнительные инструменты для отдельных разбираемых вопросов, например для использования языков программирования R и Python. Однако поскольку все, что мы делаем в этой книге, можно полностью выполнить в Excel, применять дополнительные инструменты не обязательно.

Пока что разобранный в этой главе метод все еще является лишь очень простым решением, основанным на экспертном суждении. Про обновление нашей первоначальной модели данными с использованием статистических методов мы расскажем далее. Тем не менее даже на этом этапе видны преимущества предлагаемого метода по сравнению с матрицей рисков. Он позволяет фиксировать более подробную информацию о знаниях эксперта по кибербезопасности и дает доступ к более мощным аналитическим инструментам. При желании даже сейчас можно было бы сделать что угодно из перечисленного ниже (или все).

• Как уже упоминалось, можно разложить воздействие на отдельные оценки различных видов затрат: юридические, устранение последствий, перебои в работе системы, затраты на пиар и т. д. Каждый вид может являться функцией известных ограничений, таких как количество сотрудников, или бизнес-процесс, на который повлияло отключение системы, или количество учетных записей в системе, которые могут быть скомпрометированы в случае взлома. Это позволит эффективно использовать знания компании о подробностях работы ее систем.

• Можно установить взаимосвязь между событиями. Например, специалист по кибербезопасности может знать, что если произойдет событие X, то событие Y станет гораздо более вероятным. Опять же, это позволит применить знания, которые в менее количественном методе невозможно было бы использовать напрямую.

• Там, где это возможно, о некоторых вероятностях и воздействиях можно сделать вывод по известным данным с использованием надлежащих статистических методов. Мы знаем, как скорректировать состояние неопределенности, описанное в этом методе, с помощью новых данных и математически обоснованных методов.

• Эти результаты можно надлежащим образом «суммировать», чтобы определить совокупные риски для целых комплексов систем, структурных подразделений или компаний.

Подробнее о каждом из перечисленных усовершенствований будет рассказано далее, а здесь лишь продемонстрировано, как выглядит простая замена «один на один». Теперь можно перейти к альтернативным методам оценки риска. Как выбрать самый подходящий из всех методов, с которых можно было бы начать в нашей простой модели, и тех, которые можно было бы к ней добавить? Или, если уж на то пошло, как узнать, что метод вообще работает?

Примечания

1. Станислав Улам. Приключения математика. – Ижевск: НИЦ «Регулярная и хаотическая динамика», 2001. – 272 с.

2. Jack Freund and Jack Jones, Measuring and Managing Information Risk: A FAIR Approach (Waltham, MA: Butterworth-Heinemann, 2014).

Глава 4. Самое важное измерение в области кибербезопасности

Надеемся, что из главы 2 вы уяснили, как применяется термин «измерение» в науке о принятии решений и в эмпирических науках в целом. На наш взгляд, это наиболее подходящая трактовка измерения для сферы кибербезопасности. В главе 3 вы познакомились с простейшим уровнем количественного анализа рисков. Еще многое предстоит рассказать об особенностях методов измерения, но пока мы предлагаем выбрать первой целью измерений сам анализ рисков.

Авторы знакомы с самыми разными экспертами, которые активно защищают свои точки зрения на относительные достоинства различных методов оценки риска в сфере кибербезопасности. Мы вывели простое наблюдение, что обе стороны с полярно противоположными позициями часто получают аргументы в свою поддержку от высококвалифицированных специалистов с многолетним опытом работы в сфере кибербезопасности. Один компетентный эксперт, к примеру, будет утверждать, что конкретная система, основанная на качественной оценке, повышает эффективность принятия решений, позволяет добиться консенсуса и избежать проблем, возникающих при более количественных методах. Другой столь же квалифицированный эксперт будет настаивать, что это иллюзия и что такие методы просто «неправильно считают». Так как известно, что по крайней мере один из них (или оба) должен быть не прав, значит, квалификации и опыта в области кибербезопасности недостаточно, чтобы определить, является ли конкретное мнение на определенную тему верным.

Это подводит нас к нескольким сложным вопросам. Как решить, какие методы эффективнее? Могут ли методы анализа рисков, которыми специалисты по кибербезопасности пользовались десятилетиями и в которых они весьма уверены, на самом деле не работать? Возможно ли, что предполагаемые преимущества широко используемых инструментов – иллюзия? Что вообще подразумевается, когда говорят, что метод «работает», и как это можно измерить? Нам кажется, что самое важное измерение при оценке риска кибербезопасности, да и любой другой оценке риска – измерение того, насколько хорошо работают сами методы оценки рисков.

Если задуматься, то имеет ли вообще значение, работает анализ рисков или нет? И подразумевается ли под «работает», что он лишь внешне соответствует своему названию или же что он и правда улучшает процесс распознавания рисков и управления ими? Мы будем придерживаться позиции, которую считаем очевидной и которая не должна вызывать споров.

• Важно, чтобы анализ рисков работал на самом деле.

• Под «работает» мы имеем в виду, что он измеримо снижает риски по сравнению с альтернативными методами при тех же ресурсах. То есть, по нашему мнению, анализ рисков в любой области, включая кибербезопасность, это не просто бутафория ради галочки.

• Регуляторы и организации по стандартизации должны сделать так, чтобы измеряемая производительность методов являлась ключевой характеристикой их соответствия предъявляемым требованиям. Если соблюдение стандартов и правил в действительности не способствует повышению эффективности управления рисками, то такие стандарты и правила нужно менять.

• Также нам кажется, что мы вправе сказать, что для урегулирования вопроса со множеством противоречивых мнений экспертов всех уровней необходимо начать измерять, насколько хорошо работают методы анализа рисков.

• Мы твердо убеждены, что использование компаниями методов анализа рисков кибербезопасности, которые не могут показать измеримое улучшение качества оценки рисков или, что еще хуже, снижают его, и есть самый большой риск в кибербезопасности, а повышение эффективности оценки рисков является наиболее важным приоритетом в управлении рисками.

Измерение самих методов лежит в основе всех рекомендаций в данной книге. Нами предлагаются либо методы анализа рисков на основе уже проведенных и опубликованных измерений, либо, если подобные измерения не проводились, способы, позволяющие определить действенный метод. И кстати, описывая, как измерить относительную эффективность методов, неплохо бы также объяснить, как ее измерять не следует.

К концу данной главы вы увидите, что в опубликованных исследованиях уже представлены измерения ключевых элементов количественных методов, предложенных в главе 3. В следующей же главе описано исследование, показывающее, что компоненты популярных в настоящее время методов оценки рисков могут принести больше вреда, чем пользы. А теперь давайте рассмотрим, почему методы должны прежде всего обосновываться исследованиями, а не мнениями экспертов.

Аналитическое плацебо: почему нельзя доверять только мнению

Главный принцип – не дурачить самого себя. А себя как раз легче всего одурачить.

Ричард Филлипс Фейнман (1918–1988), лауреат Нобелевской премии по физике

Порой можно услышать, что тот или иной метод «проверен» и является «лучшей практикой». Метод могут расхваливать, называя «строгим» и «формальным», и подразумевается, будто этого достаточно, чтобы полагать, что он повышает качество оценки и решений. В конечном итоге метод получает звание «принятого стандарта», а некоторые довольные пользователи даже приводят свидетельства его эффективности.

Как часто эти утверждения основаны на реальных измерениях эффективности метода? Вряд ли кто-то проводил крупные клинические испытания с тестовыми и контрольными группами. Оценки редко сравниваются с фактическими результатами, а нарушения кибербезопасности, которые особенно дорого обходятся организациям, почти никогда не отслеживаются на большом количестве примеров, чтобы увидеть, действительно ли риск изменяется в зависимости от того, какие методы оценки риска и принятия решений используются. К сожалению, звание «лучшей практики» не означает, что метод был измерен и получил научное обоснование его превосходства над множеством других практик. Как говорил Фейнман, нас легко одурачить. Видимые улучшения могут оказаться всего лишь миражом. Даже если метод приносит больше вреда, чем пользы, люди все равно могут искренне считать, что видят его преимущества.

Как такое возможно? Виновато «аналитическое плацебо» – ощущение, что некоторые методы анализа повысили качество решений и оценок, даже если это не так. Аналогия с плацебо и его ролью в медицинских исследованиях на самом деле слишком мягкая. В медицине плацебо и правда может давать положительный физиологический эффект, а не просто дарить ощущение полезности. Однако, используя термин в данном контексте, мы имеем в виду, что в буквальном смысле нет никакой пользы, а только одно ее ощущение. В областях, не относящихся к кибербезопасности, проводились исследования, показавшие, что чем больше усилий тратилось на анализ, тем выше была уверенность в его эффективности, даже если фактически она не повышалась совсем. Вот несколько таких примеров, также упоминавшихся в других книгах Хаббарда.

• Спортивные прогнозы. В исследовании, проведенном в 2008 году в Чикагском университете, отслеживалась вероятность исходов спортивных событий, которые определяли участники испытания, исходя из получаемых объемов информации о командах, но при этом не сообщались названия команд или имена игроков. По мере того как участникам выдавалось больше информации о командах в конкретной игре, повышалась их уверенность в том, что они выбирают победителя, даже несмотря на то что реальная вероятность выбора победителя оставалась почти неизменной независимо от количества полученной информации^1.

• Психологическая диагностика. Другое исследование показало, что практикующие клинические психологи становятся увереннее в поставленном диагнозе и в прогнозах различных видов рискованного поведения, когда собирают больше информации о пациентах. И опять же процент соответствия прогнозов наблюдаемым результатам поведения на самом деле не повышался^2.

• Инвестиции. Пол Андреассен, психолог-исследователь из Массачусетского технологического института, в 1980-х годах провел несколько экспериментов, показавших, что сбор большего количества сведений об акциях в инвестиционных портфелях повышал уверенность испытуемого, но не способствовал повышению доходности портфеля. В одном из исследований он продемонстрировал, что люди склонны слишком остро реагировать на новости и считать дополнительные сведения информативными, даже если в среднем доходность в результате не повышается^3.

• Сотрудничество в спортивных прогнозах. Еще одно исследование предполагало сотрудничество спортивных болельщиков друг с другом для повышения точности прогнозов. И снова после совместной работы повышалась уверенность, но не фактические показатели. Более того, участники редко вообще меняли мнение, сформировавшееся еще до совместного обсуждения. Прямым следствием сотрудничества было стремление получить подтверждение тому решению, которое участники уже приняли^4.

• Сотрудничество при обсуждении интересных фактов. В другом исследовании, посвященном изучению пользы сотрудничества, испытуемых просили дать ответы на вопросы на общую эрудицию, подобные вопросам из «Своей игры» (Jeopardy). Исследователи рассматривали многочисленные формы взаимодействия, в том числе дельфийский метод, свободное обсуждение и прочие методы сотрудничества. Несмотря на то что взаимодействие не улучшило оценки по сравнению с простым усреднением индивидуальных оценок, испытуемые действительно чувствовали большее удовлетворение от его результатов^5.

• Определение лжи. В исследовании 1999 года измерялась способность испытуемых обнаруживать ложь в контролируемых тестах с использованием видеозаписи инсценированных допросов «подозреваемых». Актеры в роли подозреваемых должны были скрывать определенные факты о «преступлениях» и демонстрировать явную нервозность по поводу того, что их раскроют. Некоторых испытуемых, просматривавших видеозаписи, обучали распознавать ложь, а других – нет. Обученные испытуемые были более уверены в суждениях о распознавании лжи, хотя на деле распознавали ложь хуже, чем необученные^6.

И это лишь несколько из множества подобных исследований, показывающих, что можно обучаться, собирать информацию, сотрудничать с другими людьми и это повысит уверенность в суждениях, но не фактическую эффективность оценки. Конечно, эти примеры относятся к проблемам решения совершенно иных типов задач. Но почему предполагается, что сходные проблемы не свойственны вопросам кибербезопасности? В фармацевтической промышленности новый препарат фактически считают плацебо, пока не будет доказана его эффективность. Тот факт, что плацебо существует в одних областях, означает, что оно может существовать и в других, если только данные не показывают обратного. Глядя на примеры проблем в таких разных областях, как инвестиции, скачки, футбольные матчи и диагностика пациентов в психологии, кажется, что бремя доказывания должно лежать на человеке, утверждающем, что в какой-то другой области, например кибербезопасности, можно избежать этих проблем. Так что давайте остановимся на предположении, что для сферы кибербезопасности характерны те же проблемы, что наблюдаются во многих других областях, где людям приходится выносить суждения.

Мы определенно не будем при измерении эффективности различных методов полагаться на заявления экспертов, независимо от того, каким уровнем знаний, по их мнению, они обладают и насколько громко о себе заявляют. И поэтому, хотя мы можем вполне обоснованно сказать, что обладаем большим опытом в области кибербезопасности (Сирсен) и количественного анализа рисков в целом (Хаббард), мы не будем полагаться на свой авторитет, говоря о том, что работает, а что – нет (а подобный недостаток, кажется, имеется у многих книг по управлению рисками и информационной безопасности). Наши аргументы будут основаны на опубликованных результатах крупных экспериментов. Любое упоминание случаев из жизни или цитирование лидеров мнений будет приводиться только для иллюстрации точки зрения, но не в качестве ее доказательства.

Бесспорно, что аргументы и доказательства – это способ получения достоверных выводов о реальности. Под «аргументами» нами понимается использование математики и логики для получения новых утверждений из предыдущих подтвержденных заявлений. К «доказательствам», на наш взгляд, не относятся случаи из жизни или доводы свидетелей (любой метод, включая астрологию и экстрасенсорное общение с животными, способен генерировать подобные «доказательства»). Лучшими источниками доказательств служат большие случайные выборки, клинические испытания, объективные данные за прошедшие периоды и т. д. А чтобы затем делать выводы, данные должны быть оценены с помощью соответствующих математических методов.

Почему у вас больше данных, чем кажется

Необходимо определить научно обоснованный способ оценки методов, а затем сравнить различные методы на основе этой оценки. Однако существует распространенное опасение, что в сфере кибербезопасности просто не найдется достаточного количества данных для надлежащих, статистически достоверных измерений. Иронично, что утверждается это почти всегда без должных математических расчетов.

Вспомните из главы 2: если расширить свой кругозор в отношении того, какие данные могут быть информативными, то на деле у нас будет больше данных, чем кажется. Поэтому ниже представлена часть способов, благодаря которым у нас больше данных об эффективности методов оценки рисков кибербезопасности, чем мы думаем.

• Не стоит ограничиваться только собственным примером. Конечно, каждая организация уникальна, но это не означает, что нельзя учиться на чужом примере (по сути, опыт ничего бы не значил, если бы мы не умели обобщать практические знания, не являющиеся абсолютно идентичными). Именно с помощью информации из более крупных совокупностей страховые компании оценивают риск вашего здоровья, даже если вы никогда не предъявляли претензий, а врач считает, что лекарство, которое вы раньше не принимали, подойдет вам, так как знает о крупном исследовании с участием множества других людей.

• Можно измерять как целые системы, так и их компоненты. Можно измерить общую эффективность всей системы или отдельных ее компонентов. Когда инженер прогнозирует поведение новой системы, которая еще не построена, он применяет знания о поведении компонентов и их взаимодействии. Проще измерить несколько компонентов оценки риска, чем ждать, пока произойдут редкие события. Например, отслеживание того, насколько эффективно аналитики в области кибербезопасности оценивают более частые незначительные события, является мерой компонента «экспертная оценка» в системе управления рисками.

• Можно обратиться к опубликованным исследованиям. Если рассмотреть на уровне компонентов исследования более крупных совокупностей, не связанных с нашим собственным опытом, то нам станет доступно гораздо больше данных. При отсутствии данных или результатов сторонних исследований, возможно, пора начать собирать данные в процессе измерения.

В идеальном мире у вашей компании было бы так много собственных данных, что не пришлось бы делать выводы из более крупных совокупностей данных других предприятий. Можно было бы оценить общую эффективность системы оценки рисков, измерив реальные результаты, наблюдаемые в вашей компании. Имея крупную компанию и достаточно времени, можно было бы наблюдать изменения при значительных утечках данных в различных структурных подразделениях, применяющих разные методы оценки рисков. Более того, можно было бы задействовать множество организаций в общеотраслевых экспериментах и получить в изобилии данные даже о событиях, редко возникающих в отдельно взятой компании.

Естественно, крупные эксперименты в масштабах всей отрасли нецелесообразны по нескольким причинам, в том числе из-за количества затрачиваемого на них времени (да и какие организации захотели бы оказаться в группе «плацебо», применяющей фальшивый метод?). Не удивительно, что на момент написания книги в рецензируемой литературе не было опубликовано ни одного подобного исследования. Так что же можно тогда сделать для сравнения различных методов оценки рисков научно обоснованным способом? Другие упомянутые выше аспекты стратегии измерений предоставляют различные варианты действий, и некоторые из них могут дать ответы немедленно.

Самым целесообразным решением для первоначального измерения было бы поэкспериментировать с крупными совокупностями данных, но в рамках существующих исследований на уровне компонентов. Компонентное тестирование – подход, знакомый многим профессионалам в области информационных технологий. К доступным для рассмотрения компонентам относятся отдельные этапы оценки рисков, используемые инструменты и методы сотрудничества. Даже простое обозначение вероятности кибератаки является компонентом процесса, который можно проверить. На самом деле на эту тему уже проводилось множество исследований на уровне компонентов, в том числе очень масштабных, выполнявшихся десятилетиями многими исследователями и опубликованных в ведущих рецензируемых научных журналах.

Если продемонстрировано, что отдельные компоненты метода повышают его эффективность, то метод, основанный полностью на таких элементах, с гораздо большей вероятностью будет эффективным, чем метод, для компонентов которого нет подобных доказательств или, что еще хуже, отмечено наличие у них недостатков. Это ничем не отличается от работы инженера-конструктора, занимающегося проектированием нефтеперерабатывающего завода или ракеты. Он применяет доказанные законы физики для оценки компонентов системы и затем рассчитывает, как они будут вести себя в совокупности. Существует множество потенциальных компонентов для оценки, поэтому давайте разделим их на две основные категории, которые используются или могут использоваться при оценке рисков кибербезопасности.

• Какова относительная эффективность сугубо традиционных моделей в оценке неопределенных результатов по сравнению с экспертами?

• При обращении к мнению экспертов какова эффективность инструментов, помогающих этим экспертам в оценке результатов?

Когда алгоритмы превосходят экспертов

Ключевой компонент, который следует учитывать при анализе рисков кибербезопасности, – это эффективность способа синтезирования информации для составления оценок. В частности, лучше ли полагаться на экспертов при вынесении суждения или на статистическую модель? Одним из специфических вопросов, область изучения которого изобилует исследованиями, является сравнение статистических моделей и мнений экспертов при оценке неопределенных результатов будущих событий. Благодаря таким исследованиям был получен один из самых цитируемых и впечатляющих выводов в психологии: даже относительно наивные статистические модели, похоже, превосходят экспертов-людей, предоставляя на удивление большее разнообразие оценок и прогнозов.

Мы не утверждаем, что можно полностью заменить человека при оценке рисков, а лишь рассматриваем несколько ситуаций, в которых были созданы объективные количественные модели и проведено их сравнение с профессиональным чутьем. Нам интересно выяснить следующее: если бы можно было построить чисто количественную модель на основе ранее полученных данных, стоило бы вообще это делать?

Читая об исследовании, вы, скорее всего, также захотите узнать, а можно ли, собственно, применять исследования из других областей к кибербезопасности. Если останетесь с нами, думаем, вы в итоге согласитесь с тем, что применение возможно. На самом деле, как и упомянутый ранее эффект плацебо, исследования настолько многочисленны и разнообразны, что, кажется, бремя доказательства будет возложено на того, кто утверждает, что кибербезопасность каким-то образом не затрагивает эти фундаментальные вопросы.

Исследования, сравнивающие экспертов и алгоритмы

Некоторые из исследований начинались в совершенно другой области в те времена, когда концепции кибербезопасности еще не существовало. Так, в 1950-х годах американский психолог Пол Мил высказал идею, потрясшую область клинической психологии. Он утверждал, что основанные на экспертных оценках клинические суждения о пациентах с психическими расстройствами могут быть хуже простых статистических моделей. Мил собрал большую исследовательскую базу, демонстрирующую, что статистические модели, основанные на медицинских записях, поставленных диагнозах и прогнозах, как минимум совпадали с суждениями квалифицированных клиницистов, а обычно превосходили их. Мил смог показать, например, что тесты на определение черт характера лучше экспертов прогнозировали преступность среди несовершеннолетних, аддиктивное поведение и некоторые виды поведения, связанные с неврологическими расстройствами.

В 1954 году им был написан фундаментальный труд под названием Clinical versus Statistical Prediction («Клинический прогноз против статистического»). И уже в этом первоначальном исследовании Мил смог процитировать более 90 работ, оспаривавших предполагаемый авторитет экспертов^7. Исследователи, к примеру Робин Доус (1936–2010) из Мичиганского университета, с воодушевлением продолжили работу в этом направлении. И каждые новые результаты, полученные ими, только подтверждали выводы Мила, несмотря на то что они расширили охват, включив также специалистов, не занимающихся клинической диагностикой8, 9, 10. Собранная в итоге библиотека исследований включала сведения, предсказывающие средний балл успеваемости первокурсников и студентов-медиков, рецидив преступлений, медицинские прогнозы и результаты спортивных событий. После того как число исследований значительно возросло, Мил был вынужден констатировать следующее:

В социальной науке нет ни одного противоречия, которое показало бы такое большое количество качественно разнородных исследований, приводящих к столь схожим результатам, как в данном исследовании. Когда вы проводите 90 экспериментов [теперь уже ближе к 150], предсказывая всё – от исхода футбольных матчей до заболеваний печени, – и при этом с трудом можете найти полдюжины исследований, показывающих хотя бы слабую тенденцию в пользу [экспертов-людей], самое время сделать практический вывод^11.

В указанном исследовании применялись довольно простые методы. Экспертов просили предсказать какие-либо объективно проверяемые результаты, например потерпит ли новый бизнес неудачу или какова будет эффективность химиотерапии для больного раком. Затем составляли прогноз для того же явления, используя алгоритм, основанный только на данных за прошлые периоды. И, наконец, тестировали оба метода на большом количестве прогнозов и определяли, какой из них работает лучше.

Убедительные выводы Мила и его коллег неизбежно привлекли интерес других исследователей, которые стали искать подобные явления в других областях. В одном из недавних примеров, исследовании компании, занимающейся разведкой нефти, отмечалась тесная взаимосвязь между использованием количественных методов (в том числе симуляций по методу Монте-Карло) для оценки рисков и финансовой успешностью компании12, 13. В НАСА симуляции Монте-Карло на основе ранее полученных данных применяются наряду с более мягкими методами (основанными на субъективных шкалах) для оценки рисков превышения стоимости, срыва сроков и провала миссии. При оценке затрат и срывов расписания, полученной с помощью количественных методов, ошибки в среднем случались вполовину реже, чем у ученых и инженеров, использующих неколичественные методы^14.

Пожалуй, самым амбициозным исследованием такого рода является эксперимент, который в течение 20 лет проводил Филип Тетлок. Результаты Тетлок опубликовал в книге Expert Political Judgment: How Good Is It? («Экспертное политическое суждение: насколько оно хорошо?»). Название указывает на конкретную область, но автор трактовал проблему достаточно широко, включая в нее экономику, военные вопросы, технологии и многое другое. Он отслеживал вероятности мировых событий, которые предсказывали в общей сложности 284 эксперта в соответствующих областях. К концу исследования было собрано более 82 000 отдельных прогнозов^15 (это означает, что по объему данные Тетлока равны или превосходят данные III фазы крупнейших клинических испытаний лекарств, опубликованных в научных журналах). Исходя из полученных данных, Тетлок был готов сделать еще более сильное заявление, чем Мил с коллегами:

Невозможно найти область, в которой люди явно превосходили бы примитивные алгоритмы экстраполяции, не говоря уже о сложных статистических алгоритмах.

Почему так происходит?

Робин Доус, один из упоминавшихся ранее коллег Мила, подчеркивал, что низкая эффективность людей в задачах прогнозирования и оценки возникает отчасти из-за неточной интерпретации вероятностной обратной связи^16. Те исследователи стали рассматривать эксперта как своего рода несовершенного посредника между входными данными и результатом. Очень немногие эксперты действительно проверяют свою эффективность с течением времени. К тому же они склонны обобщать собственные воспоминания об отдельных несистематических наблюдениях. Затем эксперт делает приблизительные выводы из этих выборочных воспоминаний, и, согласно опубликованному Доусом исследованию, это может привести к «иллюзии обучения», т. е. эксперты могут интерпретировать опыт как свидетельство результативности. Они полагают, что многолетний опыт должен привести к повышению эффективности, и потому считают, что так и происходит на самом деле. Но, как выяснилось, нельзя считать, что обучение происходит само собой, и неважно, сколько лет опыта накоплено.

Тетлок в своей книге предположил, что «у людей эффективность ниже, поскольку в глубине души мы мыслим причинно-следственными категориями и испытываем отвращение к вероятностным стратегиям, допускающим неизбежность ошибок». Математика взаимодействия с ошибками и неопределенностью – это математика вероятностей. Если не осмыслить ее, то возникнут большие трудности с вероятностным прогнозированием проблем. Если человек не силен в простой арифметике, нас же не удивит, что он будет тогда плохо разбираться в оценке, скажем, стоимости и продолжительности крупного, сложного инженерного проекта со множеством взаимосвязанных элементов. И покажется естественным, что кому-то разбирающемуся в таких оценках будет известно, как перемножить количество людей, участвующих в работе, стоимость их труда и продолжительность выполнения проекта, чтобы оценить требуемые трудозатраты. А также этот человек будет знать, как суммировать затраты на решение отдельных задач с другими расходами по проекту (например, на материалы, лицензию, аренду оборудования и т. д.).

Поэтому, когда эксперты говорят, что, исходя из определенного опыта и данных, одна угроза представляет собой больший риск, чем другая, они, осознанно или нет, занимаются своего рода вычислениями в уме. Это не значит, что эксперты буквально пытаются складывать числа в уме, скорее, они действуют в соответствии со своим чутьем в отношении чего-то, что во многих случаях действительно можно вычислить. Насколько хорошо наша интуиция соответствует математическим фактам, также измерялось во множестве исследований, включая работу израильско-американского психолога, лауреата премии по экономике памяти Альфреда Нобеля 2002 года, Даниэля Канемана и его коллеги Амоса Тверски. Они выяснили, что даже хорошо разбирающиеся в статистике исследователи склонны сильно ошибаться в определении вероятности того, что новые данные подтвердят или опровергнут результаты предыдущего эксперимента с заданным размером выборки^17. И кроме того, они склонны неверно оценивать ожидаемые вариации наблюдений в зависимости от размера выборки^18.

Под «хорошо разбирающимися в статистике» мы подразумеваем, что участники этого исследования были настоящими учеными, чьи работы публиковались в уважаемых, рецензируемых журналах. Как отметили Канеман и Тверски в своем исследовании: «Дело не в том, что они должны знать математику, они знали математику». Получается, что и те, кто знает математику, полагаются на свою интуицию, а интуиция ошибается. Даже для квалифицированных ученых различные повторяющиеся (но устранимые) математические ошибки – лишь одна из трудностей, возникающих из-за попыток заниматься «вычислениями в уме».

И что? Это применимо к кибербезопасности?

Несмотря на то что все приведенные исследования не связаны с кибербезопасностью, объем результатов в столь многих областях свидетельствует о том, что они фундаментальные и применимы к любой сфере человеческих суждений, включая кибербезопасность. Однако, если данное разнообразие выводов не убедило вас в том, что те же проблемы относятся и к кибербезопасности, рассмотрим еще один аргумент, выдвинутый Канеманом и Гэри Клейном, другим исследователем в области психологии принятия решений.

Канеман и Клейн выделяют три условия, необходимых для того, чтобы опыт привел к обучению. Во-первых, должна быть последовательная обратная связь. Человек должен получать информацию о прошлой деятельности регулярно, а не эпизодически. Во-вторых, обратная связь должна быть сравнительно быстрой. Если человек делает несколько прогнозов событий, которые могут произойти через несколько лет (что не редкость при анализе экономического эффекта новых инвестиций, скажем, в технологии, инфраструктуру или новые продукты), то задержка в получении обратной связи усложнит обучение. В-третьих, обратная связь должна быть однозначной. Если человек просто говорит, что проект в области кибербезопасности будет «успешным» или что риск будет снижен, то здесь возможны интерпретации. А когда прошлые результаты можно интерпретировать по-разному, данные, как правило, интерпретируются так, как выгоднее. В отсутствие регулярной, быстрой и однозначной обратной связи, скорее всего, мы будем запоминать информацию избирательно и интерпретировать свой опыт так, чтобы выглядеть в лучшем свете.

Поэтому аналитики рисков кибербезопасности должны задать себе ряд неудобных вопросов: «Действительно ли опыт эксперта в сфере кибербезопасности соответствует этим условиям? Действительно ли эксперты по кибербезопасности записывают все свои оценки вероятности и воздействия, а затем сравнивают их с результатами наблюдений? Даже если предположить, что они это делают, как долго им обычно приходится ждать, чтобы узнать, была ли их оценка правильной? Даже если оценки записываются и мы ждем достаточно долго, чтобы событие произошло, становится ли ясно, что первоначальная оценка была правильной или что описанное событие произошло? Например, если мы говорим, что наша репутация пострадала в результате взлома, откуда мы это знаем и как на самом деле подтвердить – хотя бы приблизительно – значимость события, определенную в первоначальных расчетах?» В кибербезопасности, как и во многих других областях, обучение невозможно без процессов, направленных на его обеспечение. Эти выводы очевидны для таких исследователей, как Мил:

Человеческий мозг является довольно неэффективным устройством для выявления, отбора, категоризации, записи, сохранения, извлечения информации и манипулирования ею с целью формулирования выводов. Почему мы должны удивляться этому?19

Все это не означает, что эксперты мало разбираются в своей области. Они обладают большим объемом подробных технических знаний. Эффективность работы экспертов в упомянутых исследованиях касалась только оценки величин на основе субъективных выводов по прошлому опыту. То есть проблема состоит в том, что эксперты, похоже, часто путают знания об огромном множестве деталей с умением прогнозировать неопределенные будущие события. Специалист по кибербезопасности может хорошо разбираться в технических аспектах, таких как проведение тестов на проникновение, использование средств шифрования, настройка файрволов, и многих других и при этом быть неспособным реально оценить собственные навыки прогнозирования будущих событий.

Инструменты для повышения эффективности человеческого компонента

Исходя из рассмотренных выше исследований, может создаться впечатление, что эксперты почти ничего не способны сделать для оценки рисков. Однако мы совсем не это имели в виду. Когда есть возможность создать грамотные математические модели, основанные на объективных наблюдениях и ранее полученных данных, так и нужно сделать. И все же нельзя отрицать, что с некоторыми задачами по-прежнему лучше справится эксперт. Эксперт является компонентом анализа рисков, который невозможно отбросить, но можно улучшить.

Прежде всего эксперты должны помогать определить проблему, в том числе оценивать ситуации, когда данные неоднозначны или условия не соответствуют имеющимся статистическим данным. Эксперты также должны предлагать решения для проверки.

Наша цель – повысить статус эксперта. Нам бы хотелось, чтобы к экспертам в области кибербезопасности относились как к части системы оценки рисков. За ними необходимо наблюдать, как за гоночным автомобилем или спортсменом, и корректировать их работу для достижения максимальной результативности. Эксперт – это такой своеобразный тип измерительного прибора, который можно «откалибровать» для повышения эффективности.

Стоит также отметить, что все проблемы, которые будут перечислены ниже, присущи не только кибербезопасности. Однако профессия эксперта обладает характеристиками, которые относят ее к сферам деятельности, где люди склонны выносить «некалиброванные» суждения. Кибербезопасность может брать пример с других технологичных инженерных областей, зависящих от экспертной оценки, которые применяют конкретные методы для отслеживания и калибровки суждений экспертов. В Комиссии по ядерному регулированию США (КЯР), например, признают значимость роли эксперта на нескольких этапах процесса оценки риска. Отчет КЯР об использовании и получении экспертных оценок гласит следующее:

Экспертные суждения действительны как сами по себе, так и в сравнении с другими данными. Все данные – это несовершенное отображение реальности. Достоверность данных экспертных оценок, как и любых других данных, может варьироваться в зависимости от процедур, применяемых для их сбора. Так называемые точные данные, например полученные с помощью приборов, не могут считаться совершенными из-за наличия таких факторов, как случайный шум, неисправность оборудования, вмешательство оператора, отбор данных или их интерпретация. Достоверность всех данных различна. Достоверность экспертного суждения в значительной степени зависит от качества когнитивного представления эксперта о сфере деятельности и способности выразить свои знания. Получение экспертных оценок является формой сбора данных, которую можно тщательно проверить. Использование суждений также можно и нужно тщательно проверять^20.

Мы согласны. Следует пристально проверять эксперта, как и любой другой инструмент измерений. По нашему мнению, специалист в области кибербезопасности – важнейший и в конечном счете незаменимый компонент любого анализа рисков. Даже с учетом появления новых источников данных, позволяющих проводить еще более эффективный количественный анализ рисков, кибербезопасность в обозримом будущем будет по-прежнему зависеть от специалистов в этой области. Именно из-за ключевой роли, отведенной квалифицированным экспертам, необходимо обратить особое внимание на качество выполнения ими различных критически важных задач. И точно так же, как точность измерений прибора не определяется с помощью него самого, не следует полагаться на самих экспертов в оценке их эффективности.

Как и раньше, начнем с изучения имеющихся исследований по теме. Мы хотим рассмотреть применяемые экспертами инструменты и выявить, действительно ли они повышают ценность их суждений или, наоборот, понижают ее.

Компонент субъективной вероятности

Важнейшим компонентом анализа рисков является оценка экспертами по кибербезопасности вероятности возникновения событий, связанных с нарушением кибербезопасности, и потенциальных убытков при их наступлении. Независимо от того, используются ли вероятности в явном виде или неколичественные вербальные шкалы, экспертам необходимо определить, является ли один вид угрозы более вероятным, чем другой. Поскольку в какой-то момент процесса придется полагаться на мнение эксперта, следует рассмотреть, как можно измерить его мастерство в решении задачи и что покажут такие измерения.

На эту тему опубликовано достаточно исследований в самых разных областях, проводившихся с участием экспертов и неспециалистов. Во всех исследованиях применялся схожий подход: собиралось большое количество оценок, сделанных различными людьми, а затем они сравнивались с наблюдаемыми результатами. Полученные выводы убедительны и повторяются в каждом новом исследовании, посвященном данному вопросу.

• Без обучения или других средств контроля почти все люди, определяя вероятности, получают значения, существенно отличающиеся от реально наблюдаемых результатов (например, когда кто-то говорит, что уверен на 90 %, предсказанный результат происходит гораздо реже, чем в 90 % случаев).

• Существуют методы, в том числе обучение, которые значительно повышают способность экспертов оценивать субъективные вероятности (т. е. когда они будут говорить, что уверены на 90 %, то окажутся правы примерно в 90 % случаев).

Приведем пример, связанный с другой профессией – финансовыми директорами, – иллюстрирующий типичные результаты подобных исследований. В 2010 году Национальным бюро экономических исследований был проведен эксперимент, в котором финансовых директоров ряда корпораций попросили оценить годовую доходность индекса S&P 500^21. Оценки давались в виде диапазонов (значения нижнего и верхнего пределов), достаточно широких, чтобы финансовый директор посчитал, что правильный ответ с вероятностью 80 % будет содержаться в данном диапазоне. Назовем эти диапазоны 80 %-ными доверительными интервалами[4]. Просто подождав, в итоге можно было легко узнать фактическую доходность за указанный период времени. Несмотря на то что финансовые директора были очень опытными и образованными, как и требовала должность, их 80 %-ные ДИ на практике содержали правильные ответы только в 33 % случаев. То есть испытуемые считали, что предоставили диапазоны, не содержащие правильный ответ, лишь в 20 % случаев, а на самом деле правильные ответы выходили за пределы их диапазонов в 67 % случаев. Показатель «неожиданных отклонений» оказался гораздо выше, чем они ожидали.

Причина кроется в чрезмерной уверенности. Уверенность экспертов, в данном случае выражавшаяся в ширине 80 %-ного ДИ, позволяла получить правильный ответ гораздо реже, чем они ожидали. Другими словами, они были уверены в значении вероятности 80 %, что указанный интервал содержит наблюдаемое значение, но на самом деле такой вероятности не было. К сожалению, этим грешат не только финансовые директора. Несколько исследований, проведенных в последние десятилетия, подтверждают, что излишняя самоуверенность – распространенная черта почти всех нас. Откалиброванные оценки вероятности, судя по большому объему опубликованных результатов, являются предметом исследований с 1970-х годов, и начало этим исследованиям положили Даниэль Канеман и Амос Тверски^22. Их работа показала, что почти все представители самых разных профессии так же излишне самоуверенны, как и упомянутые финансовые директора, причем независимо от рода деятельности.

Это исследование не является чисто академическим. Предмет изучения влияет на реальные суждения и на действия, предпринимаемые для решения реальных проблем. За последние 20 лет Хаббард сумел сформировать один из крупнейших наборов данных, касающихся этого явления. Он протестировал и обучил более 1000 человек из различных отраслей, занимающих разные должности и относящихся к разным уровням управления. Из них по меньшей мере 54 испытуемых специализировались именно в области кибербезопасности.

Чтобы измерить, насколько хорошо эксперты распределяют субъективные вероятности, Хаббард проводил с ними серию тестов, аналогичных тем, что использовались в большинстве других исследований. В контрольном тестировании (оно проводится перед обучением, направленным на совершенствование навыков оценки) он просил участников указать 90 %-ный ДИ количества верных ответов для вопросов на общую эрудицию (когда родился Исаак Ньютон, какова высота самого высокого здания в мире и т. д.). Большинство людей указали диапазоны, содержавшие 40–50 % правильных ответов, что соответствует результатам из упомянутых выше исследований[5].

Чрезмерная уверенность также наблюдается при определении вероятностей дискретных событий, например приведет ли кибератака к крупной утечке данных в этом году. Безусловно, результат единичного события, как правило, не является достоверным индикатором того, насколько реалистична ранее заявленная вероятность. Если говорится о существовании 25 %-ной вероятности наступления события к концу следующего года, то сам факт, что оно произошло или не произошло, еще не будет являться доказательством нереалистичности вероятности. Но если отследить работу ряда экспертов, делающих множество вероятностных оценок, то можно сравнить ожидания с наблюдениями и составить более достоверное представление о качестве оценки. Например, пусть группа экспертов дает 1000 оценок вероятности определенных событий. Это могут быть утечки данных какого-то минимального объема, возникающие в течение конкретного периода времени, вероятность убытков на сумму более 10 млн долл. и т. п. Предположим, по словам экспертов, в 100 из этих оценок они уверены на 90 %. Тогда заявленный результат должен происходить примерно в 90 случаях из 100. Можно ожидать некоторых расхождений в силу удачного стечения обстоятельств или же вычислить (о чем будет рассказано позже) допустимое количество случайных ошибок. С другой стороны, если они окажутся правы только в 65 из 100 случаев, когда заявляли, что уверены в результате на 90 %, такой показатель гораздо хуже, чем можно было бы ожидать при банальном невезении (если бы речь шла только о невезении, шанс, что они будут ошибаться так часто, составил бы всего 1 к 68,9 млрд). Поэтому гораздо правдоподобнее выглядит объяснение, что эксперты просто наделяли слишком высокой вероятностью события, в которых им следовало быть менее уверенными.

К счастью, другими исследователями были проведены эксперименты^23, показавшие, что экспертов можно научить лучше оценивать вероятности с помощью наборов оценочных тестов, обеспечения быстрой, постоянной и четкой обратной связи в достаточном объеме, а также техник повышения точности субъективных вероятностей. Иными словами, исследователи обнаружили, что оценка неопределенности – общий навык, которому можно обучить, добившись измеримого улучшения показателей. То есть, когда откалиброванные эксперты в области кибербезопасности говорят, что они на 85 % уверены в том, что в ближайшие 12 месяцев в их отрасли произойдет крупная утечка данных, значит, действительно вероятность утечки составляет 85 %.

И еще раз, выборка людей, проходивших тестирование по этому «компоненту», включала в себя не только финансовых директоров, но и врачей, студентов, ученых, менеджеров проектов и многих других. Поэтому можно вполне обоснованно утверждать, что эти наблюдения, вероятно, относятся ко всем. А если кто-то попытается доказать, что эксперты по кибербезопасности отличаются от представителей других профессий, участвовавших в исследованиях, помните, что в выборке Хаббарда было 54 эксперта в области кибербезопасности из нескольких компаний. В первом тесте они показали примерно такие же низкие результаты, как и представители любой другой профессии. В процессе же обучения их результаты существенно улучшились, как и у представителей остальных профессий, которых тестировал Хаббард, а успешность калибровки к концу обучения тоже оказалась у всех групп примерно одинаковой (85–90 % экспертов научились выверять свои оценки).

В главе 7 будут подробнее описаны процесс обучения и его результаты. Мы объясним, как научиться калибровать свои оценки с помощью несложного упражнения и как можно измерять собственную эффективность с течением времени. Этот навык станет отправной точкой для разработки более совершенных количественных моделей.

Компонент согласованности оценок экспертов

В целом проверка субъективных вероятностей для калибровки чрезмерной самоуверенности подразумевает, что придется ждать проявления наблюдаемых результатов. Однако есть и другой вид калибровки, действие которого можно легко наблюдать почти сразу, не дожидаясь, пока наступит предсказанный результат и наступит ли вообще, – измерение согласованности оценок эксперта. То есть, независимо от точности оценки, следует ожидать, что эксперт будет последовательно давать один и тот же ответ при возникновении похожих ситуаций. Конечно, единообразие ответов не означает, что они верны, но, как известно, два противоречащих друг другу ответа не могут одновременно быть правильными. Величина несогласованности должна хотя бы соответствовать нижнему пределу ошибки оценивания. Если же «эксперты» дают совершенно разные ответы каждый раз при решении сходных задач, то с тем же успехом они могли бы просто игнорировать предоставленную информацию и наугад выбирать оценки путем жеребьевки. Не нужно ждать наступления предсказываемых событий, чтобы оценить согласованность оценок таких экспертов.

Аналогичным образом, даже если специалисты отвечают в полном соответствии с собственными предыдущими суждениями, но ответы сильно отличаются от мнения других экспертов, то как минимум известно, что все они не могут быть правы (зато могут быть все неправы). К счастью, эти компоненты деятельности экспертов также измерялись в долгосрочной перспективе. Исследователи дали названия обеим мерам согласованности оценок^24:

• стабильность – согласие эксперта с собственным предыдущим суждением, сделанным в идентичной ситуации (тот же эксперт, те же данные, другое время);

• консенсус – согласие эксперта с другими экспертами (одинаковые данные, разные эксперты).

Пока во всех областях, в которых проводились исследования, была выявлена сильная степень несогласованности оценок экспертов (с точки зрения как стабильности, так и консенсуса) практически во всех суждениях. Такая несогласованность оценок проявляется и у менеджеров проектов, оценивающих затраты, и у врачей, диагностирующих пациентов, и у экспертов в сфере кибербезопасности, определяющих риски.

В качестве примера, демонстрирующего несогласованность оценок экспертов, можно привести одно исследование начала XX века, в котором нескольким врачам-радиологам была выдана пачка из 96 рентгеновских снимков язвы желудка^25.

Каждого радиолога просили оценить, может ли язва стать причиной злокачественной опухоли. Неделю спустя те же радиологи получили еще один набор из 96 рентгеновских снимков для оценки. Врачи не знали, что на самом деле получили те же самые снимки, но в другом порядке. Исследователи выявили, что радиологи меняли свои ответы в 23 % случаев.

Если спросить экспертов в такой ситуации, должно ли их суждение каким-то образом зависеть от порядка расположения элементов в списке, все они согласятся, что не должно. Тем не менее, согласно исследованиям, подобные изменения порядка элементов все же влияют на суждения.

Отдельный источник несогласованности оценок кроется в другой распространенной особенности суждений. При оценке цифр на эксперта может повлиять эффект, известный как «якорный»: если просто подумать о каком-либо числе, это повлияет на значение последующей оценки даже по совершенно не связанному вопросу. Исследователи показали, как при использовании произвольных значений, таких как номер социального страхования или случайное число, можно оказать влияние на последующие оценки, например количества врачей в районе или цены товаров на eBay26, 27.

Где гарантия, что случайные, не относящиеся к делу факторы вроде якорного эффекта не влияют и на суждения экспертов по кибербезопасности? У нас было достаточно возможностей собрать информацию по этому вопросу, и ее краткое изложение приведено ниже.

• Во многих не связанных друг с другом проектах за последние пять лет Хаббард и его сотрудники опросили 54 экспертов по кибербезопасности на предмет вероятности возникновения различных видов нарушений кибербезопасности. Проекты выполнялись для клиентов из четырех областей: нефтегазовой, банковской, высшего образования и здравоохранения. Все упомянутые эксперты ранее прошли обучение по калибровке оценки вероятности.

• Каждому эксперту были предоставлены описательные данные по различному количеству систем или сценариев угроз в организации (от 80 до 200 штук). Типы сценариев и предоставляемые данные различались между клиентами, но они могли включать информацию о типе подверженных риску данных, об операционных системах, находящихся под угрозой, о существующих средствах контроля, типах и количестве пользователей и т. д.

• Всех экспертов просили оценить для каждой из этих систем или сценариев вероятности возникновения различных типов событий (до шести штук), включая нарушения конфиденциальности, несанкционированное редактирование данных, несанкционированные транзакции денежных средств, кражи интеллектуальной собственности, перебои с доступом и т. д.

• Поскольку 54 эксперта оценивали вероятность возникновения от одного до шести событий для каждой из ситуаций, которых было от 80 до 200 штук, один эксперт, как правило, давал от 300 до 1000 оценок. В итоге получилось более 30 000 индивидуальных оценок вероятностей.

Однако при оценивании экспертам не сообщалось, что в представленных списках имелось несколько дублирующих друг друга пар сценариев. Скажем, что данные, представленные для системы в девятой строке списка, могли быть идентичны данным, представленным в 95-й строке, что 11-я и 81-я строки одинаковые и т. д. У каждого эксперта в списке было несколько дубликатов, в общей сложности 2428 пар дублей.

Чтобы измерить несогласованность, было достаточно сравнить первую оценку, данную экспертом, со второй для идентичного сценария. Сравнение оценок показано на рис. 4.1. Для лучшего отображения концентрации большого количества точек в одних и тех же местах диаграммы вокруг каждой точки добавлено немного шума, чтобы они не накладывались друг на друга. Шум очень мал по сравнению с общим эффектом и предназначен только для отображения диаграммы, т. е. не учитывается при статистическом анализе результатов.

Как видно, в 26 % случаев разница между первой и второй оценками составила более 10 процентных пунктов, например первая оценка была 15 %, а вторая – 26 %. Некоторые различия оказались гораздо существеннее. В 2,7 % случаев разница превысила даже 50 процентных пунктов. Сводная информация несогласованности в ответах представлена на рис. 4.2.

Рис. 4.1. Согласованность оценок в дублирующихся сценариях: сравнение первой и второй оценок вероятностей одного и того же сценария, сделанных одним и тем же экспертом

Какими бы непоследовательными ни выглядели результаты, на самом деле все гораздо хуже, чем кажется. Здесь нужно сравнить эти несогласованности с «предвзятостью» эксперта, то есть насколько сильно различаются ответы экспертов при оценке событий конкретного типа. Вероятности существенно различались в зависимости от типа оцениваемого риска. Например, риску нарушения работоспособности (выхода системы из строя), как правило, присваивали более высокую вероятность, чем риску нарушения целостности, при котором кто-то мог фактически украсть денежные средства с помощью несанкционированных транзакций. Если все ответы эксперта для данного типа риска (например, вероятности крупной утечки данных) колебались между, скажем, 2 и 15 %, то в большинстве случаев исследователи определяли, что разброс его оценок составлял 5 или 10 процентных пунктов.

Рис. 4.2. Сводная информация о распределении несогласованных оценок

Согласованность оценок отчасти показывает, насколько тщательно эксперт изучает каждый сценарий. У некоторых экспертов несогласованность являлась основной причиной большинства предвзятых суждений. Обратите внимание, что если бы несогласованность и предвзятость являлись одним и тем же, то наблюдалась бы ситуация, когда эксперт просто подбирает вероятности случайным образом, независимо от предоставленной информации. В указанных же опросах большинство испытуемых как минимум пытались отвечать с учетом внимательного изучения предоставленной информации. Тем не менее мы видим, что несогласованность оценок являлась причиной по крайней мере в 21 % случаев предвзятости. Это значительный процент суждений эксперта, отражающий исключительно его личную несогласованность оценок.

Следует отметить, что участники обнаружили небольшой процент дубликатов. Некоторые отправляли электронные письма со словами: «Мне кажется, в вашем опросе допущена ошибка. Эти две строки содержат идентичные данные». Но никто не заметил больше двух дублирующихся пар, а большинство людей не нашли и одной. Что еще важнее, обнаружение ряда дубликатов оценщиками могло только уменьшать наблюдаемую несогласованность оценок. Тот факт, что они случайно заметили несколько дубликатов, означает, что их показатель согласованности оценок получился выше, чем в случае, если бы они не нашли дубликаты. Другими словами, несогласованность по крайней мере такова, как показано в результатах исследования, но не ниже.

К счастью, мы также можем показать, что степень несогласованности можно уменьшить, что приведет к повышению точности оценок. Можно статистически сгладить несогласованность оценок экспертов с помощью математических методов, уменьшающих ошибку оценивания у экспертов. Авторам доводилось применять эти методы на практике именно в сфере кибербезопасности (данные о степени несогласованности оценок с рис. 4.1 взяты как раз из таких реальных проектов). Более подробно о них мы расскажем далее.

Компонент сотрудничества

Как мы уже выяснили, существует немало данных о разных аспектах субъективного экспертного суждения, однако также имеются любопытные исследования о том, как объединить суждения разных экспертов. Возможно, наиболее распространенный метод объединения экспертных суждений иногда упоминается в вооруженных силах США под названием BOGSAT. Это акроним, означающий «куча парней сидит кружком и разговаривает». Эксперты собираются вместе и обсуждают, насколько вероятно наступление события или каковы будут последствия, если оно произойдет, пока не достигнут консенсуса (или, по крайней мере, пока не стихнут последние возражения).

Для объединения суждений могут применяться различные математические методы, а также существуют разнообразные способы обеспечения взаимодействия между экспертами. Как и в случае с прочими компонентами, нас интересует, являются ли одни методы измеримо более эффективными, чем другие.

Некоторые исследования, например, показывают, что случайную несогласованность в стабильности оценок отдельных людей можно уменьшить, просто усреднив оценки, данные несколькими людьми^28. Вместо того чтобы собраться вместе и попытаться достичь консенсуса в группе, каждый из экспертов проводит оценку самостоятельно, и их оценки усредняют.

Данный подход и лежащие в его основе исследования были описаны в книге Джеймса Шуровьески «Мудрость толпы»29. Шуровьески также изложил несколько других методов сотрудничества, таких как «рынки предсказаний»[6], демонстрирующих заметно бóльшую эффективность по сравнению с оценками отдельных экспертов. Те же данные, которые позволили компании Hubbard Decision Research измерить стабильность экспертов, позволяют измерить и консенсус. Если бы эксперты проявляли индивидуальную несогласованность, т. е. демонстрировали низкую стабильность, можно было бы ожидать, что разногласия в их оценках будут возникать исключительно из-за случайной индивидуальной несогласованности. Однако фактическое общее количество разногласий между экспертами оказалось больше, чем можно было объяснить одной лишь мерой стабильности. То есть наряду с индивидуальной несогласованностью наблюдались и общие разногласия между экспертами одной организации по поводу важности различных факторов и риска атак в сфере кибербезопасности в целом.

Тем не менее интересно отметить, что эксперты в сфере кибербезопасности в одной организации давали ответы, которые хорошо соотносились с ответами их коллег из другой похожей организации. Один эксперт мог оценить вероятность возникновения события значительно выше, чем его коллеги, но при этом информация, заставлявшая его повышать или понижать вероятность в оценке, оказывала аналогичное воздействие и на других экспертов. То есть они были как минимум более или менее согласны в отношении «направления». Следовательно, разные эксперты вряд ли просто выбирали ответы наугад. В определенной степени они соглашались друг с другом, и, как показали результаты описанного выше исследования, их прогнозы можно сделать более точными, если взять среднюю оценку нескольких экспертов.

Компонент разложения на составляющие

Мы уже выяснили, что эксперты менее эффективны, чем статистические модели, основанные на объективных данных за прошедший период. А что насчет количественных моделей, которые все еще основаны на субъективных оценках? Могут ли эксперты, применяя только имеющиеся знания, строить модели, которые превзошли бы их оценки, сделанные без использования количественных моделей? Результаты исследований показывают, что могут.

С 1970-х по 1990-е годы исследователи, изучавшие теорию принятия решений, Дональд Дж. Мак-Грегор и Дж. Скотт Армстронг, как по отдельности, так и совместно проводили эксперименты, чтобы выяснить, насколько можно повысить эффективность оценки с помощью разложения на составляющие^30. Они задействовали сотни испытуемых в различных экспериментах с целью определить, насколько сложно оценить такие вещи, как окружность монеты или количество мужских брюк, производимое в США за год. Одних испытуемых просили напрямую оценить эти величины, а второй группе нужно было оценить разложенные на составляющие переменные, которые затем использовались для оценки исходного количества. Например, отвечая на вопрос о брюках, вторая группа оценила бы численность мужчин в США, количество брюк, покупаемых одним мужчиной в год, процент брюк, произведенных за границей, и т. д. Затем результаты первой группы (оценку, произведенную без разложения) сравнили с результатами второй группы.

Армстронг и Мак-Грегор выяснили, что разложение не помогало, если в оценках первой группы и так было относительно мало ошибок, например при оценке окружности американской 50-центовой монеты в миллиметрах. Однако если первая группа допускала много ошибок, а так происходило в случае с оценкой количества мужских брюк, произведенных в США, или общим количеством автомобильных аварий в год, тогда разложение на составляющие оказывалось значительно полезнее. Было установлено, что с самыми неопределенными переменными простое разложение на составляющие – ни в одном случае число переменных при разложении не превышало пяти – сокращало количество ошибок в 10 или даже 100 раз. Представьте, если бы эти решения принимались в реальных условиях с высоким уровнем неопределенности. Безусловно, разложение на составляющие стоит потраченного на него времени.

Выполнение вычислений в явном виде, даже если в качестве исходных данных используются субъективные оценки, устраняет источник ошибок. Чтобы оценить финансовые потери в результате атаки типа «отказ в обслуживании» на конкретную систему, можно оценить продолжительность атаки, количество пострадавших людей и затраты на единицу времени для каждого пострадавшего. Однако, получив эти значения, нужно не просто оценить их произведение, а вычислить его. Поскольку, как уже говорилось, при таких подсчетах люди склонны совершать несколько ошибок, связанных с интуицией, то будет лучше проводить расчеты не в уме. Для многих исследователей это было очевидно, как писал Мил в одной из своих работ:

Безусловно, ни для кого не секрет, что человеческий мозг плохо умеет взвешивать и вычислять. Делая покупки в супермаркете, вы не оцениваете взглядом кучу покупок и не говорите продавцу: «Похоже, здесь где-то на 17 долларов, как думаете?» Продавец считает их стоимость^31.

Но не все разложения на составляющие одинаково информативны. Можно чересчур увлечься раскладыванием проблемы на элементы^32. Разложение на составляющие производится потому, что в одних вещах мы более уверены, чем в других, но можем вычислить вторые на основе первых. Если же переменные, на которые раскладывается задача, не являются более определенными, то можно не добиться успеха. На самом деле неудачное разложение способно ухудшить ситуацию. В главе 6 мы более подробно обсудим так называемое неинформативное разложение.

Даже если предположить, что разложение на составляющие оказывается вам полезно, существует несколько стратегий его выполнения, и мы не будем придерживаться какой-то определенной точки зрения относительно степени их информативности. Разные организации могут предпочитать разные методы разложения, поскольку информация, которой они располагают, также различна. Но, как станет ясно из главы 6, существуют жесткие математические правила относительно того, действительно ли разложение на составляющие уменьшает неопределенность. Следует применять эти правила наряду с эмпирически измеренной эффективностью для определения наилучшего метода разложения на составляющие для конкретной организации.

Резюме и дальнейшие шаги

«По моему опыту…» – если предложение начинается с этих слов, к нему стоит относиться с осторожностью, особенно когда речь идет об оценке самих экспертов. Существуют причины, почему наш опыт, даже накопленный за многие десятилетия, не может служить надежным источником информации в некоторых вопросах. Из-за аналитического плацебо невозможно определить качество своих оценок, опираясь лишь на собственные субъективные ощущения. Для оценки экспертов и применяемых ими методов следует обратиться к научным исследованиям, лежащим в ее основе. И эти исследования четко указывают на следующие выводы.

1. По возможности рекомендуется использовать понятные количественные модели, основанные на объективных ранее полученных данных. Роль экспертов в первую очередь будет заключаться в разработке и настройке этих моделей, а не в выполнении отдельных оценок.

2. Для оценки вероятностей и других количественных величин можно научить экспертов определять субъективные вероятности, которые будут сравниваться с наблюдаемой реальностью.

3. Несогласованность оценок экспертов можно снизить с помощью математических методов, а также путем сотрудничества с целью повышения точности оценок. При рассмотрении мнений нескольких экспертов, даже просто выведя среднее значение из их оценок, получится более точный результат, чем дадут мнения экспертов, взятые по отдельности.

4. Разложение на составляющие повышает точность оценки, особенно когда приходится иметь дело с очень высокой степенью неопределенности. Модели, требующие проведения конкретных вычислений, а не подсчетов в уме, позволяют избежать многих ошибок в выводах, как правило, свойственных экспертам.

В данной главе наши измерения различных методов оценки риска были сосредоточены на ранее опубликованных результатах научных исследований отдельных компонентов процесса оценки риска, включая альтернативные инструменты оценки вероятностей (с помощью экспертов или алгоритмов), способы контроля несогласованности оценки экспертов, их сотрудничество и разложение на составляющие. Внимание уделялось только тем компонентам, о которых у нас есть данные исследований, показывающие, что альтернативные методы способны измеримо улучшить результаты.

Все компоненты методов, представленных в главе 3, и всё, о чем пойдет речь далее, опираются на результаты исследований. Нами не будут разбираться компоненты методов, по которым не проводились исследования, и, что не менее важно, не будут применяться методы, которые, как было доказано, увеличивают вероятность ошибки. Учитывая важность оценки рисков кибербезопасности, следует продолжать искать пути совершенствования методов. Никогда не стоит забывать о скептицизме, вынуждающем нас задаваться вопросом: «Откуда я знаю, что это работает?»

Позже будет рассказано, как выйти за рамки существующих исследований и статистически грамотно отслеживать собственные данные, чтобы еще больше снизить неопределенность и иметь возможность постоянно совершенствовать методы оценки рисков. А в следующей главе мы продолжим анализ компонентов на основе существующих исследований, но сосредоточимся на методах, которые не приводят к улучшению результатов или даже ухудшают их. Это необходимо сделать, так как данные компоненты фактически являются частью наиболее широко используемых методов и стандартов в области кибербезопасности. Пришло время решить эти вопросы раз и навсегда, а также дать ответы на распространенные возражения против использования рекомендуемых нами методов количественной оценки.

Примечания

1. C. Tsai, J. Klayman, and R. Hastie, “Effects of Amount of Information on Judgment Accuracy and Confidence,” Organizational Behavior and Human Decision Processes 107, no. 2 (2008): 97–105.

2. Stuart Oskamp, “Overconfidence in Case-Study Judgments”, Journal of Consulting Psychology 29, no. 3 (1965): 261–265, doi:10.1037/h0022125. Reprinted in Judgment under Uncertainty: Heuristics and Biases, ed. Daniel Kahneman, Paul Slovic, and Amos Tversky (Cambridge, UK: Cambridge University Press, 1982).

3. P. Andreassen, “Judgmental Extrapolation and Market Overreaction: On the Use and Disuse of News,” Journal of Behavioral Decision Making 3, no. 3 (July – September 1990): 153–174.

4. C. Heath and R. Gonzalez, “Interaction with Others Increases Decision Confidence but Not Decision Quality: Evidence against Information Collection Views of Interactive Decision Making,” Organizational Behavior and Human Decision Processes 61, no. 3 (1995): 305–326.

5. D. A. Seaver, “Assessing Probability with Multiple Individuals: Group Interaction versus Mathematical Aggregation,” Report No. 78–73 (Los Angeles: Social Science Research Institute, University of Southern California, 1978).

6. S. Kassin and C. Fong, “I’m Innocent!: Effects of Training on Judgments of Truth and Deception in the Interrogation Room,” Law and Human Behavior 23 (1999): 499–516.

7. Paul E. Meehl, Clinical versus Statistical Prediction; A Theoretical Analysis and a Review of the Evidence (Minneapolis: University of Minnesota Press, 1954).

8. R. M. Dawes, D. Faust, and P. E. Meehl, “Clinical versus Actuarial Judgment,” Science (1989), doi:10.1126/science.2648573.

9. William M. Grove and Paul E. Meehl, “Comparative Efficiency of Informal (Subjective, Impressionistic) and Formal (Mechanical, Algorithmic) Prediction Procedures: The Clinical-Statistical Controversy,” Psychology, Public Policy, and Law 2 (1996): 293–323.

10. William M. Grove et al., “Clinical versus Mechanical Prediction: A Meta-Analysis,” Psychological Assessment 12, no. 1 (2000): 19–30.

11. Paul Meehl, “Causes and Effects of My Disturbing Little Book,” Journal of Personality Assessment 50 (1986): 370–375.

12. William Bailey et al., “Taking Calculated Risks,” Oilfield Review 12, no. 3 (Autumn 2000): 20–35.

13. G. S. Simpson et al., “The Application of Probabilistic and Qualitative Methods to Asset Management Decision Making,” presented at SPE Asia Pacific Conference on Integrated Modeling for Asset Management, April, 25–26, 2000, Yokohama, Japan.

14. C. W. Freaner et al., “An Assessment of the Inherent Optimism in Early Conceptual Designs and Its Effect on Cost and Schedule Growth.” Paper presented at the Space Systems Cost Analysis Group/Cost Analysis and Forecasting/ European Aerospace Cost Engineering Working Group 2008 Joint International Conference, European Space Research and Technology Centre, Noordwijk, The Netherlands, May 15–16, 2008, European Space Agency, Paris, France.

15. Philip E. Tetlock, Expert Political Judgment: How Good Is It? How Can We Know? (Princeton, NJ: Princeton University Press, 2005; Kindle edition, location 869).

16. Robyn Dawes, House of Cards: Psychology and Psychotherapy Built on Myth (New York: Simon & Schuster, 1996).

17. Amos Tversky and Daniel Kahneman, “Belief in the Law of Small Numbers,” Psychological Bulletin 76, no. 2 (1971): 105–110.

18. Daniel Kahneman and Amos Tversky, “Subjective Probability: A Judgment of Representativeness,” Cognitive Psychology 3 (1972): 430–454.

19. William M. Grove and Paul E. Meehl, “Comparative Efficiency of Informal (Subjective, Impressionistic) and Formal (Mechanical, Algorithmic) Prediction Procedures: The Clinical – Statistical Controversy,” Psychology, Public Policy, and Law 2 (1996), 293–323; #167.

20. Herren DeWispelare and Clemen Bonano, “Background Report on the Use and Elicitation of Expert Judgement”, prepared for Center for Nuclear Waste Regulatory Analyses under Contract NRC-02-93-005, September 1994.

21. I. Ben-David, J. R. Graham, and C. R. Harvey, Managerial Miscalibration (No. w16215) (Washington, DC: National Bureau of Economic Research, 2010).

22. D. Kahneman and A. Tversky, “Subjective Probability: A Judgment of Representativeness,” Cognitive Psychology 4 (1972): 430–454; D. Kahneman and A. Tversky, “On the Psychology of Prediction,” Psychological Review 80 (1973): 237–251.

23. Sarah Lichtenstein, Baruch Fischhoff, and Lawrence D. Phillips, “Calibration of Probabilities: The State of the Art to 1980,” in Judgement under Uncertainty: Heuristics and Biases, ed. Daniel Kahneman, Paul Slovic, and Amos Tversky (Cambridge, UK: Cambridge University Press, 1982).

24. L. Goldberg, “Simple Models or Simple Processes?: Some Research on Clinical Judgments,” American Psychologist 23, no. 7 (July 1968).

25. Paul J. Hoffman, Paul Slovic, and Leonard G. Rorer, “An Analysis-of-Variance Model for the Assessment of Configural Cue Utilization in Clinical Judgment,” Psychological Bulletin 69, no. 5 (1968): 338.

26. Amos Tversky and Daniel Kahneman, “Judgment under Uncertainty: Heuristics and Biases,” Science 185, no. 4157 (1974): 1124–1131.

27. D. Ariely et al., “Coherent Arbitrariness: Stable Demand Curves without Stable Preferences,” The Quarterly Journal of Economics 118, no. 1 (2003): 73–106.

28. R. Clemen and R. Winkler, “Combining Probability Distributions from Experts in Risk Analysis,” Risk Analysis 19 (1999): 187–203.

29. Шуровьески Д. Мудрость толпы / Пер. В. Логвинова. – М.: МИФ, 2013. – 410 с.

30. Donald G. MacGregor and J. Scott Armstrong, “Judgmental Decomposition: When Does It Work?” International Journal of Forecasting 10, no. 4 (1994): 495–506.

31. Paul Meehl, “Causes and Effects of My Disturbing Little Book,” Journal of Personality Assessment 50 (1986): 370–375.

32. Michael Burns and Judea Pearl, “Causal and Diagnostic Inferences: A Comparison of Validity,” Organizational Behavior and Human Performance 28, no. 3 (1981): 379–394.

Глава 5. Матрицы риска, факторы лжи, заблуждения и другие препятствия, мешающие измерению риска

Наша конечная цель – постараться подтолкнуть сферу кибербезопасности к более активному применению количественных методов оценки рисков. В предыдущих главах было показано, что существует несколько методов, которые одновременно практичны (авторы применяли их в реальных ситуациях в области кибербезопасности) и заметно повышают эффективность оценки рисков, что доказано. Нами был предложен очень простой метод «один на один», основанный на замене компонентов матрицы рисков. Любой человек, обладающий техническими навыками для работы в сфере кибербезопасности, безусловно, владеет необходимыми умениями для реализации этого решения. Ознакомившись с основами, аналитик сможет построить свою работу на этом фундаменте с помощью методов, описанных в последующих главах.

Однако, несмотря на представленные ранее доказательства, многие из наших концепций, скорее всего, встретят сопротивление. Будут и священные коровы, и красные селедки, и черные лебеди, и прочие метафоры на зоологическую тематику, связанные с аргументами против использования количественных методов. Поэтому в данной главе нами будут рассмотрены все возражения, и стоит предупредить заранее, что это будет утомительно. Глава длинная, и не раз может казаться, что чему-то уделяется больше внимания, чем следовало бы. И все же необходимо разобрать по порядку каждый аргумент и подробно изложить наши доводы, сделав их настолько несокрушимыми, насколько позволят доказательства.

Изучение местности: опрос специалистов в области кибербезопасности

Готовясь к рассмотрению такого объемного вопроса, нам хотелось больше узнать о квалификации специалистов по кибербезопасности и их мнении по многим вопросам, которые мы затрагиваем. Нас интересовала степень принятия ими существующих подходов и общее впечатление о количественных методах. Поэтому мы попросили 171 специалиста в области кибербезопасности с разной квалификацией и из различных отраслей ответить на несколько вопросов о статистике и применении количественных методов в кибербезопасности. Участники опроса были набраны из ряда организаций, связанных с информационной безопасностью, в том числе из Общества по оценке информационных рисков (Society for Information Risk Assessment, SIRA), Ассоциации аудита и контроля информационных систем (Information Systems Audit and Control Association, ISACA) и трех крупнейших дискуссионных групп в социальной сети LinkedIn. В общей сложности было 63 вопроса, охватывающих биографические сведения участников, информацию об их организациях и нарушениях, с которыми им приходилось сталкиваться. Также имелись вопросы, связанные с использованием количественных методов в кибербезопасности, и опросник для определения степени их грамотности в области статистики.

Один из разделов, названный нами «Отношение к количественным методам» и содержавший 18 вопросов, помог определить, поддерживали ли специалисты по кибербезопасности применение подобных методов или относились к ним скептически. В рамках этого раздела выделялось еще как бы две подгруппы. Некоторые пункты опросов (семь, если точнее) были сформулированы с явно «антиколичественным» уклоном, например: «Информационная безопасность слишком сложна, чтобы создавать в ней модели с помощью количественных методов». Такие пункты позволяли гораздо четче обозначать сторонников и противников количественных методов. Другие пункты касались мнений, которые не были явно «антиколичественными», но указывали на признание ценности неколичественных методов, например: «Порядковые шкалы помогают выработать консенсус для определения дальнейших действий». В табл. 5.1 приведено несколько примеров из каждой подгруппы вопросов раздела «Отношение к количественным методам».

Нас порадовало, что большинство специалистов, работающих в сфере кибербезопасности (86 %), в целом принимали количественные методы, основанные на вероятностных моделях, т. е. их ответы на большинство вопросов, касающихся мнения о количественных методах, выражали поддержку этих методов. Например, большинство (75 %) согласились с утверждением, что «в кибербезопасности рано или поздно придется принять более сложный вероятностный подход, основанный на актуарных методах, тем, кто этого еще не сделал».

Таблица 5.1. Выборочные примеры вопросов об отношении к количественным методам

Однако только 32 % опрошенных всегда поддерживали количественные методы (т. е. 68 % не согласились с некоторыми утверждениями, где предпочтение отдавалось количественным, а не более мягким методам). Даже те, кто поддержал количественные методы, отметили, что следует продолжать применять более мягкие методы. Например, 64 % согласились с утверждением «широко используемые порядковые шкалы помогают выработать консенсус для определения дальнейших действий», но 61 % заявили, что используют матрицы рисков. Есть пусть и небольшое, но важное меньшинство (8,3 %), настроенное против количественных методов. Это вызывает беспокойство, поскольку подобные убежденные меньшинства способны как минимум замедлить внедрение количественных методов (авторам доводилось наблюдать несколько таких случаев). И даже большинство, в целом принимающее количественные методы, может не спешить внедрять более эффективные методы лишь из-за опасений, что замена кажется слишком сложной, или потому, что считают существующие методы оптимальными, несмотря на их недостатки.

Конечно, любой опрос, участие в котором добровольное, не защищен от систематической ошибки выборки, однако нельзя знать наверняка, будет ли тогда смещение больше в сторону поддержки или неприятия количественных методов. В любом случае уровень принятия количественных методов оказался достаточно высоким относительно наших ожиданий. Некоторые читатели могут поставить под сомнение методы, размер выборки и прочие аспекты, но далее мы обсудим статистическое значение и рассмотрим уровень научной квалификации сотрудников Hubbard Decision Research, проводивших анализ результатов.

Если вы сомневаетесь, что при оценке рисков кибербезопасности следует использовать больше количественных методов, посмотрите, будут ли обсуждаться в этой главе смущающие вас моменты, и изучите контраргументы. Если вы уже являетесь поклонником количественных методов и мы зря вас убеждаем, все равно прочитайте главу, чтобы иметь возможность более грамотно отвечать на возражения, когда с ними столкнетесь.

На первый взгляд, аргументы против использования количественных методов многочисленны и разнообразны, но, по нашему мнению, все они сводятся к нескольким основным типам заблуждений. Начнем с изучения набора методов, наиболее популярных в настоящее время в области оценки рисков кибербезопасности: порядковых шкал на матрице рисков. Выявив сложности и возражения, связанные с ними, мы надеемся перейти к реализации математически обоснованной оценки риска в области, которая очень в этом нуждается.

Какого цвета ваш риск? Общепринятая – и рискованная – матрица рисков

Любой эксперт по кибербезопасности узнает и, скорее всего, одобрит обычную матрицу рисков, основанную на порядковых шкалах. По нашему опыту, большинство руководителей готовы превозносить матрицу рисков, относя ее к «лучшим практикам». Как уже упоминалось в главе 1, ее шкалы представляют вероятность и воздействие, но не в вероятностном или денежном выражении, а в виде порядковых шкал с обозначениями «низкий», «средний», «высокий» или числовой градацией, скажем, от 1 до 5. Например, вероятность и воздействие могут быть обозначены цифрами 3 и 4 соответственно, а возникающий в результате риск отнесен в категорию «средний». Затем на основе шкал обычно строится двумерная матрица, а ее области далее разделяются на категории от «низкого» до «высокого» риска, или им присваиваются цвета (зеленый – низкая степень риска, а красный – высокая). Иногда порядковые шкалы используются без матрицы рисков, как в случае с методологией оценки рисков от OWASP^1, где несколько порядковых шкал объединяются в общий балл риска (примечание: у OWASP, как и у многих других, есть отличные рекомендации по контролю, но перечень средств контроля и методология управления рисками – не одно и то же). Шкалы применяются к показателям, которые могут указывать на риск (например, «легкость обнаружения» или «регулирующее воздействие»), а затем полученные оценки распределяются по категориям риска «высокий, средний, низкий» так же, как в матрице рисков.

Как уже упоминалось в главе 2, порядковые шкалы сами по себе не противоречат теории измерений или статистике. У них действительно есть обоснованная сфера применения. Но являются ли они заменой шкал отношений вероятности и воздействия? То есть могут ли они быть неким неясным заменителем вероятностей, которые уже используют в страховании, науке о принятии решений, статистике и многих других областях? И не должна ли показаться такая замена количественных показателей на порядковые шкалы типа «высокий» или «средний» столь же странной, как утверждение инженера, что масса детали самолета является «средней», или бухгалтера, составляющего отчет, что доход был «высоким» или «4» по пятибалльной шкале?

Это важные вопросы, поскольку матрицы рисков, использующие порядковые шкалы для представления вероятности и воздействия, – обычное явление в кибербезопасности. В ходе нашего исследования выяснилось, что для оценки рисков и информирования о них 61 % организаций в той или иной форме используют матрицы рисков, а 79 % – порядковые шкалы. Хотя бы частичное применение статистических методов, многочисленные доказательства эффективности которых приведены в главе 4, встречается гораздо реже. Например, только 13 % респондентов утверждают, что применяют симуляцию по методу Монте-Карло, а 14 % отметили, что так или иначе используют байесовские методы (хотя оба эти ответа на самом деле встречались гораздо чаще, чем ожидали авторы).

Порядковые шкалы в каком-либо виде продвигаются практически всеми организациями по стандартизации, консалтинговыми группами и поставщиками технологий безопасности, работающими в сфере кибербезопасности. Десятки, если не сотни, фирм помогают компаниям внедрять методы или программные средства с использованием балльных оценок и матриц рисков. Стандарт 31010 Международной организации по стандартизации (ISO) гласит, что метод карты рисков (в табл. А.1 стандарта «Матрица последствий и вероятностей») «строго необходим» для идентификации риска^2.

Очевидно, что эти методы глубоко вплетены в экосистему кибербезопасности. Однако, как бы широко ни использовались шкалы в кибербезопасности, нет ни одного исследования, указывающего на то, что применение подобных методов действительно помогает снизить риск. Не существует даже исследования, которое бы показало, что суждения отдельных экспертов хоть в чем-то эффективнее профессионального чутья. Безусловно, есть много сторонников таких методов. Но как бы убедительно они ни звучали, к их мнению стоит относиться с осторожностью из-за возможности эффекта аналитического плацебо, исследования которого приведены в главе 4.

С другой стороны, ряд исследований показывает, что типы шкал, используемых в матрицах риска, могут снизить точность суждений эксперта из-за добавления источников ошибок, которых не было бы, давай он оценку только с помощью профессионального чутья. Мы бы даже сравнили эти методы с добавлением в огонь ракетного топлива. В борьбе с угрозами, которые трудно обнаружить, и так достаточно неопределенности, зачем ее увеличивать, абстрагируясь от данных с помощью сомнительных шкал?

В книге The Failure of Risk Management Хаббард посвящает целую главу обзору исследований проблемы балльной оценки. В последующих изданиях его книги «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» источники информации на тему дополнялись по мере накопления результатов новых исследований, выявлявших трудности в использовании шкал. Чтобы прояснить данный вопрос, прибегнем к тому же методу, что и в главе 4, т. е. рассмотрим исследования, касающиеся трех ключевых аспектов.

• Психология шкал. Психологические исследования, посвященные использованию вербальных шкал, подразумевающих градацию от «маловероятно» до «как правило», для оценки вероятности события и изучению влияния специфики вербальных или числовых порядковых шкал (например, от 1 до 5) на совершаемый выбор.

• Математика и матрицы рисков. Математические проблемы, связанные с попытками провести вычисления с порядковыми шкалами или представить их на матрице рисков.

• Совокупность этих проблем. Каждая из двух вышеперечисленных проблем достаточно серьезна сама по себе, но стоит привести и результаты исследований, показывающих, что происходит, если рассматривать их в совокупности.

Психология шкал и иллюзия общения

Порядковые шкалы широко применяются в силу простоты, а вот психология их использования на самом деле не так проста. Эксперта, применяющего шкалы, следует рассматривать как инструмент. Инструмент может демонстрировать неожиданное поведение, и необходимо изучить условия, что его вызывают. Как и при анализе компонентов ранее, мы будем обращаться к исследованиям в других областях, когда исследований в области кибербезопасности окажется недостаточно.

Одним из исследуемых компонентов шкал риска является смысл слов, употребляемых для описания вероятности. Исследователями, среди которых психолог Дэвид Будеску, были опубликованы данные о том, насколько по-разному люди интерпретируют понятия вроде «маловероятно» или «крайне вероятно», предназначенные для передачи вероятности. Очевидно, что такая неоднозначность допускает ряд различных трактовок, но Будеску задался вопросом, насколько они при этом могут отличаться. В своем эксперименте он предлагал испытуемым читать фразы из доклада Межправительственной группы экспертов по изменению климата (МГЭИК), в каждой из которых фигурировала одна из семи категорий вероятности (например, «весьма вероятно, что экстремальные температуры, волны жары и сильные осадки будут повторяться все чаще»). Будеску обнаружил, что люди очень по-разному интерпретируют степень вероятности, подразумеваемую во фразе. Так, он выявил, что «весьма вероятно» может означать любую вероятность в диапазоне от 43 до 99 %, а «маловероятно» может означать как низкую вероятность (8 %), так и высокую (66 %), в зависимости от того, кого спрашивают^3.

В исследовании Будеску участвовали 223 студента и преподавателя из Иллинойсского университета, а не профессионалы, занимающиеся интерпретацией такого рода исследований. Поэтому возникает закономерный вопрос, распространяются ли эти выводы на более подкованную аудиторию. К счастью, существует исследование, подкрепляющее результаты Будеску, но в области анализа разведданных, которая может показаться ближе аналитикам из сферы кибербезопасности. В книге Psychology of Intelligence Analysis, написанной на основе рассекреченных документов ЦРУ и выпущенной в 1999 году, бывший аналитик ЦРУ Ричардс Дж. Хойер – младший рассказывает об оценке схожих вероятностных утверждений 23 офицерами НАТО^4. Аналогично результатам Будеску для выражения «весьма вероятно», Хойер обнаружил, что под фразой «очень вероятно» понимаются разные вероятности, начиная от 50 % и заканчивая почти 100 %. И точно так же согласуются с данными Будеску результаты Хойера для выражения «маловероятно», ответы для которого варьировались от 5 до 35 %. На рис. 5.1 показан диапазон ответов в исследовании Хойера.

В ходе проведения нами опроса 28 % специалистов по кибербезопасности сообщили, что пользуются вербальными или порядковыми шкалами, где вероятность, которую эти шкалы должны обозначать, даже не определена. Некоторые пользователи шкал пытаются уменьшить неоднозначность, предлагая конкретные определения для каждой фразы, например: «очень маловероятно» – вероятность менее 10 % (фактически, так и написано в стандарте NIST 800-30)5. В нашем опросе 63 % респондентов, использующих порядковые шкалы, указали, что они применяют вербальные или числовые порядковые шкалы, где вероятности определяются подобным образом. Однако Будеску обнаружил, что определения тоже не помогают.

Даже в ситуации, когда каждому уровню вербальной шкалы был присвоен свой диапазон вероятности (например, «весьма вероятно» означало «более 90 %», а «очень маловероятно» – «менее 10 %»), его не придерживались более чем в половине случаев. Другими словами, даже когда участникам четко объясняли значение терминов, они интерпретировали их в контексте утверждений, в которых термины были представлены. То есть фраза «весьма вероятно» имела для испытуемых разное значение, когда звучала применительно к экстремальным температурам, таянию ледников или повышению уровня моря.

Рис. 5.1. Варианты интерпретаций сотрудниками НАТО фраз, обозначающих степень вероятности

Источник: Хойер, Psychology of Intelligence Analysis, 1999

В табл. 5.2 показано, насколько широко испытуемые в исследовании Будеску интерпретировали вербальные шкалы, даже когда им были даны конкретные указания относительно значений. Оказалось, что около половины респондентов проигнорировали рекомендации (возможно, само понятие «рекомендации» предполагает слишком много толкований).

Отдельные крайние значения результатов требуют пояснений. При выборе варианта «очень маловероятно» наблюдается удивительный диапазон от 3 до 75 %. Значение 75 % было выбрано не единожды. Две трети респондентов не следовали рекомендациям, т. е. интерпретировали это выражение, как обозначающее более 10 %. Как такое может быть? Будеску обнаружил очень слабую взаимосвязь между интерпретацией степени вероятности испытуемыми и их взглядами на исследования климата, иначе говоря, они не наделяли события более высокой вероятностью только из-за большей озабоченности исследованиями климата. Однако, как отмечает Будеску, определенное влияние на ответы могла оказать двусмысленность некоторых утверждений. Если утверждение касалось вероятности экстремальных температур, то испытуемый мог добавить в оценку вероятности и неопределенность в понимании термина «экстремальная температура».

Таблица 5.2. Различия в понимании отдельных общепринятых терминов, используемых для выражения неопределенности в докладе МГЭИК

Источник: Дэвид В. Будеску, Стивен Брумелл и Хан-Хуэй Пор, Иллинойский университет в Урбане-Шампейне

Хаббард предлагает еще одно возможное объяснение. Он наблюдал на практике в процессе обсуждения рисков с клиентами, как событие оценивалось «крайне вероятным» отчасти из-за того, какое воздействие оно могло оказать. Конечно, воздействие и вероятность следует оценивать по отдельности, но менеджеры и аналитики делали заявления вроде: «Вероятность 10 %, что событие будет происходить ежегодно, слишком велика для такого крупного события, поэтому считаю, что 10 %-ный шанс его наступления крайне вероятен». Естественно, это всего лишь случай из практики, и мы не полагаемся на такого рода наблюдения, ведь данных Будеску и Хойера вполне достаточно, чтобы очертить проблему. Однако как потенциальное объяснение сам факт наличия таких заявлений указывает на возможность того, что некоторые люди весьма необдуманно пытаются объединить вероятность, воздействие и собственную неприязнь к риску. Им нужны методы, которые раскрывали бы смысл этих разных понятий.

Более того, чтобы адекватно определить вероятность события, необходимо учитывать период времени, в течение которого оно должно произойти. Если, например, указывается 10 %-ная вероятность события, значит ли это, что 10 % – вероятность его наступления в следующем году? Или в следующем десятилетии? Очевидно, что эти оценки сильно различаются. Как получается, что руководство или аналитики могут прийти к согласию по данным пунктам, даже не указав такую элементарную единицу измерения риска?

Все эти факторы в совокупности создают то, что Будеску называет «иллюзией коммуникации». Люди могут считать, что они успешно договорились о рисках, но при этом совершенно по-разному понимать сказанное. Им может казаться, что они пришли к соглашению, если все говорят, что один риск является «средним», а другой – «высоким». И даже когда вероятность обозначается с помощью конкретных чисел, слушатель или докладчик могут соотносить собственную рискоустойчивость с оценкой вероятности или полагать, что указана вероятность наступления события в течение более длительного периода времени, чем подразумевает собеседник.

До сих пор обсуждалась только психология интерпретации людьми неоднозначной терминологии в области риска, но это еще не все. Помимо использования неколичественных обозначений для вероятностей и влияния, оказываемого прочими неясностями, наблюдаются любопытные реакции на субъективные порядковые шкалы в целом. Относительно произвольные характеристики шкал оказывают гораздо большее влияние на суждения, чем можно было бы ожидать.

Например, профессор Крейг Фокс из Калифорнийского университета в Лос-Анджелесе провел исследование, показавшее, что особенности деления шкал оказывают неожиданное влияние на ответы, независимо от того, насколько точно определены отдельные значения^6. На шкале от 1 до 5 значение «1» будут выбирать чаще, чем на шкале от 1 до 10, даже если «1» определяется одинаково в обоих случаях (скажем, «1» может означает перерыв в работе длительностью менее 10 минут или несанкционированный доступ, повлекший за собой убытки на сумму менее 100 000 долл.). Кроме того, существует множество исследований, показывающих, что и другие произвольные характеристики шкал необычно влияют на выбор ответа, и сильнее, чем кажется. К таким исследованным характеристикам относятся, например, указание соответствующих порядковых числовых шкал в дополнение к вербальным шкалам или вместо них^7 и выбор направления шкалы (является ли «5» высоким баллом или низким)8.

Подобные проблемы типичны в психометрии и проектировании опросов для исследований. Опросы разрабатываются с использованием различных видов контроля и тестирования элементов, чтобы можно было оценить влияние когнитивных искажений. Они называются «артефактами» исследования, и при формулировании выводов их можно игнорировать. Однако нет никаких доказательств, что какие-либо из перечисленных выше подобных факторов учитывались бы при разработке шкал оценки риска. И поэтому нельзя воспринимать эти методы как должное, необходимо принимать во внимание психологию того, как оцениваются риски и как при этом используются инструменты измерений.

Аналитики разведданных должны отдавать себе отчет в том, как проходит процесс рассуждений. Они должны думать о том, как выносят суждения и делают выводы, а не только о самих суждениях и выводах.

Ричардс Дж. Хойер – младший (1927–2018). Psychology of Intelligence Analysis («Психология анализа интеллекта»)

В чем не согласуется матрица рисков

На первый взгляд, математика, лежащая в основе шкал или матриц рисков, очень проста. Однако, как уже продемонстрировал пример с психологией шкал, стоит копнуть поглубже, и все становится не столь очевидно. Это может показаться немного странным, но, как и в случае с любым другим компонентом анализа риска, масштаб проблемы в целом означает, что не следует оставлять без внимания такой широко используемый инструмент.

Вероятно, никто не занимался изучением данной темы дольше, чем Тони Кокс, доктор философии, выпускник Массачусетского технологического института и эксперт по рискам. Многие из его работ посвящены проблемам, которые привносят порядковые шкалы в процесс оценки риска, и тому, как эти шкалы затем преобразуются в матрицу рисков (которая затем часто преобразуется в области риска от «низкого» до «высокого»). Кокс исследует всевозможные неочевидные последствия применения различных видов порядковых шкал и матриц риска и то, как они могут привести к ошибкам при принятии решений^9.

Одну из таких ошибок он называет «сжатием диапазона». Сжатие диапазона – своего рода экстремальная ошибка округления, возникающая из-за того, каким образом непрерывные величины вероятности и воздействия сводятся к одному порядковому значению. Неважно, как категории непрерывных величин делятся на порядковые, приходится делать выбор, который нивелирует ценность работы. Например, верхняя граница воздействия может быть определена как «убытки в размере 10 млн долл. или более», а значит, суммы 10 млн долл. и 100 млн долл. относятся к одной категории. Чтобы это скорректировать, придется либо поднять первое значение категории выше 10 млн долл. – а значит, диапазоны в нижних категориях также придется расширять, – либо увеличить число категорий.

Сжатие диапазона усугубляется еще больше при объединении двух порядковых шкал в матрицу. В результате, как отмечает Кокс, в одной ячейке (т. е. позиции пересечения строки и столбца матрицы) могут оказаться два очень разных риска, а в ячейку с более высоким риском может попасть менее серьезный риск, чем в ячейку с низким риском. Чтобы убедиться в этом, рассмотрим матрицу рисков в табл. 5.3, составленную на основе реальной матрицы, продвигаемой крупной консалтинговой компанией.

Прежде всего разберем, как два совершенно разных риска могут оказаться в одной и той же ячейке. Возьмем два риска для категории вероятности «редко», которая представляет диапазон «от более 1 до 25 %», с максимальными убытками «10 млн долл. или более»:

• риск A: вероятность – 2 %, воздействие – 10 млн долл.;

• риск Б: вероятность – 20 %, воздействие – 100 млн долл.

Таблица 5.3. Матрица рисков, иллюстрирующая проблему сжатия диапазона

С помощью этой информации Кокс рассчитывает ожидаемые убытки (взвешенные по вероятностям убытки), так же как делали бы актуарии для многих видов рисков, и затем сравнивает полученные произведения вероятности и воздействия рисков: 200 000 долл. для риска А (2 % × 10 млн долл.) и 20 млн долл. для риска Б (20 % × 100 млн долл.). Другими словами, для актуария риск Б в 100 раз значительнее риска А. Однако эти два совершенно разных риска располагаются в одной и той же ячейке (т. е. в одной и той же строке, в одном и том же столбце) на матрице рисков!

Далее рассмотрим приведенный Коксом пример с двумя разными рисками в ячейках, расположенных в обратном порядке по ожидаемым убыткам. Опять же, дело в том, что для отображения непрерывных величин с широкими диапазонами в виде дискретных промежутков некоторым «промежуткам» на осях вероятности и воздействия приходится присваивать широкие диапазоны значений. Итак, вот еще два риска:

• риск A: вероятность – 50 %, воздействие – 9 млн долл.;

• риск Б: вероятность – 60 %, воздействие – 2 млн долл.

В данном случае риск А имеет ожидаемые убытки в размере 4,5 млн долл., а ожидаемые убытки от риска Б составляют 1,2 млн долл. Однако если следовать правилам представленной матрицы, то риск Б считался бы высоким, а риск А – всего лишь средним. По словам Кокса, все вместе эти свойства делают матрицу рисков буквально «более чем бесполезной». Как бы невероятно это ни звучало, он утверждает (и демонстрирует), что матрица может быть даже менее эффективной, чем случайно расставленные приоритеты рисков.

Кто-то возразит, что аргументы надуманны, ведь, в отличие от примеров, на практике обычно нет конкретных вероятностей и воздействий, а лишь весьма смутные представления об их диапазонах. Но неясность лишь скрывает проблемы, а не решает вопрос недостатка информации. Кроме того, Кокс указывает, что в матрицах риска игнорируются корреляции между событиями. Давая нам интервью, он заявил, что «общепринято полностью игнорировать корреляции между уязвимостью, последствиями и угрозой. А ведь корреляции могут полностью изменить понимание ситуации для управления рисками».

Кокс видит потенциал в объединении вычисляемых рисков и рискоустойчивости: «Отношение к риску, принятое при оценке неопределенных последствий, никогда не раскрывается в сочетании с матрицей рисков. Однако, не зная его, невозможно расшифровать, что должны означать эти рейтинги или как они могут измениться, если оценку будет делать человек с иным отношением к риску. Оценки, показанные в матрице, отражают неизвестную смесь фактических и субъективных компонентов». И задает, похоже, самый главный вопрос: «Проблема возникает, когда, глядя на шкалу или матрицу, вы спрашиваете: „На что я смотрю?“»

Можно заявить, что это всего лишь особенность конкретной матрицы рисков, а с другой матрицей и другими категориями не возникнет такой проблемы. На самом же деле подобные примеры несоответствий все равно останутся, независимо от того, как определяются диапазоны воздействия и вероятности. Кокс даже работал над поиском способа избежать хотя бы некоторых из этих проблем. Его «теорема о матрице рисков» показывает, как соблюдение ряда правил и условий распределения категорий может привести к построению по крайней мере слабо согласованной матрицы. Он вполне четко определяет понятие «слабо согласованная» и никогда не признаёт, что матрица может являться таковой полностью. В трех словах – матрицы усиливают неоднозначность. Кокс резюмирует свою позицию, говоря: «Даже теоретически не существует однозначного способа составления таких рейтингов в виде матрицы рисков, когда лежащие в ее основе степени серьезности неопределенны».

Не все методы балльных оценок задействуют матрицы риска. Выше уже говорилось, к примеру, что в методах, рекомендуемых OWASP для получения общей оценки риска, просто суммируются несколько порядковых шкал. И тогда же мы упомянули, что этот и другие подобные методы в настоящее время являются приоритетными в сфере безопасности в различных системах оценки, включая общую систему оценки уязвимостей (Common Vulnerability Scoring System, CVSS), общую систему оценки слабых мест (Common Weakness Scoring System, CWSS), общую систему оценки конфигураций (Common Configuration Scoring System, CCSS) и т. п. Все эти системы измерений применяют неподходящие математические вычисления к нематематическим объектам с целью обобщения некоего понятия риска. У них нет тех проблем, что у матрицы рисков, но есть другие, например невозможность с точки зрения математики применять операции сложения и умножения к порядковым шкалам. Как отмечается нами в презентациях на данную тему, это все равно что сказать «птицы, умноженные на оранжевый, плюс рыбы, умноженные на зеленый, равно высокий». И, конечно же, методы, подобные применяемым в CVSS, столкнутся с теми же проблемами психологии восприятия шкал (обсуждались выше), что и любая матрица рисков.

Усиливающие эффекты. Дополнительные исследования против матрицы рисков (как будто было мало)

Упоминавшиеся выше эффекты накладываются друг на друга, т. е. вместе они сильнее затрудняют управление рисками, чем по отдельности. Данные, полученные из множества источников, показывают, что объединять шкалы и матрицы риска вредно.

В 2008 и 2009 годах Хаббард собрал данные о рисках кибербезопасности от пяти разных организаций. Они предоставляли ответы нескольких сотрудников, каждый из которых давал десятки оценок различных рисков. В общей сложности было получено чуть более 2000 отдельных ответов. Хаббард обнаружил, что ответы можно было четко поделить на группы – примерно 76 % ответов соответствовали одному из двух значений шкалы («3» или «4» по пятибалльной шкале). Иначе говоря, большинство ответов сводилось к выбору между двумя конкретными значениями шкалы из пяти. Матрица, которая должна была быть 5 × 5, чаще всего оказывалась матрицей 2 × 2. Прямым результатом группировки стало снижение разрешающей способности, т. е. увеличение ошибки округления и уменьшение объема информации. Объединив результаты с данными другого исследования, Хаббард предположил, что группировка может только усугубить проблемы, обнаруженные в предыдущих экспериментах.

Совместно с психологом Диланом Эвансом Хаббард опубликовал в 2010 году полученные результаты в журнале IBM Journal of Research & Development (Эванс – компетентный ученый и профессор, также занимавшийся изучением влияния плацебо и его использования в клинических испытаниях лекарств). В их работе был представлен исчерпывающий обзор существовавшей на тот момент литературы по этому вопросу, а также наблюдения Хаббарда по результатам анализа оценок на основе порядковых шкал. В итоге в работе был сделан следующий вывод:

Проблема, рассматриваемая в данной статье, серьезна. Простота использования методов балльных оценок в сочетании с трудностями отслеживания результатов в реальности, в том числе из-за их задержки во времени, означает, что распространение таких методов вполне может быть обусловлено исключительно их предполагаемыми преимуществами, а не наличием объективной ценности^10.

Другое, более современное и (как Хаббард с удовольствием признаёт) более комплексное исследование, в ходе которого была изучена психологическая литература, теоретические вопросы и исходные данные, показало аналогичные результаты. В статье для журнала Economics & Management Общества инженеров-нефтяников (Society of Petroleum Engineers, SPE) авторы Филип Томас, Рейдар Брэтвольд и Дж. Эрик Бикель проанализировали 30 работ, в которых описывались различные матрицы рисков (в основном используемые в нефтяной и газовой промышленности). Они не только представили полноценный обзор всех источников литературы (включая Будеску, Кокса, Хаббарда, Эванса и многих других), но и изучили влияние изменения вида матрицы риска и способа ранжирования различных рисков, а затем измерили, как матрицы рисков искажают данные^11.

Опираясь на выводы Кокса, Томас с соавторами показали, что различные виды матриц рисков влияли на ранжирование рисков таким образом, как их разработчики, вероятно, не предполагали. Например, в пяти из 30 изученных ими видов матриц рисков порядок оценки был инвертирован, т. е. высокому воздействию или вероятности присваивалось значение «1», а не «5». Затем в таких матрицах оценки вероятности и воздействия перемножались, как и во многих других, но меньший результат указывал на высокую степень риска. Разработчики этих методов, возможно, думали, что вид матрицы – условность, никак не влияющая на ранжирование рисков. На самом же деле все с точностью до наоборот. Также Томас и соавторы изучили влияние различных способов распределения вероятности и воздействия по нескольким дискретным порядковым значениям (например, категория «маловероятно» определяется диапазоном от 1 до 25 %, а умеренное воздействие – от 100 000 до 1 млн долл.). И снова было установлено, что произвольный выбор вида сильно сказывается на ранжирование рисков.

Кроме того, они определили «фактор лжи» для нескольких типов матриц риска. Фактор лжи – величина, определенная Эдвардом Тафти и Питером Грейвсом-Моррисом в 1983 году на основании того, насколько сильно в диаграммах намеренно или непроизвольно искажаются данные из-за вводящих в заблуждение особенностей их отображения^12. По сути, это разновидность сжатия диапазона, подробно рассмотренному Коксом. С помощью специального метода вычисления фактора лжи Томас с соавторами обнаружили, что соотношение искажений данных, усредненных по различным видам матриц рисков, превышало 100. Чтобы понять, что означает фактор лжи, равный 100, нужно иметь в виду, что при объяснении действия метода Эдвард Тафти приводил пример, который называл «чудовищной ложью», и его фактор лжи составлял 14,8.

По мнению Томаса и его соавторов, в любой матрице рисков заложены «грубые несогласованность и произвол». Их вывод согласуется с выводами всех других исследователей, всерьез занимавшихся изучением матриц рисков:

Как можно утверждать, что метод, который неравномерно и неконтролируемо искажает информацию, лежащую в основе инженерных решений в отрасли, относится к лучшим практикам? Бремя доказательства лежит полностью на тех, кто рекомендует использовать такие методы: пусть попробуют доказать, что очевидные несоответствия не только не мешают процессу принятия решений, но и повышают его эффективность, как часто утверждается.

Выводы были озвучены на вебинаре в рамках курса лекций по принятию стратегических решений и управлению рисками в Стэнфорде. Чтобы донести до слушателей полученные результаты, они поместили на один из слайдов презентации большой прямоугольник с надписью «Теория тепловых карт и эмпирическое тестирование» (рис. 5.2). К серьезной теме авторы исследования подошли с юмором – прямоугольник был пуст.

Рис. 5.2. Теория тепловых карт и эмпирическое тестирование Источник: P. Thomas, R. Bratvold, and J. E. Bickel, “The Risk of Using Risk Matrices,” Society of Petroleum Engineers Economics & Management 6, no. 2 (April 2014): 56–66

Если вам кажется, что выводы должны касаться только нефтегазовой отрасли (целевая аудитория журнала, в котором опубликовано исследование), рассмотрим пример НАСА, упомянутый в главе 4. В этом исследовании проводилось сравнение метода Монте-Карло и статистических методов, основанных на регрессии, с более мягкими методами. Более мягким методом, о котором шла речь, была созданная НАСА версия матрицы рисков 5 × 5. У ученых и инженеров миссии, хорошо знавших свою сферу деятельности, надо полагать, было преимущество перед бухгалтерами, и тем не менее бухгалтеры с использованием симуляций по методу Монте-Карло и данных за прошлые периоды составили более точные прогнозы, чем ученые и инженеры с помощью матрицы рисков.

Наконец, подобные шкалы никак не учитывают ограничения экспертных суждений, как описано в главе 4. Ошибки экспертов только усугубляются из-за дополнительных погрешностей, привносимых шкалами и матрицами. Мы согласны с решением, предложенным Томасом и соавторами. В сфере кибербезопасности (или других областях анализа рисков, где также используются матрицы рисков) не надо пытаться заново изобретать количественные методы, хорошо зарекомендовавшие себя и применяемые для решения многих не менее сложных проблем. Томас и соавторы рекомендуют подходящие инструменты анализа решений, использующие вероятности в явном виде для выражения неопределенности. Они сравнивают матрицы рисков с анализом решений следующим образом:

Процедуры и инструменты, используемые при анализе решений, последовательны, лишены недостатков, присущих матрицам риска, и обеспечивают ясность и прозрачность ситуации принятия решений. Лучшее, что мы можем сделать для принятия качественных решений по управлению рисками, – применение развитого и последовательного набора процедур и инструментов, предусмотренного наукой о принятии решений.

Чтобы лучше понять различия, просто сравните матрицу рисков с кривой вероятности превышения потерь, представленной в главе 3. Напомним, что кривая вероятности превышения потерь охватывает все виды неопределенности в отношении воздействия, независимо от того, насколько широким может быть диапазон, а кривая рискоустойчивости дает ясное представление о том, какой риск приемлем для руководства организации. Итак, как в матрице рисков допустить большую неопределенность в отношении воздействия, если воздействие не укладывается в одну категорию? Как в матрице рисков однозначно отразить рискоустойчивость руководства, позволяя точно оценить варианты?

Как и авторы данной книги, Томас, Брэтвольд и Бикель приходят к выводу, который уже должен стать очевидным для всех, кто прочитал результаты исследований:

С учетом обозначенных проблем кажется вполне закономерным, что не следует использовать матрицы рисков для принятия решений, имеющих какие-либо последствия.

Надеемся, на этом вопрос исчерпан.

Exsupero Ursus и другие заблуждения

Знаете, есть такой старый анекдот о двух туристах, собирающихся в поход в лес (если вы его уже много раз слышали, заранее благодарим за терпение, но рассказываем мы его не просто так).

Один турист надел кроссовки вместо обычных туристических ботинок. Другой его спрашивает:

– У тебя ботинки порвались?

А первый в ответ:

– Нет, просто слышал, что сегодня в лесу были медведи, вот и надел кроссовки, чтобы бежать быстрее.

Приятель, смутившись, напоминает ему:

– Но ты же знаешь, что не сможешь обогнать медведя?

А турист в кроссовках отвечает:

– Мне не нужно обгонять медведя. Мне надо лишь обогнать тебя.

Этот старый (и всем надоевший) анекдот дал название особому заблуждению, возникающему при оценке любых моделей или методов принятия решений. Мы называем это заблуждение Exsupero Ursus или, если вам не нравится заумный псевдонаучный термин на латинском, который придуман нами с помощью Google Translate, можно называть его заблуждением «обогнать медведя». Суть заблуждения примерно следующая: если существует хоть один пример, что конкретный метод не сработал или имеет даже незначительные недостатки, то следует сразу переходить к другому методу, не выясняя, нет ли у альтернативного метода худших недостатков и каковы результаты его применения.

Нам часто встречаются менеджеры и руководители, которым трудно поверить, что количественные модели могут быть эффективнее профессионального чутья или качественных методов. Таким был и сотрудник отдела операционных рисков, который бросил вызов количественным методам, спросив: «Разве можно смоделировать все факторы?» Естественно, модели никогда не моделируют «все» факторы и даже не пытаются это делать. Сотрудник находился в заблуждении Exsupero Ursus. Верил ли он, что, опираясь на собственное суждение или применяя более мягкий метод балльной оценки, учитывает буквально все факторы? Конечно, нет. Он просто сравнивал количественный метод с неким идеалом, который, очевидно, охватывает все возможные факторы, вместо сравнения с реальными альтернативами: собственным суждением или другими предпочтительными методами.

Помните: упомянутые в данной книге количественные методы продвигаются нами потому, что мы можем сослаться на конкретные исследования, доказывающие, что они превосходят (в смысле измеримо превосходят) конкретные альтернативы вроде профессионального чутья. Согласно популярной цитате великого статистика Джорджа Бокса: «Все модели ошибочны, но некоторые полезны». И исследования ясно показывают, что одни модели измеримо полезнее других, они эффективнее прогнозируют наблюдаемые результаты и с большей вероятностью приведут к желаемому исходу. Если указывать на недостатки какой-либо модели, то такие же требования следует применять и к предлагаемому альтернативному варианту. В первой модели может быть ошибка, но если у альтернативы еще больше ошибок, стоит все же придерживаться первой.

Приведенное фундаментальное заблуждение, похоже, лежит в основе ряда аргументов против использования количественных вероятностных методов. Достаточно перечислить лишь некоторые из них, и станет понятно, что каждое возражение можно парировать одним и тем же ответом.

Мнения о целесообразности применения количественных методов: суровая правда

Некоторые эксперты по кибербезопасности, принимавшие участие в опросе (18 %), заявили, что согласны с утверждением «следует использовать порядковые шкалы потому, что вероятностные методы невозможно применить в сфере кибербезопасности». Оно опровергается тем фактом, что все обсуждаемые здесь методы уже много раз применялись в реальных организациях. Придерживаться мнения, что эти методы непрактичны, – все равно что говорить пилоту авиакомпании, будто коммерческие полеты нецелесообразны. Так откуда же на самом деле берется это неприятие?

Наш опрос выявил одну из возможных причин такой позиции: принятие количественных методов сильно зависит от уровня статистической грамотности. Один из наборов вопросов был нацелен на проверку базовых знаний в области статистики и вероятностных концепций. Оказалось, что те, кто считал количественные методы непрактичными или видел другие препятствия для их использования, гораздо чаще демонстрировали низкий уровень статистической грамотности.

Раздел, посвященный статистической грамотности, содержал 10 вопросов, касавшихся основ статистики. Многие из них сформулированы на основе вопросов, использовавшихся в других исследованиях уровня статистической грамотности, которые проводил Канеман с соавторами. Некоторые вопросы касались распространенных ложных представлений о корреляции, размере выборки, выводах на основе ограниченных данных, значении термина «статистически значимый» и базовом понятии вероятности (см. пример в табл. 5.4).

Для дальнейшего ознакомления полный отчет об исследовании можно скачать с сайта www.howtomeasureanything.com/cybersecurity.

Затем мы сравнили статистическую грамотность с отношением, выявленным с помощью семи вопросов с «антиколичественным» уклоном из раздела «Отношение к количественным методам». Выявленная в итоге взаимосвязь между статистической грамотностью и положительным отношением к использованию количественных методов представлена на рис. 5.3.

Таблица 5.4. Пример вопроса для определения уровня статистической грамотности

Обратите внимание, что показатель «равно медианному или ниже» в плане отношения к количественным методам не обязательно означает, что участники опроса были в целом против количественных методов. Большинство весьма благосклонно восприняли количественные методы, и поэтому среднее число положительных ответов все еще можно относить к поддержке методов, а не их отрицанию, просто у людей из категории «равно медианному или ниже» было больше сомнений по поводу количественных методов, чем у тех, кто ответил положительно на более чем половину вопросов про отношение к ним. Для статистической грамотности, однако, медианный балл (3 из 10) показывал, насколько хорошо человек ответил, если бы просто угадывал ответы (учитывая число вариантов ответов на вопрос, при случайном выборе любого ответа, кроме «Я не знаю», в среднем получится 2,3 правильного ответа из 10). Те, кто дал меньше правильных ответов, не только хуже угадывали, но и верили в распространенные заблуждения. А те, у кого результаты по статистической грамотности были выше медианных, справились лучше, чем могли бы при простом угадывании.

Рис. 5.3. Сравнение уровня статистической грамотности и отношения к количественным методам

Теперь, когда мы прояснили этот момент, видно, что у участников, набравших выше медианного значения по статистической грамотности, в большинстве случаев и в ответах на вопросы об отношении к количественным методам значения были больше медианных. Аналогичным образом участники, у которых количество положительных ответов на вопросы про отношение к количественным методам превысило медианное значение, с большей вероятностью обладали и хорошим уровнем статистической грамотности. Выводы справедливы даже с учетом малого количества вопросов в опроснике. Зная количество вопросов и число вариантов ответа на вопрос, можно провести статистическую проверку. Проведенные нами вычисления показывают, что взаимосвязь между статистической грамотностью и отношением к статистике является статистически значимой даже при небольшом количестве вопросов на одного респондента (для хорошо разбирающихся в статистике читателей отметим, что P-значение этих результатов менее 0,01). Благодаря опросу также удалось сделать еще рад интересных наблюдений.

Прочие наблюдения, связанные со статистической грамотностью и принятием количественных методов

• Четверть испытуемых, хуже других настроенных в отношении количественных методов (нижние 25 %), в два раза чаще просто пропускали вопросы на статистическую грамотность, чем те, кто попал в четверть наиболее поддерживающих количественные методы.

• Больший опыт в сфере кибербезопасности соотносится с позитивным отношением к количественным методам. Также выяснилось, что те, кто хотя бы пытался применять количественные методы вроде симуляций по методу Монте-Карло, более склонны к их поддержке. Согласно полученным данным, 23 % из тех, кто положительно относился к количественным методам, пробовали симуляции Монте-Карло, в то время как из противников количественных методов ими пользовались только 4 % испытуемых. Не станем утверждать, что положительное отношение к количественным методам вызвало желание попробовать метод Монте-Карло или что его применение сделало их сторонниками количественных показателей. Но связь налицо.

• Те, кто хуже всех справился с тестом на статистическую грамотность, чаще переоценивали свои навыки в области статистики. Это согласуется с феноменом, известным как эффект Даннинга – Крюгера^13. Существует тенденция, что люди, плохо справляющиеся с каким-либо тестом (на вождение, базовую логику и т. д.), склонны верить, что справляются с задачей лучше, чем есть на самом деле. В ходе исследования выяснилось, что 63 % участников с уровнем статистической грамотности ниже среднего ошибочно определяли уровень своих знаний в области статистики как средний или выше среднего. Поэтому те, кто плохо справляется с тестами на статистическую грамотность, обычно не осознают, что их представления неверные.

На самом деле все это лишь эмпирически подтверждает подозрения, которые у нас возникли после многочисленных отдельных наблюдений. Люди, считающие непрактичным применение количественных методов в сфере кибербезопасности, думают так не потому, что знают больше о кибербезопасности, а потому, что недостаточно много знают о количественных методах. Если вы полагаете, что разбираетесь в количественных вероятностных методах, но не согласны с тем, что они применимы в кибербезопасности, не вините гонца. Мы всего лишь сообщаем результаты наблюдений.

Тех же, кто в большинстве своем считает, что можно применять более эффективные методы, и поддерживает их изучение, не требуется убеждать лишний раз. Но, возможно, вы сможете использовать эту информацию для выявления причин внутрифирменного неприятия, и даже сумеете повлиять на будущие решения по обучению и найму персонала, чтобы повысить осведомленность о количественных методах в кибербезопасности.

Кому-то это, возможно, будет тяжело признать, но вывод из нашего опроса столь же неизбежен, сколь и суров. Кибербезопасность – крайне важная тема, вызывающая растущую озабоченность, и мы не можем позволить себе тянуть с решением этой проблемы. Как говорилось в главе 4, а также ранее в данной главе, нужно непредвзято оценивать все модели, в том числе количественные, поэтому мы не стремимся заставить критиков замолчать. Однако пустые возражения против количественных методов следует воспринимать всего лишь как боязнь статистики, порожденную статистической безграмотностью.

Уверены, что получим письма от читателей по этому поводу. Но расчеты обоснованы, а в аргументах против нашего вывода будут содержаться серьезные изъяны (мы знаем, поскольку уже много раз с ними сталкивались). В проведении нашего анализа помогал сотрудник компании Hubbard Decision Research Джим Клинтон – старший специалист по количественному анализу. У него докторская степень в области когнитивной психологии, и им опубликованы научные исследования по применению передовых статистических методов в экспериментальной психологии. Так что да, он знал, что делал, когда оценивал статистическую достоверность опроса. Упоминаем об этом, предвосхищая возражения касательно методов опроса, количества и типа предложенных вопросов и статистической значимости в целом. Методы, размер выборки и корректно составленные ответы на вопросы для определения уровня статистической грамотности вполне валидны. Однако нам известно по прошлому опыту и из результатов этого опроса, что найдутся заблуждающиеся в оценке своих познаний о статистических методах люди, которые решат, что раз выводы противоречат неким математическим вычислениям, производимым ими в уме, значит, результаты опроса ошибочны. Это не так. Мы не прикидывали в уме. Мы проводили реальные вычисления. Теперь давайте продолжим.

То же самое заблуждение, другие формы

Согласившиеся с утверждением «порядковые шкалы или качественные методы устраняют проблемы количественных методов» 29 % испытуемых были подвержены разновидности заблуждения Exsupero Ursus. Ход рассуждений здесь примерно такой: раз количественные методы несовершенны, то надо использовать альтернативу, которая каким-то образом исправит их ошибки. Но что это за предполагаемый механизм коррекции? Как видно из представленных ранее исследований, порядковые шкалы и матрицы риска не только не исправляют ошибки количественных методов, но и добавляют к ним свои собственные.

Опять же, на наш взгляд, нужно задавать неудобные вопросы о любых методах, включая количественные, и мы попытались сделать это, представив многочисленные результаты исследований в доказательство своей точки зрения. Не менее скептически мы относимся и к популярным более мягким альтернативам, продвигаемым многими организациями по стандартизации и консалтинговыми компаниями. Мы процитировали исследование, последовательно раскрывающее недостатки этих методов и выявляющее относительное преимущество количественных методов. Давайте рассмотрим теперь другие ответы в нашем опросе, выделим причины неприятия количественных методов и проанализируем их по очереди.

«Вероятностные методы непрактичны, так как вероятности требуют вычисления точных данных, а у нас их нет» – распространенное возражение на использование статистики во многих областях, не только в кибербезопасности. В нашем исследовании с ним согласились 23 % респондентов. Тем не менее, как упоминалось в главе 2, у вас больше данных, чем кажется, а нужно вам меньше, чем кажется, стоит только проявить изобретательность при сборе данных и действительно выполнять вычисления с тем небольшим объемом данных, который уже имеется. Заблуждение Exsupero Ursus здесь, опять же, заключается в том, что альтернатива предложенному количественному методу каким-то образом нивелирует недостаток данных. Порядковые шкалы и профессиональное чутье избавляют от проблемы нехватки данных, но делают это, скрывая само наличие проблемы. Упомянутое ранее исследование показывает, что порядковые шкалы и матрицы риска могут фактически увеличивать количество ошибок, т. е. они буквально уменьшают и без того ограниченный объем информации, доступной интуиции человека, использующего эти методы.

К счастью, как и в случае с другими вопросами на выявление негативного отношения к количественным методам, большинство респондентов не согласны с утверждением и склоняются к тому, чтобы пробовать более эффективные методы. Однако 23 % – значительная часть специалистов в области кибербезопасности, которые в корне не понимают причин использования вероятностных методов. Один из согласившихся с утверждением написал следующее в разделе опроса для ответов в произвольной форме:

Проблема, с которой я всегда сталкивался при количественной оценке риска безопасности, заключается в том, что когда у вас есть уязвимость, скажем, непропатченный сервер, то, если ею воспользуются, может много чего произойти… И что же, мне тогда прийти к совету директоров и сказать: «Ну, эта уязвимость может привести к убыткам в размере от нуля до пятисот миллионов долларов»?

Прежде чем ответить, уточним, что это не личный выпад в адрес человека, любезно принявшего участие в нашем опросе, или в адрес других людей, согласных с рассматриваемым утверждением. Но нельзя помочь сфере кибербезопасности, игнорируя претензии вместо беспристрастного их разбора. Для нас важно высказанное мнение, и мы считаем, что оно заслуживает ответа. Итак, приступим.

Безусловно, такие убытки как минимум возможны в достаточно крупных организациях, и нам известны подобные случаи. Тогда если это «возможный диапазон», то почему бы не установить верхний предел в 1 млрд долл. или больше? Но очевидно, что шанс наступления у всех этих исходов разный. А распределение вероятностей как раз и передает вероятности различных исходов. Наверняка у аналитика имеется больше информации, чем обозначено, или он хотя бы может ее собрать.

Если этот широченный диапазон действительно является степенью неопределенности в отношении убытков и если вероятность всех исходов в этом диапазоне одинакова, то неужели, по мнению аналитика, его избавила бы от неопределенности, скажем, обычная матрица рисков? Конечно, не избавила бы. Она бы просто скрыла неопределенность (на самом деле, аналитик, вероятно, поместил бы этот риск в одну ячейку матрицы, хотя указанный диапазон должен охватывать большинство категорий воздействия или все их).

Другой интересный вопрос: если уровень неопределенности относительно потенциальных убытков действительно таков, то какие шаги предпринимает аналитик для хотя бы частичного уменьшения неопределенности? Естественно, любой риск с таким широким диапазоном неопределенности заслуживает дальнейшего изучения. Или же аналитик планирует просто продолжать скрывать эту серьезную неопределенность от совета директоров, используя неоднозначную терминологию риска? Вспомните из главы 2, что именно в подобных случаях крайней неопределенности ее уменьшения проще добиться и оно имеет большее значение. Нами уже описывались исследования, показывающие, как разложение такого широкого диапазона (путем продумывания оценок отдельных последствий и запуска симуляции для их суммирования), скорее всего, приведет к снижению неопределенности.

Те, кто согласен с утверждением, что вероятностные методы требуют точных данных, неправильно понимают ключевой аспект вероятностных методов. Количественные вероятностные методы используются именно из-за отсутствия идеальной информации. Если бы у нас была идеальная информация, нам бы вообще не понадобились вероятностные модели. Помните, все, что предлагается в этой книге, мы или наши коллеги не единожды применяли в разных условиях. Нам неоднократно доводилось представлять широкие диапазоны высшему руководству многих компаний, и, по нашему опыту, они ценят четко сформулированные заявления о неопределенности.

Подобным образом можно ответить и на возражения, что кибербезопасность слишком сложна для количественного моделирования или что количественные методы неприменимы в ситуациях, где задействованы люди. Как и в предыдущих случаях, мы должны спросить: а как именно матрицы рисков и шкалы риска нивелируют эти проблемы? Если они слишком сложны для количественного моделирования, то почему предполагается, что неколичественное решение справится с такой сложностью? Помните, что независимо от уровня сложности системы, даже вынося чисто субъективные суждения о ней, вы ее уже моделируете. Заблуждение Exsupero Ursus (т. е. это не идеальный метод, он не сработал однажды, поэтому его нельзя использовать) все еще существует лишь из-за того, что к альтернативам вероятностных методов не предъявляются те же требования.

Многие эксперты делают неверное предположение, что чем сложнее проблема, тем менее эффективны будут количественные методы по сравнению с экспертами-людьми. Тем не менее выводы Мила и Тетлока (рассмотренные в главе 4) свидетельствуют об обратном: по мере усложнения проблем эксперты справляются не лучше наивных статистических моделей. Таким образом, сложность моделируемого мира одинакова как для количественных, так и для неколичественных моделей. Однако, в отличие от матрицы рисков и порядковых шкал, компоненты даже упрощенного количественного метода выдерживают научную проверку.

Кристофер «Кип» Бон, актуарий страхового брокера Aon, сталкивался с теми же возражениями и придерживается той же точки зрения относительно них, что и мы. У Бона большой опыт в проведении анализа рисков во многих областях, и при этом он является одним из растущего числа актуариев, занимающихся страхованием рисков кибербезопасности с использованием количественных инструментов анализа. Вот что он сказал в интервью:

В каждой проводимой мной презентации по аналитике есть слайд, описывающий, как реагировать на людей, которые говорят, что это нельзя смоделировать. Разумеется, принимая решение, они уже, по сути, выстраивают модель в голове. Я отвечаю им: «Нам просто нужна модель из вашей головы».

Хорошо сказано, Кип. Сложность, нехватка данных, непредсказуемый человеческий фактор и быстро меняющиеся технологии часто используются как оправдания, чтобы избегать применения количественных методов. Ирония в том, что фактически принимается решение как-то справиться с этими проблемами с помощью профессионального чутья, не документируя ничего и не вычисляя. Если задача чрезвычайно сложна, то именно ее и не следует пытаться решать в уме. Аэродинамическое моделирование и мониторинг электростанций столь же сложны, но именно поэтому инженеры не проводят анализ в уме. В кибербезопасности придется иметь дело со множеством взаимодействующих систем, средств контроля и многочисленными видами убытков. У одних систем одни виды убытков, у других – другие, а вероятность наступления разных событий также различна. И все это надо будет свести в совокупный портфель, чтобы определить общий риск. Вычисления не очень сложные (тем более что нами предоставлены электронные таблицы практически для каждого разбираемого расчета), но все же не нужно производить их в уме.

Поэтому всякий раз, услышав подобное возражение, просто спрашивайте: «А как ваш нынешний метод (матрица рисков, порядковые шкалы, профессиональное чутье и т. д.) нивелирует этот недостаток?» Более мягкие методы создают видимость решения проблемы лишь благодаря тому, что не заставляют вас иметь с ней дело. Какой бы ни была степень вашей неуверенности – даже если она колеблется в диапазоне воздействия от 0 до 500 млн долл., как в примере выше, – вы все равно можете конкретно очертить эту неопределенность и соответствующим образом расставить приоритеты в средствах контроля безопасности.

Взлом компании Target как ответ на заблуждение Exsupero Ursus

Последнее возражение, которое мы упомянем в связи с заблуждением Exsupero Ursus, таково: существует множество примеров неудачного применения количественных методов, и, следовательно, лучше воздержаться от их использования. Смысл в том, что такие события, как финансовый кризис 2008 года, взрыв на буровой платформе Deepwater Horizon в 2010 году и последовавший за ним разлив нефти в Мексиканском заливе, катастрофа на японской атомной электростанции «Фукусима» в 2011 году и прочие инциденты, свидетельствуют о несостоятельности количественных методов. У этого возражения несколько слабых мест, и они разобраны Хаббардом в книге The Failure of Risk Management: Why It’s Broken and How to Fix It, здесь мы приведем лишь парочку из них.

Во-первых, во всех случаях предполагается, что применялись настоящие количественные методы, а не профессиональное чутье, которое каким-то образом позволило бы предотвратить катастрофу. Для подобных утверждений нет никаких оснований, более того, имеются доказательства обратного. Например, смесь жадности и желания получить премию порождали некую систему, что сначала создавала, а затем скрывала риски инвестиций. В некоторых случаях (вроде кризиса в компании AIG), по сути, именно отсутствие актуарно обоснованного анализа со стороны регулирующих органов и аудиторов позволило таким системам разрастись.

Во-вторых, в качестве аргумента приводятся лишь избранные истории. Сколько можно привести примеров неудач, связанных с методами, построенными исключительно на интуиции, или мягкими методами? Даже если бы все указанные случаи являлись справедливыми примерами фактического провала количественных методов (авторы признают, что таких немало), мы все равно вернулись бы к тому, как избежать основного обсуждаемого здесь заблуждения, а именно необходимости сопоставить частоту неудач количественных и неколичественных методов. Дело в том, что провалов, когда при принятии решений использовались неколичественные методы, тоже много. В самом деле, насколько эффективны суждения и профессиональное чутье были в условиях финансового кризиса, при проектировании АЭС «Фукусима» или управлении буровой платформой Deepwater Horizon?

В качестве примера можно привести масштабную утечку данных в розничной сети Target в 2013 году. Этот инцидент хорошо известен в сообществе кибербезопасности, но, возможно, методы, неудачно примененные компанией Target для оценки рисков, не столь известны. Хаббард и Сирсен взяли интервью у человека, работавшего в компании Target примерно за год до события. Согласно источнику, компания была максимально далека от применения количественных методов для решения проблемы киберрисков. Несмотря на попытки внедрения количественных методов, несколько человек упорно пользовались методом, основанным на вербальной оценке рисков с распределением по категориям «высокий, средний, низкий». Это были руководители, считавшие, что количественные методы слишком сложные и требуют слишком много времени. Они даже потрудились составить список причин, почему не стоит применять количественные методы. Среди известных нам пунктов списка были те самые возражения, что опровергаются выше (по нашей информации, после утечки данных в руководстве отдела кибербезопасности произошли значительные изменения).

В конце концов, компания признала утечку данных о кредитных картах 70 млн человек. Суммарные компромиссные выплаты компаниям Mastercard и Visa превысили 100 млн долл.14 Если бы мы считали такие истории достаточным основанием для сравнения методов, то, конечно, могли бы потратить время и найти еще примеры. Раз уж на то пошло, применяли ли компании Anthem, Sony, Home Depot, федеральное правительство США и прочие организации, подвергшиеся крупным кибератакам, вероятностные методы вместо шкал и матриц рисков? Вряд ли.

Отдельные примеры, безусловно, не могут служить подтверждением в споре, какой метод лучше. Единственный способ не впасть в заблуждение Exsupero Ursus – рассматривать большие совокупности, выбранные непредвзято, и систематически сравнивать неудачи обоих методов, как мы делали выше.

Даже если в одном методе есть ошибки, его следует предпочесть тому, в котором ошибок еще больше. Результаты описанных нами исследований (см. примечания к этой главе и главу 4) подтверждают эффективность количественных методов по сравнению с профессиональным чутьем и экспертами, использующими шкалы или матрицы рисков. С другой стороны, в единственном доступном исследовании матриц риска утверждается, что матрицы бесполезны и даже могут навредить.

Возражения, касающиеся взаимодействия и консенсуса

Наконец, есть возражения, которые не являются заблуждениями Exsupero Ursus и не основаны на ошибочных представлениях о количественных методах вроде убежденности, что необходимы исключительно точные данные. Эти возражения сводятся к подчеркиванию достоинств неколичественных методов. Например, что они лучше, так как их легче объяснить, следовательно, с ними проще согласиться и принять их в работу. В ходе нашего опроса 31 % респондентов согласились с утверждением «порядковые шкалы, используемые в большинстве оценок информационного риска, лучше количественных методов, поскольку их легко понять и объяснить». Также большинство (64 %) согласились с тем, что «широко используемые порядковые шкалы помогают выработать консенсус для определения дальнейших действий».

Однако, как видно из исследования Будеску, кажущаяся понятность и простота объяснения, возможно, вызваны лишь сокрытием важных данных за неоднозначной терминологией. Мы согласны, что «иллюзия коммуникации» Будеску может заставить одного человека думать, что он что-то объяснил, а другого, что он понял объяснение, и всех их – что в итоге они пришли к единому мнению. Авторам многократно приходилось в самых разных компаниях объяснять различные количественные методы руководителям высшего звена, в том числе в ситуациях, когда нам говорили, что руководители ничего не поймут. На самом же деле ситуации, когда люди не понимали, возникали гораздо реже, чем нас пытались убедить. Похоже, чаще одна группа предупреждает нас о том, что другая группа не поймет количественную информацию (редко кто признается, что сам ее не понимает).

Если аналитик в сфере кибербезопасности говорит, что кто-то другой не поймет информацию, вполне вероятно, что он просто сам не разобрался в вопросе. Нам то и дело пытаются внушить, что руководство не поймет «теоретические» методы (хотя каждый упомянутый здесь метод применялся для решения практических задач и обсуждался с высшим руководством). Поэтому у нас сложилось впечатление, что, называя вероятностные методы теоретическими, человек на самом деле хочет сказать: «Я этого не понимаю» А возможно, и: «Я чувствую угрозу». Надеемся, наш пример простой модели замены «один на один» из главы 3 сможет помочь решить эту проблему. Мы максимально упростили подход, но при этом применяли методы, демонстрирующие измеримое улучшение и приносящие действенные результаты.

Хотя большинство участников опроса полагали, что порядковые шкалы помогают прийти к консенсусу, на наш взгляд, если взаимодействие является иллюзией, как показано у Будеску, то и консенсус тоже иллюзия. Видимость консенсуса может быть убедительной, но, как уже говорилось в главе 1, важно, чтобы метод оценки риска действительно работал, а его эффективность была измеримой. Возможно, руководители компании Target полагали, что их методы «работают», ведь они считали, что сообщают о риске, а когда пришли к консенсусу, думали, что все стороны понимают, с чем соглашаются. Если сама оценка риска основана на неэффективных методах, то, вероятно, стоит предпочесть небольшие разногласия иллюзорному консенсусу.

Заключение

Следует рассматривать препятствия на пути использования более эффективных количественных методов как обычные недоразумения, основанные на распространенных заблуждениях. Подведем итоги.

• Применение популярных шкал и матриц ничего не дает. Они подвержены влиянию тех же факторов, которые считаются препятствиями для количественных методов (сложность кибербезопасности, участие людей, меняющиеся технологии и т. д.). Фактически они вносят неясность в коммуникацию и банально используют неверные вычисления. Лучше отказаться от их применения во всех формах анализа риска.

• Все, что можно смоделировать с помощью качественных шкал, также моделируется и с помощью количественных вероятностных методов, даже если задействовать лишь тот же источник данных, что и в большинстве качественных методов (т. е. эксперта в области кибербезопасности). Эти методы демонстрируют измеримое повышение эффективности на основе предыдущих исследований. Их эффективность также можно измерить после внедрения, поскольку здесь применимы стандартные статистические методы для сравнения оценки рисков с наблюдаемой реальностью.

• Количественные модели были многократно реализованы на практике. Отказ от них как от «теоретических» лишь показывает, что человек, использующий такое название, их боится.

Кибербезопасность стала слишком важной областью, чтобы оставить ее на откуп методам, которые, как читатель должен признать после наших веских аргументов, очевидно несостоятельны. Компании и правительства больше не могут позволить себе придерживаться заблуждений, мешающих внедрять работающие методы. Мы довольно много написали на эту тему и ценим ваше терпение, если вы дочитали все до конца. Нами приводилось множество источников в подтверждение каждого довода, но хочется закончить эту главу еще одним аргументом в поддержку количественных методов. Прочитайте, что пишет ниже Джек Джонс, лидер в области кибербезопасности, и закроем эту тему, вернувшись к разбору более эффективных методов.

Формирование положительного отношения к более эффективным методам

Джек Джонс, приглашенный автор

Джек Джонс работает в сфере информационной безопасности более 25 лет, в том числе в качестве руководителя отдела информационной безопасности. Он также является создателем подхода FAIR.

Почти все согласны, что применение количественных оценок и метрик – в целом хорошая практика, но тема количественной оценки риска в сфере защиты информации может стать причиной серьезных споров и даже ссор. Многие даже не верят, что это возможно или практически осуществимо. В таком случае зачем же пытаться количественно оценить риск? Почему бы не обойтись без раздоров и не продолжить просто считать уязвимости, уровни осведомленности и количество атак? Причина – в контексте. Другими словами, все эти и прочие элементы сферы информационной безопасности, которые могут быть выбраны для измерения, имеют значение лишь применительно к их влиянию на риск (т. е. частоту возникновения и величину убытков).

С особенно сильным неприятием количественной оценки риска можно столкнуться при взаимодействии со специалистами по информационной безопасности и аудиторами, чья карьера и репутация построены на определенном образе мышления и действий, тем более когда их подход широко применяется во всей отрасли, а его ограничения мало кому известны. Ситуация усугубляется, если сюда добавляются заблуждения относительно количественной оценки, и, что еще хуже, когда не утверждаются базовые понятия (например, такие термины, как «риск», не для всех означают одно и то же). Для успешного преодоления подобного неприятия необходимо сочетание тактик.

Просвещение: развенчивание мифов

У повышения осведомленности в области количественной оценки рисков есть по крайней мере несколько аспектов, в том числе следующие.

• Выработка единого мнения в отношении содержания понятия «риск» (подсказка: угрозы и недостаток контроля не являются рисками). Без такой основы все остальное будет оставаться борьбой, и, скорее всего, безуспешной. Стоит помнить, что конечная цель информационной безопасности – способность контролировать частоту возникновения убытков и уровень их серьезности.

• Помощь в понимании того, что количественная оценка – это не так сложно, она не требует высшего математического образования. На самом деле при правильном подходе она интуитивно понятна, концептуально проста и прагматична. Но все же для количественной оценки нужно обладать критическим мышлением, и вот это уже может оказаться серьезной проблемой, поскольку многие люди нашей профессии годами не пытались мыслить критически, когда речь заходила об измерении рисков. В основном риск определяется на глазок. Я не пытаюсь умалить их ум или врожденную способность к критическому мышлению, но ставлю в укор методы, на которые в нашей профессии так сильно полагаются (например, те же контрольные списки и порядковое ранжирование рисков).

Маленькие быстрые победы

Одно из основных опасений многих людей состоит в том, что количественная оценка риска окажется слишком трудоемкой. Лучший способ опровергнуть данное заблуждение – начать с анализа небольших, легче воспринимаемых проблем. Вместо того чтобы пытаться измерить нечто аморфное вроде «риска вычислений в облачных средах», измеряйте строго определенные проблемы, такие как «риск, связанный с тем, что облачный сервис конкретного провайдера выйдет из строя из-за кибератаки». Подобные более четкие и однозначные задачи требуют меньше времени и намного легче поддаются анализу, а еще их удобно использовать для быстрой демонстрации практической ценности количественного анализа рисков.

Несколько таких небольших анализов способны также продемонстрировать, насколько оперативно входные данные можно задействовать в разных анализах, что может еще больше ускорить достижение результатов и повысить эффективность.

Привлечение «тяжелой артиллерии» – специалистов по количественному анализу

Во многих организациях независимо от их размера есть функции, где главную роль играет количественный анализ. В качестве примера можно привести некоторые из наиболее зрелых направлений, связанных с риском (скажем, кредитный риск в финансовых учреждениях), и бизнес-аналитику. Там, где подобные функции существуют, часто встречаются компетентные руководители, которые ценят количественные показатели и готовы отстаивать соответствующие методы. Такие люди могут стать важными союзниками в сложных ситуациях корпоративной политики.

Поддержание связи с реальностью

Считается, что количественная оценка риска сродни переключателю: стоит организации начать количественно оценивать риски информационной безопасности, как она полностью перестает действовать на глазок. Это в корне неверно. Ни одна из организаций, с которыми мне доводилось работать, не могла даже приблизиться к количественному определению всех имевшихся проблем информационной безопасности. Для этого банально нет ни ресурсов, ни времени. Поэтому важно разработать процедуру выработки приоритетов, которая поможет определять, когда следует проводить количественную оценку риска.

В зависимости от своих ресурсов и потребностей организация может выбрать, с чего начать количественную оценку. Возможно, сперва она понадобится только для обоснования крупных расходов на информационную безопасность или для определения наиболее важных задач. Суть в том, что количественная оценка риска может быстро предоставить весьма ценные сведения и не будет тормозить работу, если применять ее вдумчиво, а не как попало.

Выводы

Количественная оценка рисков информационной безопасности может привести к смене парадигмы в организации, и, как почти при любой смене парадигмы, придется в процессе преодолеть косность и неприязнь. Одним из ключей к успеху является понимание того, что самая сложная часть перехода – культурная, как в рамках организации, так и (по крайней мере пока) в сфере информационной безопасности в целом. И поскольку культура в значительной степени функционирует благодаря убеждениям, для достижения успеха необходимо сосредоточиться на их изменении.

Примечания

1. Open Web Application Security Project, “OWASP Risk Rating Methodology,” last modified September 3, 2015, www.owasp.org/index.php/OWASP_Risk_Rating_Methodology.

2. IEC, “ISO 31010: 2009–11,” Risk Management – Risk Assessment Techniques (2009).

3. D. V. Budescu, S. Broomell, and H. Por, “Improving Communication of Uncertainty in the Reports of the Intergovernmental Panel on Climate Change,” Psychological Science 20, no. 3 (2009): 299–308.

4. Richards J. Heuer, Jr., Psychology of Intelligence Analysis (Langley, VA: Center for the Study of Intelligence, Central Intelligence Agency, 1999).

5. Rebecca M. Blank and Patrick D. Gallagher, Guide for Conducting Risk Assessments, NIST Special Publication 800–30, Revision 1 (Gaithersburg, MD: National Institute of Standards and Technology, 2012), http://csrc.nist.gov/publications/nistpubs/800–30‐rev1/sp800_30_r1.pdf.

6. K. E. See, C. R. Fox, and Y. Rottenstreich, “Between Ignorance and Truth: Partition Dependence and Learning in Judgment under Uncertainty,” Journal of Experimental Psychology: Learning, Memory and Cognition 32 (2006): 1385–1402.

7. G. Moors, N. D. Kieruj, and J. K. Vermunt, “The Effect of Labeling and Numbering of Response Scales on the Likelihood of Response Bias,” Sociological Methodology 44, no. 1 (2014): 369–399.

8. J. Chan, “Response‐Order Effects in Likert‐Type Scales,” Educational and Psychological Measurement 51, no. 3 (1991): 531–540.

9. L. A. Cox Jr., “What’s Wrong with Risk Matrices?” Risk Analysis 28, no. 2 (2008): 497–512.

10. D. Hubbard and D. Evans, “Problems with Scoring Methods and Ordinal Scales in Risk Assessment,” IBM Journal of Research and Development 54, no. 3 (April 2010): 2.

11. P. Thomas, R. Bratvold, and J. E. Bickel, “The Risk of Using Risk Matrices,” Society of Petroleum Engineers Economics & Management 6, no. 2 (April 2014): 56–66.

12. Edward R. Tufte and P. Graves-Morris, The Visual Display of Quantitative Information (Cheshire, CT: Graphics Press, 1983).

13. J. Kruger and D. Dunning, “Unskilled and Unaware of It: How Difficulties in Recognizing One’s Own Incompetence Lead to Inflated Self‐Assessments,” Journal of Personality and Social Psychology 77, no. 6 (1999): 1121–1134.

14. Ahiza Garcia, “Target Settles for $39 Million over Data Breach,” CNN Money, December 2, 2015.

Часть II. Эволюция модели риска кибербезопасности

Глава 6. Разложение на составляющие

Разбор по деталям

Повседневные значения большинства терминов содержат достаточно неоднозначности, чтобы считать их неподходящими для тщательного анализа решений.

Рон Ховард (род. 1934), отец анализа решений^1

Вспомним аналитика в сфере кибербезопасности из главы 5, который оценивал убытки в диапазоне «от 0 до 500 млн долл.» и переживал, как начальство отреагирует на такие неинформативные данные. Если подобные экстремальные убытки действительно могли возникнуть, безусловно, было бы неправильно скрывать это от начальства. К счастью, есть альтернатива: просто разложите их по компонентам. При подобном риске проведение более тщательного анализа будет вполне оправданно.

Воздействие обычно изначально представлено в виде перечня неустановленных и неопределенных возможных исходов. Его уточнение зависит от понимания объекта измерения, как обсуждалось в главе 2. То есть надо понять, что именно измеряется через более конкретное определение объекта. Ниже будет рассмотрено, как разделить неоднозначную гору исходов хотя бы на несколько основных категорий воздействия.

В главе 3 описано создание простой количественной модели, в которой всего лишь воспроизводятся этапы построения привычной матрицы рисков, но с опорой на количественные методы. Это элементарный базовый вариант, который можно усовершенствовать с помощью разложения. В исследованиях, приведенных в главе 4, упоминалось, что разложение на составляющие особенно помогает при очень высокой степени неопределенности, а именно такая, как правило, и бывает в сфере кибербезопасности. Поэтому в данной главе мы разберем, как можно развить простую модель из главы 3, воспользовавшись преимуществами разложения на составляющие.

Разложение простой модели замены «один на один»

В каждой строке модели, показанной в главе 3 (см. табл. 3.2), было только два вида данных: вероятность возникновения события и диапазон убытков. И то и другое подходит для разложения. К примеру, в случае наступления события можно оценить вероятность для событий подобного типа (была ли это утечка конфиденциальных данных, отказ в обслуживании и т. д.). Эта информация позволит дополнительно уточнить вероятность. Воздействие также возможно разделить на несколько видов затрат: судебные издержки, расходы на расследование нарушений, время простоя и т. д. Каждую из этих затрат можно вычислить на основе других входных данных, простых и менее абстрактных, чем некий совокупный итог воздействия.

Теперь рассмотрим подробнее, как использовать дальнейшее разложение на составляющие для повышения значимости данных.

Еще немного разложим

Простая стратегия разложения воздействия, знакомая многим специалистам по кибербезопасности, – это разложение на конфиденциальность, целостность и доступность. Как вам, вероятно, известно, под нарушением конфиденциальности подразумевается неправомерное раскрытие информации. Сюда можно отнести утечку миллионов записей или кражу корпоративных секретов и интеллектуальной собственности. Нарушение целостности означает изменение данных или поведения системы, которое может привести к несанкционированным финансовым операциям, повреждению оборудования, неверной логистике и т. д. Наконец, нарушение доступности трактуется как определенное отключение системы, приводящее к снижению производительности, продаж или другим затратам, связанным с вмешательством в бизнес-процессы. Мы не настаиваем на применении данного подхода всеми, но многие аналитики в области кибербезопасности находят такое разложение полезным при осмыслении проблемы.

Давайте еще упростим процесс по примеру одной компании, объединившей конфиденциальность и целостность. Считается, что убытки вследствие нарушения доступности встречаются чаще по сравнению с двумя другими категориями, а поэтому при ее оценке можно задействовать иную уже известную информацию о системе, например типы бизнес-процессов, которые поддерживает система, количество пользователей, влияние на производительность, возможное влияние на продажи в период недоступности системы и т. д. В табл. 6.1 показан вариант подобного небольшого разложения на примере электронной таблицы для модели замены «один на один» из главы 3. Для экономии места здесь отброшены столбцы справа с агрегированием данных. Полный вариант таблицы вместе с оригинальной моделью, описанной в главе 3, как обычно, можно найти на сайте www.howtomeasureanything.com/cybersecurity.

Таблица 6.1. Пример чуть более подробного разложения

Обратите внимание, что начали мы с разложения события на составляющие, определив прежде всего его тип. Была задана вероятность, что событие связано только с конфиденциальностью и целостностью (КонфЦел), и вероятность, что оно касается только доступности (Дост). Вероятность того, что это могут быть оба типа, равна 1 – КонфЦел – Дост. Смоделировать определение типа события (поскольку уже установлено, что событие произошло, то не может быть результата, когда не указан ни один из типов) можно, например, применив в Excel следующую формулу:

= ЕСЛИ(СЛЧИС() < КонфЦел;1;ЕСЛИ(СЛЧИС() < (КонфЦел + Дост);2;3))

Убытки от нарушения конфиденциальности или целостности будут добавлены при получении значения функции, равного 1 (произошло событие нарушения конфиденциальности и целостности) или 3 (произошло событие нарушения как конфиденциальности с целостностью, так и доступности). Та же логика применяется к нарушению доступности, которое возникает, если результат равен 2 или 3. Кроме того, можно было бы просто оценить вероятность наступления событий по отдельности, а не определять сначала наличие события, а затем его тип. Для этого существует намного больше способов, и поэтому для оценки следует выбирать вариант разложения, который кажется вам наиболее удобным и реалистичным.

Убытки, возникшие вследствие нарушения доступности, рассчитываются путем умножения продолжительности отключения системы в часах на стоимость одного часа простоя. Как и в более простой модели в главе 3, генерируются тысячи значений для каждой строки. В каждом произвольном тесте случайным образом определяется тип события и его стоимость. Весь список затрат, вызванных событиями, суммируется для каждого из тысяч тестов, а затем строится кривая вероятности превышения потерь, как показано в главе 3. Как и раньше, у каждой строки может быть предлагаемое средство контроля, способное снизить вероятность и, возможно, воздействие события (это снижение также может быть выбрано случайным образом из заданных диапазонов).

Если событием является атака на заданную систему, то обычно имеется хоть какая-то информация о том, как эта система используется в организации. Например, приблизительное представление о количестве пользователей системы, нарушится ли их деятельность полностью без системы, или они смогут обойтись без нее какое-то время, а также влияет ли система на продажи или другие операции. А многим организациям уже приходилось сталкиваться с выходом систем из строя, и этот опыт может лечь в основу их оценки возможной длительности отключения.

Теперь, когда у вас есть общее понимание принципа разложения на составляющие, давайте обсудим другие стратегии, которые можно использовать. А чтобы разложить модель, используя более широкий спектр распределений вероятности, изучите список распределений в приложении А. И конечно, с сайта www.howtomeasureanything.com/cybersecurity можно загрузить электронную таблицу, содержащую все указанные распределения вероятностей, которые созданы с помощью обычного инструментария MS Excel (т. е. без макросов VBA или надстроек).

Несколько полезных стратегий разложения на составляющие

Каждая строка в симуляции из табл. 6.1 обозначена просто как «событие», но на практике следует указывать событие более конкретно, и тут возможны различные подходы. Подумайте, что вы обычно вносите в матрицу рисков. Если бы нужно было включить в матрицу 20 элементов, указали бы вы 20 приложений или 20 категорий угроз? А может, указали бы структурные подразделения организации или типы пользователей?

Большинство специалистов, применяющих метод матрицы рисков, похоже, начинают с проблемно ориентированного разложения. То есть, внося элемент в матрицу рисков, они думают прежде всего о его прикладной роли. Вполне неплохое начало. Опять же мы не придерживаемся конкретной позиции относительно методов разложения на составляющие, пока не получим доказательств, что какие-то из них лучше или хуже. Однако для удобства и по привычке мы начали простую модель в главе 3 с прикладного подхода к проблеме разложения. Если вам удобнее, когда список рисков содержит отдельные источники угроз, уязвимости или что-то еще, то описанный здесь подход несложно будет перенести на предпочтительную модель.

Решив, что обозначают строки таблицы, следующим шагом следует определить, насколько подробное разложение вам нужно в каждой строке. При каждом разложении на составляющие стоит по возможности опираться на уже известные сведения, можно назвать их «наблюдаемыми величинами». В табл. 6.2 приведено еще несколько примеров.

Таблица 6.2. Еще несколько примеров потенциальных вариантов разложения на составляющие

Даже после моделирования какой-то части указанных компонентов диапазон все равно может остаться достаточно широким, но тем не менее появится возможность рассуждать об относительной вероятности различных исходов. Специалист по кибербезопасности, считавший, что диапазон убытков составит от нуля до 500 млн долл., просто не учел, что следует постараться сделать выводы из известных данных вместо зацикливания на неизвестных. Небольшое разложение на составляющие покажет, что не все значения в этом огромном диапазоне одинаково вероятны. И, скорее всего, можно будет пойти к совету директоров, имея больше информации о потенциальных убытках, чем равномерное распределение от 0 до 500 млн долл. или более.

И не забывайте: все это делается, чтобы оценить альтернативы. Нужно уметь разбираться в стратегиях снижения рисков. Даже если предположить, что диапазон настолько широк и все варианты в нем одинаково вероятны, это все равно еще не означает, что такой же диапазон будет у каждой системы в списке. И очень полезно знать, у каких систем он будет. Вам известно, что у одних систем больше пользователей, а у других – меньше, что одни системы обрабатывают личную медицинскую информацию или данные индустрии платежных карт, а другие – нет, что к некоторым системам имеют доступ поставщики и т. д. Вся эта информация полезна для расстановки приоритетов в действиях, даже если вы никогда полностью не избавитесь от неопределенности.

Приведенный список лишь подсказывает еще несколько элементов, на которые можно разложить модель. До сих пор мы акцентировали внимание в большей степени на разложении воздействия, чем вероятности, поскольку воздействие многим кажется более конкретным понятием. Но таким же образом раскладывается и вероятность. Этому будут посвящены главы 8 и 9. А далее в этой главе мы еще обсудим, как выполнить оценку одного из самых сложных типов убытков – урона репутации.

Дополнительные рекомендации по разложению на составляющие: понятность, наблюдаемость, полезность

Оценивая последствия конкретного нарушения кибербезопасности в конкретной системе, специалист, возможно, думает: «Хм, произойдет отключение системы на несколько минут, а то и на час или больше. В системе 300 пользователей, и отключение затронет большинство из них. Они обрабатывают заказы и помогают службе поддержки клиентов. Значит, воздействие не ограничится тем, что придется заплатить людям зарплату за время простоя. Реальным убытком станет потеря продаж. Насколько помню, в час выручка составляет от 50 000 до 200 000 долл., но она может меняться в зависимости от сезона. Часть клиентов, которых не смогут обслужить, может быть, перезвонят позже, но некоторых мы потеряем навсегда. Плюс будут определенные затраты на экстренное устранение последствий. Итак, я оцениваю с 90 %-ным ДИ, что убытки за один инцидент составят от 1000 до 2 млн долл.».

Все мы, вероятно, понимаем, что, припоминая данные и производя подсчеты в уме, безупречных результатов не добиться (а представьте, насколько все усложнится, если в подсчетах придется учитывать различные формы распределения вероятностей). Поэтому не стоит удивляться, что исследователи, упомянутые в главе 4 (Армстронг и Мак-грегор), выяснили, что лучше разложить проблему на составляющие и выполнять расчеты явным образом. Если вы ловите себя на том, что считаете в уме, – остановитесь, проведите разложение на составляющие и (прямо как в школе) продемонстрируйте математические вычисления.

Понятно, что стратегии разложения на составляющие будут сильно отличаться в зависимости от желаемого уровня детализации и имеющейся информации об организации у разных аналитиков. Тем не менее существуют принципы разложения, которые применимы в любой ситуации. Наша задача – определить, как дальше разложить проблему таким образом, чтобы независимо от отрасли или особенностей компании разложение на составляющие действительно повышало эффективность оценки риска.

Это важный вопрос, поскольку не все стратегии разложения одинаково хороши. И хотя существуют исследования, показывающие, что неопределенные величины можно более эффективно оценить с помощью разложения на составляющие, есть также исследования, выявляющие условия, при которых разложение не помогает. Необходимо научиться различать эти случаи. Если от разложения нет пользы, то лучше обойтись без него и провести оценку на более общем уровне. Как отмечается в одной из научных статей, разложение на составляющие, выполненное «в ущерб концептуальной простоте, может привести к выводам более низкого качества, чем непосредственные самостоятельные суждения»2.

Анализ решений: краткое объяснение, как воспринимать проблему

Хорошей основой для осмысления стратегий разложения на составляющие служит опубликованная в 1966 году работа Рона Ховарда, которому обычно приписывают введение термина «анализ решений»3. Для практического решения проблем, связанных с неопределенностью, Ховард и его последователи применяли несколько абстрактные области теории принятия решений и теории вероятностей. Они также выяснили, что многие трудности, сопутствующие принятию решений, в реальности не являются чисто математическими. Согласно их наблюдениям, люди, принимающие решения, часто даже не способны надлежащим образом определить, в чем заключается проблема. По мнению Ховарда, необходимо «преобразовать смятение в ясность мыслей и действий»4.

Ховард описывает три обязательных условия для проведения математических расчетов в анализе решений: решение и факторы, которые определяются для его обоснования, должны быть понятными, наблюдаемыми и полезными.

• Понятность. Все понимают, что вы имеете в виду. Вы сами понимаете, что имеете в виду.

• Наблюдаемость. Что вы увидите, когда явление возникнет? Вовсе не обязательно, что вы раньше с ним сталкивались, но как минимум его возможно наблюдать, и вы узнаете его, когда увидите.

• Полезность. Явление должно иметь значение для принятия каких-либо решений. Что бы вы сделали по-другому, если бы знали о нем заранее? Многие явления, которые стремятся измерить в области безопасности, оказываются никак не связанными с принимаемыми решениями.

Значение этих условий часто недооценивают, но если начать систематически учитывать их все при каждом разложении на составляющие, возможно, будут выбираться несколько иные стратегии. Например, вы собираетесь разложить свои риски на составляющие таким образом, что придется оценивать уровень мастерства злоумышленника. Это один из «факторов угрозы» в стандарте OWASP, и нам встречались самостоятельно разработанные версии такого подхода. Предположим, вы, согласившись с аргументами, приведенными в предыдущих главах, решили отказаться от порядковых шкал, рекомендуемых OWASP и другими, и теперь ищете способ количественно разложить на составляющие уровень мастерства злоумышленника. Попробуем применить условия Ховарда к этому фактору.

Тест на понятность, наблюдаемость и полезность для фактора «уровень мастерства злоумышленника»

• Понятность. Можете ли вы объяснить, что подразумеваете под «уровнем мастерства»? Точно ли это однозначная единица измерения или хотя бы четко определенное дискретное состояние? Действительно ли как-то поможет фраза «мы определяем „средний“ уровень угрозы как работу специалиста, более квалифицированного, чем любитель, но менее квалифицированного, чем сотрудник хорошо финансируемой государственной организации»?

• Наблюдаемость. Как вообще это обнаружить? Какие у вас основания заявлять, что уровень мастерства исполнения одних угроз выше или ниже, чем других?

• Полезность. Даже если вы получите однозначное определение уровня мастерства и сумеете его каким-то образом увидеть, как эта информация должна повлиять на действия вашей компании?

Мы не утверждаем, что оценка уровня мастерства злоумышленника – плохой элемент стратегии разложения риска. Возможно, вы однозначно определите уровень мастерства, выявив типы применяемых методов. И можете отслеживать частоту таких атак, а также имеете доступ к информации об угрозах, где сообщается о случаях новых атак, с которыми вы еще не сталкивались. А проведение этой оценки заставит вас пересмотреть вероятность взлома конкретной системы, что, в свою очередь, позволит понять, какие средства контроля следует внедрить или даже каков будет общий бюджет на кибербезопасность. В таком случае все три условия будут выполнены. Но если это не так, а подобное, похоже, бывает очень часто, оценки уровня мастерства являются чистой спекуляцией и не привносят никакой ценности в процесс принятия решений.

Избегая «чрезмерного разложения»

Только что разобранный пример с уровнем мастерства злоумышленника как угрозы в зависимости от ситуации может служить хорошим или плохим примером разложения на составляющие. Если разложение соответствует критериям Ховарда и действительно снижает неопределенность, его можно назвать информативным. В ином случае разложение является неинформативным, и лучше придерживаться более простой модели.

Представьте, что перед вами стоит человек с ящиком в руках и просит вас оценить с 90 %-ным ДИ вес ящика только по виду. Размер ящика – примерно 60 см в длину и 30 см в высоту и ширину. Человек не похож на профессионального тяжелоатлета, поэтому ящик явно весит меньше, скажем, 160 кг. Вы также замечаете, что человек немного отклонился назад, чтобы сбалансировать свой вес, и переминается с ноги на ногу, как будто ему неудобно стоять. В итоге вы называете 90 %-ный ДИ от 9 до 45 кг. Диапазон кажется большим, поэтому вы решаете разложить задачу на составляющие, оценив количество предметов в ящике и вес каждого предмета. Или, возможно, в ящике лежат предметы нескольких категорий, поэтому вы оцениваете количество категорий предметов, число предметов каждой категории и вес каждого предмета в данной категории. Повысится ли качество оценки? В действительности оно вполне может понизиться. Вы разложили проблему на множество чисто теоретических вопросов, ответы на которые затем попробуете использовать для математических расчетов. Это пример неинформативного разложения.

Разница между ним и информативным разложением заключается в том, описывается ли проблема с помощью количественных величин, о которых вы более осведомлены, чем о самой исходной проблеме. Информативное разложение – это разложение, использующее конкретные знания эксперта по кибербезопасности о его сфере деятельности. Например, у эксперта могут быть подробные сведения о типах систем в организации и типах записей, хранящихся в них. Он может располагать информацией о внутренних бизнес-процессах, чтобы, скажем, оценить воздействие атак типа «отказ в обслуживании», или способен такую информацию получить. А также ему известно, какие виды средств контроля уже имеются. Разложение на составляющие рисков кибербезопасности с учетом подобных конкретных сведений, скорее всего, окажется целесообразным.

Однако предположим, что эксперт по кибербезопасности попытается построить модель, где требуется оценить численность и уровень мастерства спонсируемых государством кибервзломщиков или даже хакерской группировки Anonymous (о которой, как следует из названия, очень сложно узнать что-то определенное). Приведет ли результат действительно к снижению неопределенности по сравнению с изначальным ее уровнем?

Компоненты разложения должны выглядеть для эксперта менее абстрактными, чем общая их сумма. Если воздействие в долларах раскладывается на такие факторы, как уровень мастерства злоумышленника, значит, неопределенность относительно этих нововведенных факторов должна быть ниже, чем в отношении первоначальной прямой оценки денежных потерь.

Разложение может считаться информативным и в случае, когда в результате его проведения диапазон расширяется, но только при условии, что это ставит под сомнение предполагаемый изначальный диапазон. Например, пусть требуется оценить воздействие нарушения работоспособности системы, при котором в течение ограниченного времени будет недоступно приложение, задействованное в каком-либо ключевом процессе (скажем, принятии заказов). Допустим, изначально воздействие оценили в диапазоне от 150 000 до 7 млн долл., что показалось слишком неопределенным, и было решено разложить его дальше на длительность отключения системы и стоимость одного часа простоя. Предположим, что, согласно оценкам, отключение продлится от 15 минут до 4 часов, а стоимость одного часа простоя составляет от 200 000 до 5 млн долл. Укажем также, что речь идет о логнормальном распределении для каждого фактора (как отмечалось в главе 3, оно часто применяется в тех случаях, когда значение не может быть меньше нуля, но может оказаться очень большим). Снизится ли в итоге неопределенность? Удивительно, но нет, если под «снижением неопределенности» понималось сужение диапазона воздействия, поскольку при произведении этих двух логнормальных распределений получается более широкий 90 %-ный ДИ от 100 000 до 8 млн долл. Но, даже несмотря на это, новый диапазон может считаться полезным, так как, вероятно, будет точнее отражать возможное воздействие, чем первоначальный диапазон.

Здесь стоит добавить небольшое примечание: если вы решили, что диапазон произведений находится путем перемножения нижних пределов и перемножения верхних пределов, то нет, для получения двух независимых случайных величин расчеты проводятся иначе. А если сделать, как указано, то получится диапазон от 50 000 до 20 млн долл. (0,25 часа умножить на 200 000 долл. в час для нижнего предела и 4 часа умножить на 5 млн в час для верхнего предела). Такой вариант мог быть верным, только если бы две переменные идеально коррелировали друг с другом, а это очевидно не наш случай.

Итак, разложение на составляющие может пригодиться хотя бы просто в качестве проверки реалистичности начального диапазона. Оно также может потребоваться при выполнении симуляций со множеством отдельных событий, складывающихся в риск на уровне портфеля, как показано в табл. 6.1. Когда аналитики оценивают большое количество отдельных событий, не всегда понятно, каковы последствия этих отдельных оценок на уровне портфеля. В нашей практике однажды был случай, когда профильные специалисты оценили вероятности примерно сотни отдельных событий в диапазоне от 2 до 35 %. После чего выяснилось, что, согласно симуляции, в год происходит около дюжины значимых событий. Одному из менеджеров подобные риски показались нереалистичными, ведь ни одно из этих значимых событий не случалось ни разу за последние пять лет. Все бы встало на свои места, если бы эксперты предположили, что стоит ожидать резкого увеличения частоты событий (оценка проводилась более двух лет назад, и мы можем уверенно сказать, что роста не произошло). Но вместо этого оценщики решили иначе взглянуть на вероятности, чтобы они не так сильно расходились с наблюдаемой реальностью.

Резюмируя правила разложения на составляющие

Суть разобранных примеров можно свести к двум фундаментальным правилам разложения на составляющие.

• Правило разложения № 1. Для разложения следует использовать факторы, которые лучше поддаются оценке, или данные, которые можно получить (т. е. не выделять величины еще более умозрительные, чем исходные).

• Правило разложения № 2. Результат разложения стоит сравнивать с прямой оценкой, выполняя симуляцию, как только что было показано в примере с отключением. Возможно, это приведет к отказу от разложения, если полученные результаты покажутся абсурдными, или же к решению скорректировать первоначальный диапазон.

На практике, чтобы применяемая стратегия разложения на составляющие оставалась информативной, нужно помнить еще несколько моментов. Разложение имеет определенные математические последствия, которые необходимо учитывать, чтобы определить, стал ли уровень неопределенности меньше, чем раньше.

• Если вы рассчитываете уменьшить неопределенность, перемножив две переменные, полученные при разложении, то эти переменные должны обладать не просто меньшей неопределенностью, чем начальный диапазон, а желательно намного меньшей. Как правило, соотношение верхнего и нижнего пределов переменных должно быть намного меньше трети соотношения между верхним и нижним пределами исходного диапазона. В примере из предыдущего раздела отношение пределов исходного диапазона было около 47 (7 млн долл. / 150 000 долл.), в то время как два других диапазона имели соотношения пределов 16 и 25 соответственно.

• Когда неопределенность в основном связана с какой-то одной из полученных при разложении переменных, отношение верхнего и нижнего пределов этой переменной должно быть меньше, чем у исходного диапазона. Например, пусть, по первоначальной оценке, стоимость отключения системы составляет от 1 до 5 млн долл. Если главным источником неопределенности для стоимости является продолжительность отключения, то соотношение верхнего и нижнего пределов ожидаемого времени простоя должно быть меньше соотношения верхнего и нижнего пределов первоначальной оценки (5 к 1). В ином случае от разложения не будет особого толка, и если есть основания доверять изначальному диапазону, то лучше использовать его. С другой стороны, это может означать и то, что изначальный диапазон был слишком узким, и тогда стоит присмотреться к результатам разложения.

• В некоторых случаях перемножаемые переменные связаны между собой таким образом, что от разложения не будет пользы, если только не задать модель этой взаимосвязи. Например, пусть нужно умножить A на B, чтобы получить C, при этом, когда значение A велико, значение B мало, а при большом значении B значение A маленькое. При оценке отдельных независимых диапазонов для A и B диапазон получившейся величины C может оказаться сильно завышенным. Так может произойти в случае с продолжительностью отключения системы и стоимостью часа простоя. А именно, чем важнее система, тем активнее будет вестись работа по ее возвращению в строй. Раскладывая событие на подобные составляющие, следует также моделировать их обратную зависимость. Или можно просто указать один общий диапазон воздействия, вместо того чтобы его раскладывать.

• Если у вас достаточно эмпирических данных для оценки распределения, то дальнейшее разложение на составляющие, вероятно, не принесет особой пользы.

Трудное разложение на составляющие: ущерб репутации

В ходе опроса, упомянутого в главе 5, некоторые специалисты по кибербезопасности (14 %) согласились с утверждением «невозможно рассчитать диапазон нематериальных последствий крупных рисков, таких как ущерб репутации». Несмотря на то что большинство не согласны с этим утверждением и на тему ведется немало дискуссий, нам редко доводилось наблюдать попытки смоделировать данный риск в сфере кибербезопасности. Обычно его приводят в качестве примера проблемы, которую очень сложно измерить. Поэтому мы хотим более подробно остановиться на этом конкретном виде убытков и показать, как с помощью эффективного разложения на составляющие можно решить даже такую, казалось бы, нематериальную проблему. В конце концов, считается, что репутация – это категория убытков, к которой специалисты в сфере кибербезопасности обращаются, когда хотят посеять как можно больше страха, неуверенности и сомнений. Ее потеря считается невосполнимой. Но повторим вопрос, заданный в главе 2 применительно к объекту измерения, а также ранее в этой главе применительно к критерию наблюдаемости Ховарда: «Что мы видим, когда сталкиваемся с потерей репутации?»

Многие сразу же скажут, что наблюдаемым количеством станет долгосрочная потеря продаж, а затем, возможно, добавят, что также упадут цены на акции. Конечно, эти два фактора взаимосвязаны. Если бы инвесторы (особенно институциональные, рассчитывающие влияние продаж на оценку рыночной стоимости) посчитали, что продажи сократятся, то цены на акции упали бы уже по этой одной причине. Таким образом, если бы наблюдались изменения в продажах или ценах на акции сразу после крупных событий, связанных с кибербезопасностью, это позволило бы выявить эффект ущерба репутации или по крайней мере эффекты, влияющие на принятие решений.

Логично предположить, что существует связь между крупной утечкой данных и потерей репутации, приводящей к изменениям объема продаж, цен на акции или обоих показателей. В статьях вроде «Target заявляет: взлом нанес ущерб продажам и имиджу. Совокупный ущерб еще не ясен» (Target Says Data Breach Hurt Sales, Image; Final Toll Isn’t Clear)5 выдвигаются предположения о наличии прямой связи между утечкой данных и репутацией. В сентябре 2014 года в журнале Forbes вышла статья аналитического агентства Trefis с Уолл-стрит, в которой отмечалось падение акций компании Target на 14 % в течение двух месяцев после взлома, и подразумевалось, что эти два события связаны^6. В статье Trefis ссылается на Poneman Institute (ведущий исследовательский центр в сфере кибербезопасности, опирающийся в основном на данные опросов), согласно прогнозу которого ожидался 6 %-ный отток покупателей после крупной утечки данных. Исходя из этой информации, кажется очевидным, что крупная утечка данных ведет к значительному снижению продаж и рыночной стоимости акций.

И все же стоит относиться к таким заявлениям скептически. Несколько исследований, проводившихся до 2008 года, показали, что в день утечки наблюдалось незначительное изменение цены акций, но не было никакого долгосрочного эффекта7,8,9. Правда, эти исследования можно счесть устаревшими, поскольку они были опубликованы задолго до крупных утечек данных, таких как в компаниях Target и Anthem. Но так как эти компании торгуются на бирже, мы подумали, что достаточно будет найти и сравнить данные о продажах до и после взлома.

Естественно, изменения могут быть вызваны многими факторами, и некоторая волатильность ожидалась бы даже в случае отсутствия взломов. Поэтому при рассмотрении такого рода событий следует учитывать, насколько велики изменения по сравнению с исторической волатильностью продаж и цен на акции. На рис. 6.1 показаны изменения (относительно времени взлома) квартальных продаж трех крупных компаний розничной торговли, в которых произошли утечки данных, получившие широкую огласку: Home Depot, JCPenney и Target. На рис. 6.3 показаны изменения цен на акции этих компаний и компании Anthem.

Рис. 6.1. Поквартальное изменение объема продаж компаний розничной торговли, пострадавших от крупных утечек данных, относительно квартала, в котором произошла утечка

Рис. 6.2. Ежедневные изменения цены на акции компаний, пострадавших от крупных утечек данных, относительно дня, когда произошла утечка

На рис. 6.1 и 6.2 не заметно значительных изменений после утечки данных по сравнению с волатильностью до утечки. Для лучшего понимания рассмотрим изменения относительно исторической волатильности.

Рис. 6.3. Изменение цен на акции трех компаний розничной торговли после крупной утечки данных в сравнении с исторической волатильностью

Рис. 6.4. Изменения в скорректированных с учетом сезонности квартальных продажах после утечки данных в сравнении с исторической волатильностью

На рис. 6.3 и 6.4 историческая волатильность продаж и цен на акции показана в течение трех лет до утечки данных в виде интервала с пятого по 95-й процентиль изменений. Маркерами отмечены изменения после утечки данных в сравнении с диапазоном исторической волатильности (вертикальные пунктирные линии). Изменения продаж и цен на акции после утечки данных показаны относительно их исторической волатильности.

Как видно, любая связь между крупной утечкой данных и продажами или ценой на акции в лучшем случае является слабой, даже при таких масштабных утечках, что произошли в Home Depot и Target. И хотя создается впечатление, что утечки данных могли привести к некоторому снижению в среднем, подобное снижение можно объяснить историческим «шумом» ежедневных или квартальных изменений. В марте 2015 года в журнале Forbes были опубликованы результаты еще одного анализа агентства Trefis, из которых следовало, что хотя у Home Depot не было фактических потерь в кварталах после утечки данных, но, по заявлению руководства, компания понесла из-за случившегося другие убытки, в том числе связанные с «юридической помощью, мошенничеством с платежными картами и расходами на перевыпуск карт»10.

Что же касается падения стоимости акций на 14 %, которое наблюдалось у компании Target в течение двух месяцев после утечки данных, то его тоже следует рассматривать в контексте. Так, ранее в том же году, когда произошла утечка, имело место схожее снижение цен акций Target на 14 % за двухмесячный период с августа по сентябрь. А к ноябрю 2014 года цена оказалась даже выше, чем непосредственно перед утечкой данных.

А как же опросы, показывающие, что потребители перестанут покупать товары в розничных магазинах, пострадавших от крупной утечки данных? Тут можно лишь сказать, что показатели продаж не соответствуют заявлениям респондентов. Это вполне согласуется с фактом, что, по-видимому, выражаемая в вопросе позиция относительно ценности частной жизни и безопасности не отражается на реальных поступках, как показано в одном австралийском исследовании^11. Trefis даже было добавлено примечание по поводу наблюдаемого снижения продаж у Target, указывающее, что «клиентопоток в данной отрасли продаж в целом снижается из-за постепенного перехода покупателей в онлайн, где присутствие компании Target ничтожно мало»12. В Trefis также отметили следующее касательно компании Home Depot:

Несмотря на то что речь идет о проблеме более масштабной, чем утечка данных в компании Target в конце 2013 года, маловероятно, что Home Depot потеряет значительную часть прибыли. Отчасти это объясняется в целом благоприятной ситуацией в экономике США, и на рынке жилья в частности. Более того, если от Target клиенты перешли к таким компаниям, как Costco или Kohl's, то в случае, когда речь идет о покупке фанеры, пил, цемента и тому подобного, конкуренция почти отсутствует^13.

Таким образом, становится понятно, что существуют и другие факторы, влияющие на возникновение у компании розничной торговли трудностей с удержанием клиентов. Поэтому, вероятно, в ситуации реальной «потери репутации» также многое будет зависеть от того, куда клиенты компании могут обратиться, чтобы получить те же продукты и услуги. Но даже при наличии всех этих факторов, как было в случае с компанией Target, все равно трудно отделить их влияние от обычных колебаний рынка.

Наконец, если обратиться к прошлым сообщениям о суммах затрат, вызванных утечками данных, кое-что не сходится. Убытки от утечки данных в компании T.J. Maxx в 2007 году оценивались в более чем 1,7 млрд долл.14 Прошло достаточно времени, чтобы проявились даже отдаленные последствия. Но если какие-то убытки, приближенные к этой сумме, и были, то они, похоже, хорошо скрыты в финансовых отчетах компании. До утечки данных годовой доход от операций T.J. Maxx составлял около 700 млн долл., а в какой-то момент после утечки вырос до примерно 1,2 млрд долл. В годовых отчетах представлены весьма обобщенные данные, однако воздействие, даже вполовину менее серьезное, чем предсказывалось, должно было явственно отразиться хоть в одном году. Тем не менее подобного влияния не видно ни по прибыли, ни по расходам, ни по денежным средствам или новым займам. Безусловно, компания T.J. Maxx понесла убытки, но нет никаких доказательств, что их сумма была хоть сколько-нибудь приближена к 1,7 млрд долл.

Потерять бизнес в результате утечки данных возможно, но тот факт, что эффект такого воздействия трудно отделить от обычных ежедневных или поквартальных колебаний, помогает определить практический подход к моделированию данного типа убытков. Маршалл Кюперс, кандидат наук в области управления и инженерии из Стэнфорда, посвятил свое исследование изучению этих вопросов. Вот что рассказал Кюперс авторам данной книги:

В ходе научных исследований рассматривалось влияние сообщений об утечке данных на цену акций организаций, и раз за разом не находилось достаточных доказательств связи этих двух явлений между собой. Установить взаимосвязь сложно, поскольку сигналы быстро рассеиваются, а статистически значимая корреляция исчезает примерно через три дня.

Лучший способ моделирования ущерба репутации – проекты по искуплению

Мы не утверждаем, что крупные утечки данных не приносят убытки. С ними связаны реальные затраты, но следует подумать, как моделировать их иначе, без туманных отсылок на репутацию. Фактические «репутационные» убытки можно более реалистично смоделировать как ряд вполне материальных затрат, называемых нами «проекты по искуплению», а также других внутренних и юридических обязательств. Проекты по искуплению – расходы компании, направленные на сокращение долгосрочных последствий потери репутации. Другими словами, компании, похоже, стараются контролировать ущерб, наносимый их репутации, а не принимают последствия как есть, что, возможно, приводило бы к гораздо большему урону. Подобные усилия, по-видимому, оказывают достаточный сдерживающий эффект на реальные репутационные потери, раз их влияние на продажи или цены на акции малозаметно. К таким сдерживающим мерам относятся:

• крупные новые инвестиции в системы и политику кибербезопасности для исправления потенциальных уязвимостей;

• замена значительной части руководителей высшего звена, отвечающих за кибербезопасность (они могут оказаться козлами отпущения, но такой шаг может быть необходим для репутации);

• активизация взаимодействия с общественностью с целью убедить клиентов и акционеров, что проблема решается (это помогает донести до аудитории, что усилия из предыдущих пунктов позволят решить проблему);

• маркетинговые и рекламные кампании (помимо распространения информации о том, как была решена проблема) для компенсации возможных потерь в бизнесе.

По всей видимости, именно эти действия по минимизации негативного воздействия на репутацию, а не сам ущерб репутации и требуют реальных затрат. Каждое из них представляет собой удобный конкретный показатель, для которого у нас есть множество примеров в прошлом. Безусловно, если, на ваш взгляд, ущерб репутации связан с иными затратами, то следует смоделировать их. Но что в действительности значит для бизнеса ущерб репутации, если невозможно обнаружить его влияние ни на продажи, ни на цены акций? Поэтому главное – убедитесь, что ваше предположение подкреплено эмпирической базой. В противном случае, возможно, будет проще придерживаться стратегии расходов на проекты по искуплению.

Итак, если потратить чуть больше времени и усилий на анализ, можно получить разумную оценку даже такого вроде бы «неосязаемого» явления, как потеря репутации.

Заключение

Разложение на составляющие может быть в определенной мере очень полезным, что было нами продемонстрировано на простом дополнительном разложении, которое можно использовать для развития примера из главы 3. Кроме того, загружаемая электронная таблица-образец и описание распределений в приложении А познакомят вас еще с некоторыми инструментами, полезными при разложении.

Мы также отметили, что разложения на составляющие бывают неинформативными. Необходимо строить разложение таким образом, чтобы в нем применялись известные фактические данные – какими бы ограниченными они ни были, – а не суждения о суждениях. Стоит проверять свои разложения на составляющие с помощью симуляций и сравнивать результаты с первоначальной оценкой до разложения. Это покажет, удалось ли в результате разложения на составляющие сузить диапазон оценки ущерба, или, наоборот, его придется расширить. В конце мы проработали особенно сложное для количественной оценки воздействие – потерю репутации – и показали, что даже в таких случаях есть конкретные наблюдаемые последствия, которые можно оценить.

Пока еще не затрагивалась тема разложения на составляющие вероятности событий, за исключением определения вероятности наступления двух типов событий (нарушение доступности в сравнении с нарушением конфиденциальности и целостности). Вероятность часто является бóльшим источником неопределенности для аналитика и беспокойства для руководства, чем воздействие. К счастью, ее тоже можно разложить на составляющие, данный вопрос будет рассмотрен позже в этой части.

Еще необходимо выяснить, откуда берутся первоначальные оценки диапазонов и вероятности. Как обсуждалось в предыдущих главах, экспертов, которые раньше присваивали произвольные баллы в матрицах рисков, можно научить присваивать субъективные вероятности, причем так, что это само по себе уже приведет к измеримым улучшениям оценки. Затем такую первоначально заданную неопределенность можно скорректировать с помощью очень полезных математических методов, даже если кажется, что данных мало. Мы рассмотрим эти темы в двух последующих главах: «Калиброванные оценки» и «Уменьшение неопределенности с помощью байесовских методов».

Примечания

1. Ronald A. Howard and Ali E. Abbas, Foundations of Decision Analysis (New York: Prentice Hall, 2015), 62.

2. Michael Burns and Judea Pearl. “Causal and Diagnostic Inferences: A Comparison of Validity,” Organizational Behavior and Human Performance 28, no. 3 (1981): 379–394.

3. Ronald A. Howard, “Decision Analysis: Applied Decision Theory,” Proceedings of the Fourth International Conference on Operational Research (New York: Wiley-Interscience, 1966).

4. Ronald A. Howard and Ali E. Abbas, Foundations of Decision Analysis (New York: Prentice Hall, 2015), xix.

5. “Target Says Data Breach Hurt Sales, Image; Final Toll Isn’t Clear,” Dallas Morning News, March 14, 2014.

6. Trefis Team, “Home Depot: Will the Impact of the Data Breach Be Significant?” Forbes, March 30, 2015, www.forbes.com/sites/greatspeculations/2015/03/30/home-depot-will-the-impact-of-the-data-breach-besignificant/#1e882f7e69ab.

7. Karthik Kannan, Jackie Rees, and Sanjay Sridhar, “Market Reactions to Information Security Breach Announcements: An Empirical Analysis,” International Journal of Electronic Commerce 12, no. 1 (2007): 69–91.

8. Alessandro Acquisti, Allan Friedman, and Rahul Telang, “Is There a Cost to Privacy Breaches? An Event Study,” ICIS 2006 Proceedings (2006): 94.

9. Huseyin Cavusoglu, Birendra Mishra, and Srinivasan Raghunathan, “The Effect of Internet Security Breach Announcements on Market Value: Capital Market Reactions for Breached Firms and Internet Security Developers,” International Journal of Electronic Commerce 9, no. 1 (2004): 70–104.

10. Trefis Team, “Home Depot: Will the Impact of the Data Breach Be Significant?” March 27, 2015, www.trefis.com/stock/hd/articles/286689/home-depot-will-the-impact-of-the-data-breach-be-significant/2015-03-27.

11. Wallis Consulting Group, Community Attitudes to Privacy 2007, prepared for the Office of the Privacy Commissioner, Australia, August 2007, www.privacy.gov.au/materials/types/download/8820/6616.

12. Trefis Team, “Data Breach Repercussions and Falling Traffic to Subdue Target’s Results,” August 18, 2014, www.trefis.com/stock/tgt/articles/251553/aug-20data-breach-repercussions-and-falling-traffic-tosupdue-targets-results/2014-08-18.

13. Trefis Team, “Home Depot: Will the Impact of the Data Breach Be Significant?” March 27, 2015, www.trefis.com/stock/hd/articles/286689/home-depot-will-the-impact-of-the-data-breach-be-significant/2015-03-27.

14. Ryan Singel, “Data Breach Will Cost TJX 1.7B, Security Firm Estimates,” Wired, March 30, 2007, www.wired.com/2007/03/data_breach_wil/.

Глава 7. Калиброванные оценки: что вам известно уже сейчас?

Самые важные вопросы в жизни по большей части являются лишь задачами вероятности.

Пьер-Симон Лаплас (1746–1827), французский математик, один из создателей теории вероятностей^1

Описанный ранее метод требует субъективной оценки количественных вероятностей. Например, эксперту в области кибербезопасности надо оценить вероятность наступления события или размер убытков в случае его наступления. И здесь приходится столкнуться с определенным сопротивлением. Некоторые эксперты по кибербезопасности, которых, похоже, не смущает оценка вероятности как «средняя» или «2», часто недоумевают, как можно субъективно оценивать количественную вероятность события.

Безусловно, вопрос о достоверности субъективных вероятностей вполне правомерен. К счастью, как упоминалось в главе 5, уже проведено немало исследований на данную тему, и очевидны два вывода: 1) большинство людей плохо умеют распределять вероятности, но 2) их можно научить делать это очень хорошо.

Поэтому, да, достоверность субъективных оценок вероятности объективно измерима, и ее уже измеряли (как ни парадоксально). Отрицать это – значит отвергать научно подтвержденные факты. Эксперт в области кибербезопасности способен научиться выражать свою неуверенность с помощью субъективного и одновременно количественного показателя неопределенности. В этой главе вы познакомитесь с азами использования субъективных оценок вероятностей, а также способами измерения навыков такой оценки и улучшения их с практикой.

Данная глава во многом дублирует главу о калибровке из первой книги «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». Если читатель уже знаком с обсуждением калиброванных оценок вероятности из той книги, эту главу можно пропустить или бегло просмотреть.

Введение в субъективную вероятность

В самом простом методе, описанном ранее, имеются два типа распределения вероятностей. Один применяется к дискретным событиям типа «или-или», например произойдет ли крупная утечка данных платежных карт клиентов компании розничной торговли. Другой применяется к диапазонам значений, скажем, какова будет величина убытков в секторе продаж в случае крупной утечки данных платежных карт клиентов. Суть двух типов распределения вероятностей кратко представлена в табл. 7.1.

В главе 3 оба метода применялись для выражения неопределенности относительно наступления события, касающегося кибербезопасности. К типу дискретного события относилось определение самого факта наступления события. Нами присваивалась вероятность (1 %, 15 % и т. д.), что событие произойдет в течение определенного периода времени. А его финансовое воздействие выражалось уже в виде диапазона.

Конечно, из этих двух форм распределений можно создать множество комбинаций. Могут быть дискретные события с более чем двумя исходами или сочетания дискретных и непрерывных распределений. Из нескольких бинарных распределений можно даже построить непрерывное распределение. На практике, однако, такое разграничение полезно.

Таблица 7.1. Два типа субъективных оценок вероятности, используемых в простой модели замены «один на один» (из главы 3)

Выразить неопределенность относительно непрерывных величин можно через представление их в виде диапазона вероятных значений. Как отмечалось в главе 3, диапазон, с определенной вероятностью содержащий правильный ответ, называется в статистике доверительным интервалом[7]. 90 %-ный ДИ – диапазон, который с вероятностью 90 % может содержать правильный ответ (существует некоторая полемика по поводу использования термина и субъективных вероятностей в целом, о чем мы поговорим далее в этой главе). Напомним, что в главе 3 нам нужен был диапазон для обозначения неопределенности убытков в результате взлома или других нарушений кибербезопасности. Эти значения можно рассчитать с помощью всевозможных сложных методов статистического анализа или же задать, основываясь лишь на собственном опыте. В любом случае значения отражают вашу неуверенность в отношении данной величины.

Кроме того, вероятности позволяют описать неопределенность в отношении конкретного будущего события, например будет ли украдена информация о платежных картах клиентов, персональные медицинские или иные данные в результате взлома какой-либо системы. Скажем, можно предположить, что в ближайшие 12 месяцев существует 2 %-ная вероятность утечки данных, достаточно крупной, чтобы потребовалось публичное объявление (обратите внимание, что при определении вероятностей будущих событий всегда следует указывать период времени, иначе вероятность теряет смысл).

А если событие не произойдет, как узнать, была ли вероятность «верной»? Очевидно, что при вероятности намного меньше 50 % вряд ли кто-то всерьез ожидает наступления события. Однако единичное событие в любом случае не определяет, была ли заявленная вероятность верной или нет, а поэтому имеет смысл рассматривать ряд точек данных. Мы можем спросить: «Из большого числа событий, которым присвоили 5 %-ную вероятность наступления в течение года, действительно произошли около 5 %?» Аналогичным образом, если мы считали, что вероятность события составляет 20 или 1 % в тот же период времени, происходили ли события в 20 или 1 % случаев соответственно?

К сожалению, как вы можете помнить из главы 4, обширные исследования показали, что очень немногие люди от природы являются калиброванными оценщиками. В психологии принятия решений калиброванные оценки вероятности изучались с 1970-х и 1980-х годов вплоть до самого недавнего времени. Как уже отмечалось, ведущими исследователями в этой области стали Даниэль Канеман и его коллега Амос Тверски^2. Психология принятия решений изучает, как люди на самом деле принимают решения, какими бы иррациональными они ни были. Этим она отличается от многих методов науки управления или количественного анализа, которым обучают в бизнес-школах и которые направлены на выработку «оптимальных» решений для конкретных, четко определенных проблем. Согласно исследованию Канемана и Тверски, почти все подвержены либо «чрезмерной уверенности», либо «недостаточной уверенности» в своих оценках. Хотя подавляющее большинство людей все же склонны к чрезмерной уверенности (см. вставку «Две крайности субъективной уверенности»). Определение шансов наступления неопределенных событий или диапазонов для неопределенных величин – навык, который не возникает автоматически на основе опыта и интуиции.

Две крайности субъективной уверенности

Чрезмерная уверенность проявляется, когда человек регулярно преувеличивает свои знания и оказывается правым реже, чем сам считает. Например, кого-то просят сделать оценку с 90 %-ным ДИ, и гораздо меньше 90 % ответов попадают в предполагаемые диапазоны.

Недостаточная уверенность проявляется, когда человек регулярно занижает свои знания и оказывается прав гораздо чаще, чем ожидает. Например, кого-то просят сделать оценку с 90 %-ным ДИ, и более 90 % ответов попадают в предполагаемые диапазоны.

К счастью, работы других исследователей показывают, что можно добиться более точных оценок, если научиться справляться с собственной необъективностью в оценке^3. Выявлено, что составители прогнозов и букмекеры в целом точнее оценивали шансы наступления событий, чем, скажем, руководители. Кроме того, сделано несколько тревожных открытий о том, насколько неточны врачи в прогнозировании неизвестных вещей, например вероятности того, что опухоль окажется злокачественной или что боль в груди – сердечный приступ. Было выдвинуто предположение, что раз существует такая разница между различными профессиями, значит, оценивать шансы наступления неопределенных событий можно научиться.

Исследователи определили способ, как экспертам выяснить, проявляют ли они систематически недостаточную уверенность, чрезмерную уверенность или другие предубеждения в своих оценках. Проведя такую самооценку, они смогут освоить несколько техник улучшения оценок и измерения этих улучшений. Иными словами, исследователи выяснили, что оценка неопределенности является общим навыком, которому можно научиться и который можно измеримо совершенствовать. То есть, когда калиброванные эксперты в области кибербезопасности заявляют о своей уверенности на 95 % в том, что система не будет взломана, то действительно существует вероятность 95 %, что система не будет взломана.

Как упоминалось выше, существуют разные точки зрения на понятие вероятности, среди сторонников каждой из них немало известных имен в математике, статистике и естественных науках. Мы не будем вдаваться в подробности данной полемики, но если заинтересуетесь, смотрите книгу «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе», особенно третье издание. Доводы, приводимые в ней Хаббардом, просто повторяют аргументы, которые уже озвучивали великие ученые и математики, такие как Л. Дж. Сэвидж, Э. Т. Джейнс и Г. Джеффрис. Суть их сводится к тому, что субъективистский взгляд на вероятность – фактически единственно применимый для принятия решений на практике. Для удобства основное содержание споров изложено в разделе «Исключительно философская интерлюдия» данной главы.

Упражнение в калибровке

С помощью небольшого опросника давайте проверим, насколько хорошо вы умеете количественно оценивать неопределенность. В табл. 7.2 приведены десять вопросов с 90 %-ным ДИ и десять бинарных вопросов (т. е. с ответами «верно/неверно»). Если вы не побеждали в викторине «Своя игра», то вряд ли сможете уверенно ответить на все вопросы из области общих знаний (хотя некоторые из них очень просты). Тем не менее о них всех у вас, скорее всего, имеется какое-то приблизительное представление. Похожее упражнение Хаббард выполняет со слушателями на мастер-классах и семинарах. Разница лишь в том, что тесты, проводимые им, содержат больше вопросов каждого типа, а после теста разбираются некоторые из работ и даются соответствующие пояснения. Подобное обучение калибровке обычно занимает полдня.

Но даже при такой небольшой выборке можно выявить значимые аспекты ваших навыков. Что еще важнее, упражнение поможет осознать, что ваше нынешнее состояние неопределенности само по себе поддается количественной оценке.

В табл. 7.2 представлено по 10 вопросов каждого из двух типов.

1. С 90 %-ным доверительным интервалом. Для каждого вопроса укажите верхний и нижний пределы. Помните, что диапазон должен быть достаточно широким, чтобы вы считали вероятность того, что ответ будет в него попадать, равной 90 %.

2. Бинарные. Ответьте, является ли каждое из утверждений верным или неверным, затем обведите вероятность, отражающую степень вашей уверенности в ответе. Если вы абсолютно уверены в своем ответе, следует указать, что ваши шансы на верный ответ составляют 100 %. Если вы понятия не имеете, верно ли утверждение, то шанс должен быть как при подбрасывании монетки (50 %). В остальных случаях выбирайте одно из значений между 50 и 100 %.

Конечно, можно просто найти ответы на все вопросы, но стоит помнить, что упражнение прежде всего направлено на понимание того, насколько хорошо вы умеете оценивать проблемы, ответы на которые нельзя нигде подсмотреть (например, как долго продлится отключение системы в следующем году, или произойдет ли утечка данных в одной из систем предприятия).

Таблица 7.2. Пример калибровочного теста

Важная подсказка: вопросы различаются по сложности. Некоторые покажутся простыми, а другие – слишком сложными. Но независимо от того, насколько сложным кажется вопрос, вы все равно что-нибудь да знаете по этой теме. Сосредоточьтесь на том, что знаете. В вопросах с диапазоном это могут быть определенные границы, за пределами которых ответ покажется абсурдным (например, вам, вероятно, известно, что Ньютон не жил ни в Древней Греции, ни в ХХ веке). Аналогично и с бинарными вопросами: даже если не уверены, у вас по крайней мере есть предположение, какой ответ более вероятен.

После завершения теста, но перед тем, как посмотреть ответы, попробуйте провести небольшой эксперимент, чтобы проверить, действительно ли указанные диапазоны отражают ваш 90 %-ный ДИ. Возьмем один из вопросов с ДИ, скажем, про публикацию Ньютоном закона всемирного тяготения. Предположим, вам предложили шанс выиграть 1000 долл. одним из двух способов.

A. Вы выиграете, если год публикации книги Ньютона окажется между датами, которые вы указали в качестве верхнего и нижнего пределов. Если нет, вы ничего не получаете.

Б. Вы вращаете барабан (рис. 7.1), разделенный на два неравных сектора, один из которых занимает 90 % поверхности, а другой – только 10 %. Если при остановке барабана стрелка окажется в большом секторе, вы выигрываете, если в маленьком – ничего не получаете (т. е. вероятность того, что вы выиграете 1000 долл., составляет 90 %).

Что предпочтете? На барабане уже определена вероятность 90 %, что вы выиграете 1000 долл., и 10 %, что ничего не выиграете. Если вы такие же, как большинство (около 80 %) людей, то предпочтете крутить барабан. Почему так? Единственное объяснение – вы считаете, что с барабаном больше шансов на выигрыш. Из чего придется сделать вывод, что 90 %-ный ДИ, указанный вами, на самом деле таковым не является. Возможно, это ваш 50 %-ный, 65 %-ный или 80 %-ный ДИ, но никак не равный 90 %. Таким образом, ваша первоначальная оценка, вероятно, была слишком самоуверенной. Стремясь показать, что вы более уверены, чем есть на самом деле, вы как раз и демонстрируете свою неуверенность.

Рис. 7.1. Вращайте и выигрывайте!

Столь же нежелательный исход – выбор варианта А, где вы выигрываете 1000 долл., если правильный ответ окажется в пределах названного вами диапазона. В этом случае вы явно уверены более чем на 90 %, что ваш диапазон содержит ответ, хотя и указываете, что уверены всего лишь на 90 %. Другими словами, такой выбор обычно характерен для недостаточно уверенного человека.

Единственный приемлемый ответ – задать диапазон так, чтобы для вас не было разницы между вариантами А и Б. Это означает, вы должны считать, что с шансом 90 % – не больше и не меньше – ответ находится в пределах вашего диапазона. Для человека с чрезмерной уверенностью (т. е. для большинства из нас) равнозначность вариантов А и Б достигается за счет увеличения ширины диапазона. А при недостаточной уверенности изначальный диапазон, наоборот, следует сужать.

Разумеется, такая же проверка применима и к бинарным вопросам. Скажем, вы на 80 % уверены в ответе на вопрос о месте рождения Наполеона. Опять же, можно выбрать между ставкой на правильность своего ответа или вращением барабана, только в этом случае выигрышный сектор барабана занимает 80 % поверхности. Если предпочтете крутить барабан, скорее всего, ваша уверенность в ответе меньше 80 %. Теперь предположим, что размер сектора на барабане изменен до 70 %. Если после этого вы решите, что шансы при вращении барабана такие же (не больше и не меньше), как и у вашего ответа, значит, можно говорить о том, что на самом деле вы уверены в правильности своего ответа на 70 %.

На занятиях по калибровке Хаббард называет это «тестом равноценной ставки» (иногда в примерах из литературы по психологии принятия решений его называют «равноценной урной», в этом случае ответы извлекаются из урны наугад). Как следует из названия, тест проверяет, действительно ли вы на 90 % уверены в диапазоне, сравнивая его со ставкой, которую вы должны посчитать равноценной. Согласно исследованиям, если притвориться, что на кону стоят деньги, то способность человека оценивать шансы значительно улучшается^4. На самом деле настоящие ставки на деньги оказываются лишь немногим эффективнее, чем подобные притворные ставки.

Такие методы, как тест равноценной ставки, помогают экспертам давать более реалистичную оценку неопределенности. Людей, хорошо умеющих оценивать неопределенность (т. е. они правы в 80 % случаев, когда говорят, что уверены на 80 %, и т. д.), называют «калиброванными». Существует еще несколько простых способов совершенствования калибровки, но сначала посмотрим, как вы справились с тестом. Ответы приведены в конце главы после примечаний.

Чтобы узнать, насколько хорошо вы откалиброваны, нужно сравнить ожидаемые результаты с фактическими. Поскольку в вопросах с диапазоном требовался 90 %-ный ДИ, то, по сути, вы ожидали, что 9 из 10 правильных ответов окажутся в пределах указанных вами диапазонов. Остается только сравнить количество ответов, попавших в заявленные диапазоны, с ожидаемым количеством – 9. Если ожидания совпадут с результатами, возможно, вы хорошо откалиброваны. Выборка очень маленькая, и по ней, конечно, нельзя с полной уверенностью судить об одном человеке. Но поскольку подобные тесты прошли более 1000 человек, можно проследить закономерность даже при таком небольшом количестве вопросов.

На рис. 7.2 показаны фактическое и ожидаемое распределения ответов, попавших в заявленный ДИ в тесте из 10 вопросов (данные на рисунке на самом деле отражают результаты нескольких вариаций тестов из 10 вопросов, и результаты аналогичны для всех версий). Если бы все респонденты являлись идеально калиброванными, можно было бы ожидать, что у большинства из них (75 %) 8, 9 или 10 из 10 ответов окажутся в пределах заявленных 90 %-ных доверительных интервалов. Именно такое распределение мы бы ожидали получить, если бы бросили 10-гранный кубик 10 раз, подсчитали количество раз, когда результат был равен 9 или меньше, и повторили процесс тысячу раз. Вместо этого мы видим, что большинство людей предоставляют диапазоны, которые больше похожи на 40 %-ный или 60 %-ный ДИ, а не 90 %-ный. Те, кто случайно получил восемь или более ответов в пределах указанных диапазонов, математически согласуются с категорией некалиброванного, но удачливого «верхнего хвоста» некалиброванной популяции. То есть это не группа уже откалиброванных на момент первого теста людей.

Рис. 7.2. Распределение ответов в пределах 90 %-ных ДИ для калибровочного теста из 10 вопросов

Ожидаемый результат ответов на вопросы типа «верно/неверно» не является конкретным числом, так как степень вашей уверенности может быть разной для каждого ответа – от 50 до 100 %. Если для всех 10 вопросов вы указали 100 %, значит, ожидаете, что все 10 ответов будут верными. Если же вы были уверены в правильности каждого ответа только на 50 % (т. е. считали, что ваши шансы не лучше, чем при подбрасывании монетки), значит, ожидали, что примерно половина из них будет правильной. Чтобы вычислить ожидаемый результат, преобразуйте все обведенные процентные значения в десятичные дроби (т. е. 0,5; 0,6; 0,7; 0,8; 0,9; 1) и сложите их. Допустим, ваша уверенность в ответах была 1; 0,5; 0,9; 0,6; 0,7; 0,8; 0,8; 1; 0,9 и 0,7. Итого 7,9. Значит, «ожидаемое» число правильных ответов равнялось 7,9.

Если вы такие же, как большинство людей, то количество правильных ответов окажется меньше, чем ожидалось. Этого количества вопросов, опять же, недостаточно для измерения вашего умения оценивать неопределенность, но большинство людей настолько самоуверенны, что даже такое небольшое число вопросов может быть весьма показательным.

Одним из способов оценки результативности при прохождении подобного теста является определение вероятности, что действительно откалиброванный человек (т. е. тот, у которого каждый 90 %-ный ДИ с шансом 90 % содержит нужное значение) получит такой же результат, как у вас. Расчеты показывают, что существует лишь 1 шанс из 612, что калиброванному человеку сильно не повезет и только 5 из 10 (или еще меньше) 90 %-ных ДИ будут содержать правильные ответы. Образец электронной таблицы с расчетами и примеры более объемных тестов можно найти на сайте www.howtomeasureanything.com/cybersecurity. Но поскольку более половины респондентов, проходящих тесты, показывают настолько плохие результаты (56 %), можно смело делать вывод, что это систематическая чрезмерная уверенность, а не случайное невезение в сочетании с небольшим размером выборки. И дело не в том, что вопросы были слишком сложными, ведь результаты отражают выводы, сделанные на основе множества тестов с самыми разными вопросами за последние несколько лет. Даже при такой маленькой выборке, если в пределах вашего диапазона оказываются менее семи ответов, то вы, скорее всего, самоуверенны, а если в диапазон попадает менее пяти ответов, вы очень самоуверенны.

С тестами «верно/неверно» респонденты справляются немного лучше, но в среднем они все равно склонны к чрезмерной уверенности, настолько, что это выявляется, как правило, даже с помощью теста всего из 10 вопросов. Обычно люди ожидают правильно ответить на 74 % вопросов типа «верно/неверно», но на самом деле отвечают правильно только на 62 %. Почти треть участников предполагали, что из 10 вопросов в тестах данного типа дадут от 80 до 100 % верных ответов; но ответили правильно только на 64 % вопросов. Отчасти результаты в тесте «верно/неверно» лучше потому, что статистически он менее точен: больше шансов, что калиброванному человеку не повезет, а некалиброванный покажет результат как у калиброванного на такой небольшой выборке вопросов. Но все же, если фактическое число правильных ответов оказалось по меньшей мере на 2,5 ниже ожидаемого, скорее всего, вы слишком самоуверенны.

Дальнейшее совершенствование калибровки

Согласно научным исследованиям, на калибровку значительное влияние оказывает обучение. Выше уже упоминался тест равноценной ставки, создающий видимость связи личных последствий с результатами. Исследования доказывают, что еще одним ключевым методом калибровки способности оценивать неопределенности является повторение с обратной связью. В этом случае участникам задается несколько вопросов общей тематики вроде тех, которые были в только что пройденном вами тесте. Участники отвечают, затем им показывают правильные ответы и повторяют тест.

Однако отдельно взятый метод, похоже, не в силах полностью избавить большинство людей от природной самоуверенности. В попытке это исправить мы объединили несколько методов и выяснили, что большую часть людей можно почти идеально откалибровать.

В другом методе участникам предлагается назвать аргументы против каждой из своих оценок. Например, ваша оценка потерь из-за юридических обязательств может быть основана на другом подобном примере, произошедшем в вашей компании. Но, вспомнив, насколько разными были заявленные убытки в других компаниях, а может, и некоторые удивительные решения судов, возможно, вы пересмотрите первоначальный диапазон. Научные исследования выявили, что этот метод сам по себе значительно улучшает калибровку^5.

Еще Хаббард просил экспертов, предоставляющих оценки в виде диапазона, рассматривать каждую границу диапазона как отдельный «бинарный» вопрос. Девяностопроцентный ДИ означает наличие вероятности 5 %, что истинное значение может быть выше верхнего предела, и вероятности 5 %, что оно окажется ниже нижнего предела. Значит, специалисты по оценке должны быть на 95 % уверены, что правильное значение меньше верхнего предела. Если такой уверенности нет, следует увеличивать верхний предел, пока они ее не достигнут. Аналогичный тест применяется к нижнему пределу. Выполнение этого теста, похоже, позволяет избежать якорного эффекта, упомянутого в главе 4. Напомним, что якорный эффект является своего рода зацикленностью: если у нас в голове засело какое-то число, то все остальные оценки, как правило, будут тяготеть к нему. Некоторые специалисты по оценке, составляя диапазоны, задумывают одно число, а затем складывают или вычитают «ошибку» для создания диапазона. Такой подход может казаться разумным, но на самом деле чаще приводит к тому, что у экспертов получаются «чрезмерно уверенные» диапазоны (т. е. слишком узкие). Рассмотрение же каждого предела в отдельности как самостоятельного бинарного вопроса «Вы на 95 % уверены, что предел больше/меньше этой суммы?» избавляет от склонности к якорному эффекту.

Кроме того, можно сделать так, чтобы естественная склонность к якорному эффекту работала наоборот. Вместо того чтобы начинать с точечной оценки и затем превращать ее в диапазон, начните с абсурдно широкого диапазона, а затем постепенно исключайте значения, которые считаете крайне маловероятными. Если вы понятия не имеете, насколько велики могут быть убытки от утечки данных об интеллектуальной собственности (ИС), начните с диапазона от 100 до 10 млрд долл. Затем вы поймете, что при краже ИС как минимум будут предприняты усилия по оценке убытков, и повысите нижний предел. Потом признаете, что стоимость ИС не может превышать все доходы от данного продукта, а новые технологии уменьшают срок жизни ИС, и, возможно, понизите верхний предел. И, продолжая в том же духе, вы сможете сузить диапазон, убрав все абсурдные значения.

Иногда мы называем это «тестом на абсурдность». В нем вопрос «Как я думаю, каким может быть это значение?» перефразируется на «О каких значениях я точно знаю, что они нелепы?» Ищутся и затем исключаются явно абсурдные ответы, пока не останутся варианты, которые все еще маловероятны, но уже не совсем неправдоподобны, что и будет пределом наших знаний о данной величине.

После нескольких калибровочных тестов и практики с остальными методами специалисты по оценке учатся корректировать свое «чутье вероятности». Большинство становится почти идеально калиброванными всего лишь за половину дня обучения. Главное здесь, что испытуемые хоть и тренируются на вопросах общих знаний, навык калибровки переносится на любую область оценки.

На сайте www.howtomeasureanything.com/cybersecurity представлены дополнительные калибровочные тесты каждого типа (с диапазоном и бинарные). Работая с ними, попробуйте для улучшения калибровки применить разобранные методы, которые кратко изложены в табл. 7.3.

Таблица 7.3. Методы улучшения калибровки навыка оценки вероятности

Концептуальные помехи калибровке

Упомянутые выше методы не помогут, если понятия человека о калибровке или вероятностях в целом иррациональны. И хотя большинство людей, занимающих должности, связанные с принятием решений, придерживаются конструктивных взглядов на вероятности или способны их усвоить, некоторые демонстрируют удивительные заблуждения по данному вопросу. Нами было рассмотрено несколько общих концептуальных препятствий в главе 5, давайте теперь уделим чуть больше внимания заблуждениям, связанным с использованием субъективных вероятностей. Вот несколько комментариев, полученных Хаббардом во время обучения группы людей калибровке, а также в процессе получения калиброванных оценок после обучения.

• Не может быть, что моя уверенность в 90 % верна на 90 % потому, что субъективная 90 %-ная уверенность никогда не будет иметь таких же шансов, как и объективные 90 %.

• Вот мой 90 %-ный доверительный интервал, но я понятия не имею, правильный ли он.

• Это невозможно оценить. У нас же никакой информации.

• Не зная точного ответа, невозможно узнать шансы.

Первая фраза принадлежит инженеру-химику, и в ней отражена проблема, с которой он изначально столкнулся при калибровке. До тех пор пока человек будет считать, что субъективная вероятность уступает объективной, освоить калибровку у него не выйдет. Однако после нескольких упражнений по калибровке наш инженер-химик обнаружил, что может субъективно задавать вероятности, которые оказывались верными так часто, как и предполагалось. Иначе говоря, его 90 %-ные доверительные интервалы содержали правильные ответы в 90 % случаев.

Остальные замечания очень похожи. Все они частично основаны на идее, что, если не знаешь точные величины, значит, не знаешь ничего полезного. И в очередной раз обратите внимание, что ни одна из проблем, озвученных в этих возражениях, не исчезнет, если заменить субъективные, но четко определенные вероятности и диапазоны двусмысленными фразами о «высокой» или «средней» вероятности или убытках. Какими бы ни были трудности, связанные с использованием калиброванных оценок вероятности, с ними нельзя справиться, скрыв проблему за словесными формулировками, лишь усугубляющими неточность.

Даже калиброванным экспертам на начальном этапе потребуются определенные усилия для преодоления подобных заблуждений. В основе следующего примера лежит беседа специалиста компании Hubbard Decision Research с сотрудниками службы информационной безопасности министерства по делам ветеранов США (о нем упоминалось в главе 2) еще в 2000 году. Эксперт от министерства первоначально вообще не обозначил диапазон, настаивая, что его невозможно оценить. Начав с того, что он «ничего не знает» о переменной, эксперт постепенно признал, что весьма уверен в некоторых границах.

Аналитик: Если ваши системы выходят из строя из-за компьютерного вируса, как долго длится отключение? Как всегда, мне нужен лишь девяностопроцентный доверительный интервал.

Эксперт по безопасности: Трудно точно сказать. Иногда система выходит из строя на короткий срок, а иногда на длительный. Детально это не отслеживается, так как приоритетом всегда является восстановление системы, а не документирование события.

Аналитик: Естественно, вы не можете сказать точно. Вот почему мы указываем только диапазон, а не конкретное число. Вот каким было самое долгое отключение на вашем опыте?

Эксперт по безопасности: Не знаю, по-разному бывало…

Аналитик: Отключение когда-нибудь длилось более двух рабочих дней?

Эксперт по безопасности: Нет, такого никогда не было.

Аналитик: А больше одного дня?

Эксперт по безопасности: Не помню… возможно.

Аналитик: Мы ищем ваш девяностопроцентный доверительный интервал для периода отключения в будущем. Если взять все отключения, вызванные вирусом, они обычно длились больше суток?

Эксперт по безопасности: Понимаю, к чему вы клоните. Пожалуй, в среднем они длились меньше одного дня.

Аналитик: Значит, верхний предел для события будет?..

Эксперт по безопасности: Что ж, думаю, что почти все системные сбои будут исправлены в течение двадцати четырех часов.

Аналитик: Отлично. Теперь давайте рассмотрим нижний предел. Насколько мал он может быть?

Эксперт по безопасности: С некоторыми инцидентами удается справиться за пару часов. Другие требуют больше времени.

Аналитик: Понятно, а систему когда-нибудь возвращали к работе меньше, чем за час?

Эксперт по безопасности: Полагаю, иногда это занимало менее тридцати минут.

Аналитик: Хорошо. Итак, ваш девяностопроцентный доверительный интервал продолжительности отключения от тридцати минут до двадцати четырех часов?

Эксперт по безопасности: Да, но мне кажется, что систему могут отключить и на три дня.

Аналитик: Конечно. Вот почему мы называем это девяностопроцентным доверительным интервалом. Мы допускаем пятипроцентную вероятность, что длительность окажется ниже нижнего предела, и пятипроцентную вероятность, что она будет выше верхнего предела. При моделировании мы получим значения меньше тридцати минут или более двадцати четырех часов в общей сложности один раз из десяти. В зависимости от выбранного распределения в редких случаях можно получить длительность в несколько дней.

Эксперт по безопасности: Тогда, пожалуй, все верно.

Это типичный разговор в ситуации с рядом величин с высокой неопределенностью. Сначала эксперты наотрез отказываются называть диапазон: кто-то, возможно, из-за расхожего мнения, что в бизнесе отсутствие точных показателей – то же самое, что и отсутствие какой-либо информации вообще; а кто-то, быть может, из-за нежелания стать «ответственным за число». Но отсутствие точного числа не означает, что вы ничего не знаете. Эксперту по безопасности было известно, что для большинства сбоев варианты, когда проблема устраняется менее чем за 30 минут или же решается дольше недели, определенно не соответствуют действительности. По крайней мере, он знал, что такие крайности случаются редко. Безусловно, у него не было конкретных величин, но неопределенность не была безграничной.

Данный пример – одна из причин, почему нам не нравится использовать в анализе слово «предположение». Предположение – это утверждение, которое считается истинным для текущих целей, независимо от того, является ли таковым на самом деле. Предположения необходимы, если требуется применять методы учета, требующие конкретные точки в качестве значений. Вы никогда не знаете конкретную точку с уверенностью, поэтому любое такое значение будет предположительным. Но когда есть возможность смоделировать неопределенность с диапазонами и вероятностями, не обязательно утверждать то, чего вы не знаете наверняка. Если вы не уверены, диапазоны и присвоенные вероятности должны это отражать. Если вы понятия не имеете, является ли узкий диапазон правильным, просто расширяйте его, до тех пор пока он не станет отражать известную вам информацию.

Легко потеряться в том, как много неизвестно о проблеме, и забыть, что кое-что вы все же знаете. Вам буквально никогда не доведется измерять явление, единственными границами которого будут отрицательная и положительная бесконечности.

Приведенный диалог также является примером теста на абсурдность в подходе с обратным якорным эффектом, о котором говорилось выше. Мы применяем его всякий раз, когда слышим фразу «Откуда я могу это знать?!» или «Вот мой диапазон, но это лишь догадка». Неважно, как мало, по мнению экспертов, у них сведений о величине, – всегда найдутся значения, в абсурдности которых они уверены. А точка, где значение из абсурдного начнет превращаться в маловероятное, но в некоторой степени правдоподобное, как уже отмечалось, станет пределом их неуверенности в величине. В качестве заключительного теста мы даем равноценную ставку, чтобы посмотреть, будет ли полученный в результате диапазон на самом деле 90 %-ным ДИ.

Скорее всего, в процессе внедрения количественных методов, в какой-то мере опирающихся на субъективную оценку вероятностей, вы столкнетесь и с другими концептуальными возражениями. Как показал приведенный в главе 5 опрос, некоторые эксперты в сфере безопасности весьма любопытно распределяют вероятности. Еще один пример – описанный Хаббардом случай, когда эксперт ответил, что вероятность наступления каждого события составляет 100 %. Коллеги эксперта спорили с ним, считая такую позицию явно абсурдной. Но он возразил, что должен вести себя так, как будто каждое из событий произойдет. Сидящие рядом коллеги заметили, что в таком случае вероятности наступления всех событий считались бы одинаковыми, а поскольку ресурсы ограничены, то пришлось бы распределять их произвольно. Похоже, эксперт перепутал понятия вероятности и рискоустойчивости, а заодно и способы взаимодействия с ними.

Исключительно философская интерлюдия

Означает ли уверенность на 90 %, что вероятность составляет 90 %?

Все возможные «определения» понятия вероятности весьма неполно отражают реальную практику[8].

Уильям Феллер (1906–1970), американский математик

Все согласны с тем, что статистика так или иначе зависит от вероятности. Но что касается вероятности и того, как она связана со статистикой, со времен Вавилонской башни редко случались такие серьезные разногласия и непонимания.

Л. Дж. Сэвидж (1917–1971), американский математик^6

На протяжении всей книги 90 %-ный ДИ рассматривается как на диапазон значений (обозначенный верхним и нижним пределами), в котором с вероятностью 90 % содержится истинное значение. Мы придерживаемся этого определения независимо от того, установлен ли ДИ субъективно или – как будет показано в главе 9 – с помощью данных выборки. При этом вероятность интерпретируется нами как выражение неопределенности или «степени убежденности» лица, выполняющего оценку.

Некоторые (не все) профессора статистики придерживаются другой интерпретации, противоречащей только что изложенной. Если бы мы вычислили, что 90 %-ный ДИ, скажем, для оценки совокупности пользователей, соблюдающих протокол безопасности, составляет от 25 до 40 %, они возразили бы, что заявление о 90 %-ной вероятности того, что истинное среднее значение совокупности находится внутри интервала, неверно. С их точки зрения, истинное среднее значение совокупности либо находится в интервале, либо нет.

Это один из аспектов так называемой частотной интерпретации доверительных интервалов. В нем путаются и студенты, и даже многие ученые. Приверженцы частотной интерпретации (фреквентисты) утверждают, что термин «вероятность» можно применять только к совершенно случайным событиям, которые «строго повторяемы» и имеют бесконечное число итераций. Эти три условия, если точно им следовать, превратят вероятность в чисто математическую абстракцию, которая окажется совершенно неприменима ни к одной ситуации принятия практических решений.

Однако большинство лиц, принимающих решения, судя по всему, придерживаются позиции, описанной в этой книге. Их называют субъективистами, поскольку они используют вероятности для описания личного состояния неопределенности, и неважно, отвечает ли оно таким критериям, как «совершенная случайность». Эту позицию еще иногда называют байесовской интерпретацией (хотя у интерпретации часто нет ничего общего с формулой Байеса, которую мы обсудим в главе 8). С точки зрения субъективиста, вероятность просто описывает знание человека о явлении, пока оно не станет доступным для наблюдения, и не имеет значения при этом, связана ли неопределенность с каким-либо неизменным фактом вроде истинного среднего значения совокупности или нет. Использование вероятностей (и доверительных интервалов) в качестве выражения неопределенности – практический подход к принятию рискованных решений.

Допустим, вы заключаете пари с коллегой о том, сколько человек потеряют ноутбуки в следующем месяце (мы не предлагаем заключать такие пари, это просто пример). Вы заявляете, что ваш 90 %-ный ДИ потерянных ноутбуков в следующем месяце находится в диапазоне от 2 до 10. Предположим, что вместо этого также можно вращать барабан, где вероятность выигрыша составляет 90 %. Какой бы способ ставки вы ни выбрали, вы в равной мере готовы воспользоваться и другим способом. Пока не появится новая информация, например фактическое количество потерянных ноутбуков, диапазон доверительного интервала будет восприниматься вами как вероятность. Будь на кону реальные деньги, подозреваем, что эксперимент с участием статистиков-фреквентистов, делающих ставки на различные доверительные интервалы и вращение барабана, показал бы, что они повели бы себя как субъективисты.

Во многих опубликованных работах, содержащих эмпирические исследования, физики^7, эпидемиологи^8 и палеобиологи^9 многократно и предельно ясно описывают доверительный интервал как вероятно содержащий оцениваемое значение. Но, похоже, никому еще не приходилось отзывать из-за этого статью, и вряд ли придется. Важно отметить, что любая интерпретация – исключительно семантическая и не является результатом математического обоснования или эмпирического наблюдения, истинность или ложность которого можно было бы доказать. Вот почему они называются лишь «интерпретациями», а не «теоремами» или «законами».

Однако между этими двумя интерпретациями существует прагматическое, измеримое, реальное различие: студенты считают фреквентистскую интерпретацию гораздо более запутанной. Некоторые преподаватели статистики прекрасно это понимают и поэтому обучают как субъективистской, так и фреквентистской интерпретации. Как и большинство ученых, занимающихся вопросами принятия решений, мы будем исходить из того, что 90 %-ный доверительный интервал с вероятностью 90 % содержит истинное значение (благодаря чему не придется сталкиваться с математическим парадоксом).

Эффект калибровки

Один из авторов, Хаббард, с 1995 года начал заниматься калибровкой и сбором данных о том, насколько хорошо люди справляются с тестами из вопросов общей тематики и насколько верно откалиброванные специалисты оценивают неопределенность в реальной жизни. Для этого их оценки сравнивались с фактическими результатами после наступления оцениваемых событий. Методы калибровки и тесты постепенно эволюционировали, но после 2001 года выработанный подход в целом не изменялся. С тех пор Хаббард и его команда в компании Hubbard Decision Research обучили более 1000 человек методам калибровки и задокументировали их успехи: ожидаемые и фактические результаты нескольких калибровочных тестов, проводимых один за другим во время семинаров.

Собранные таким образом сведения позволили лучше понять обобщенные данные, часто публикуемые в различных рецензируемых научных изданиях. Академические исследования обычно показывают агрегированные результаты всех участников исследования, поэтому можно видеть только среднее значение по группе. Объединив таким же образом показатели участников семинаров, Хаббард получил результаты, очень схожие с данными таких академических исследований. Однако, имея возможность отделить данные по каждому испытуемому, он выявил еще один интересный феномен. Хаббард заметил, что большинство людей к концу обучения добиваются превосходных результатов, а средний показатель снижается из-за нескольких человек, показывающих плохой результат.

Чтобы определить, кто из испытуемых откалиброван, следует допускать некоторое отклонение от идеала даже для полностью откалиброванного человека. Кроме того, некалиброванному участнику может повезти. С учетом этой статистической ошибки 80 % участников оказываются идеально откалиброваны уже после пятого упражнения. Они не склонны ни к недостаточной уверенности, ни к чрезмерной уверенности. Их 90 %-ные ДИ с вероятностью около 90 % содержат правильный ответ.

Еще 10 % участников демонстрируют значительное улучшение, но не достигают идеальной калибровки. А 10 % вообще не показывают каких-либо улучшений по сравнению с первым выполненным тестом[9]. Анализ выявил наличие среди испытуемых групп с различной результативностью, что не соответствует модели, согласно которой все участники изначально слегка неоткалиброваны. Последнюю группу нельзя объяснить случайным набором неудачливых участников, а те, кто был откалиброван, не могут быть просто удачливым, но неоткалиброванным большинством. Почему около 10 % людей, видимо, вообще не способны улучшить свои результаты в процессе обучения калибровке? Какова бы ни была причина, она не так уж и важна. Все, на кого мы когда-либо полагались в фактических оценках, относились к первым двум группам, и почти все они были в первой, идеально откалиброванной, группе. Среди тех, кто, казалось, сопротивлялся любым попыткам калибровки даже до тестирования, никогда не было компетентных экспертов или специалистов, принимающих решения по конкретным вопросам. Возможно, они были менее мотивированы, зная, что их мнение не будет иметь большого веса. А может, люди, не имеющие склонности к таким задачам, просто не стремятся совершенствоваться до уровня, необходимого для выполнения подобных оценок. В любом случае это ни на что не влияет.

Как видно, для большинства людей занятия оказываются очень эффективными. Но отражают ли успехи на занятиях способность оценивать вероятность неопределенности в реальной жизни? Ответ – однозначно да. Хаббард постоянно отслеживал, как хорошо откалиброванные специалисты действуют в реальных ситуациях, однако один контролируемый эксперимент, проведенный в сфере IT, до сих пор выделяется среди остальных. В 1997 году Хаббарда попросили научить аналитиков консалтинговой компании Giga Information Group (впоследствии была приобретена Forrester Research, Inc.) определять вероятность наступления неопределенных событий в будущем. Giga занималась исследованиями в области информационных технологий и предоставляла свои исследования другим компаниям по подписке. В компании был принят метод определения вероятности наступления событий, прогнозируемых для клиентов, и в ней хотели убедиться, что он будет успешно функционировать.

Хаббард обучил 16 аналитиков компании Giga с помощью описанных ранее методов. В конце обучения аналитики получили 20 конкретных прогнозов, касающихся IT-индустрии, которые необходимо было разделить на истинные или ложные и определить вероятность их наступления. Тест проводился в январе 1997 года, а все вопросы касались событий, которые могли бы произойти к 1 июня 1997 года (например, «верно или неверно, что компания Intel выпустит процессор Pentium с тактовой частотой 300 МГц к 1 июня» и т. п.). В качестве контрольной группы выступали 16 директоров по IT различных организаций из числа клиентов Giga, которым был предоставлен тот же список прогнозов. После 1 июня стало возможным определить фактические результаты. Хаббард представил свои выводы на Giga World 1997 – главном симпозиуме в IT-индустрии того года. Итоги эксперимента приведены на рис. 7.3. Обратите внимание, что некоторые участники не ответили на часть вопросов, поэтому сумма ответов в каждой группе меньше 320 (16 испытуемых по 20 вопросов на каждого).

Горизонтальная ось – указанная участниками вероятность того, что прогноз по конкретному вопросу окажется верным. Вертикальная ось показывает, сколько прогнозов оказались верными на самом деле.

Рис. 7.3. Результаты калибровочного эксперимента для 20 прогнозов развития IT-индустрии в 1997 году. Источник: Hubbard Decision Research

Ответы идеально откалиброванного человека должны быть расположены вдоль пунктирной линии, означающей, что человек был прав в 70 % случаев, когда был на 70 % уверен в своих прогнозах, прав в 80 % случаев, когда был уверен на 80 %, и т. д. Видно, что результаты аналитиков (где точки обозначены маленькими квадратами) очень близки к идеальной уверенности и легко укладываются в допустимую погрешность. Сильнее всего результаты отклоняются от идеальной калибровки в нижней части графика, но и тут они все еще находятся в допустимых пределах погрешности (диапазон допустимых ошибок шире в левой части графика и сужается до нуля в правой). Когда участники заявляли, что уверены на 50 %, они оказывались правы примерно в 65 % случаев. Это означает, что они, возможно, знали больше, чем говорили, и – только в этой части графика – были немного неуверенны. Такие результаты близки к 50 % и могут быть случайными. Существует 1 %-ная вероятность, что 44 или более из 68 человек окажутся правы, просто загадав ответ и подбросив монетку.

Чуть более значительное отклонение – имеется в виду статистически, а не визуально – наблюдается на другом конце шкалы. Там, где аналитики указывали высокую степень уверенности, случайность вызвала бы лишь незначительное отклонение от ожидаемого результата, а значит, на этом конце графика они были немного самоуверенны. Но в целом аналитики оказались очень хорошо откалиброваны.

Для сравнения, результаты клиентов компании, не проходивших обучение калибровке (обозначены маленькими треугольниками), свидетельствуют об очень большой самоуверенности. Цифры рядом с результатами калибровки показывают, что в 58 случаях конкретный клиент заявлял об уверенности на 90 % в определенном прогнозе. Из этих случаев верными оказались менее 60 % прогнозов. Клиенты, указавшие, что они на 100 % уверены в правильности прогноза, в 21 случае получили только 67 % правильных ответов. Все эти результаты соответствуют данным ряда других исследований калибровки за последние несколько десятилетий.

Не менее интересен тот факт, что аналитики Giga на самом деле не дали большее число правильных ответов (вопросы были общими для IT-индустрии и не касались специальностей аналитиков). Они просто проявляли немного больше осторожности в отношении прогнозов с высокой степенью уверенности. Однако до начала обучения по калибровке аналитики в ответах на вопросы из области общих знаний показывали такие же плохие результаты, как и клиенты при прогнозировании реальных событий. Вывод очевиден: разница в точности полностью обусловлена обучением калибровке, а обучение калибровке, даже если в процессе него используются вопросы на общие знания, работает для реальных прогнозов.

Многие из прежних читателей и клиентов Хаббарда проводили собственные семинары по калибровке и получали различные результаты в зависимости от того, насколько точно они следовали разобранным здесь рекомендациям. В каждом случае, когда у них не получалось откалибровать такой процент людей, как на семинарах Хаббарда, оказывалось, что они на самом деле обучали не всем стратегиям калибровки, указанным в табл. 7.3. В частности, не применялась равноценная ставка, которая, похоже, является одной из наиболее важных стратегий калибровки. Те, кто придерживался описанных стратегий и отрабатывал их в каждом упражнении, неизменно получали результаты, аналогичные тем, что наблюдал Хаббард.

Другими факторами могут быть мотивация и опыт оценки. Хаббард обычно обучает опытных менеджеров и аналитиков, большинство из которых знают, что им придется применять новые навыки для реальных оценок. Дейл Ренигк из Университета Северной Каролины в Чапел-Хилле провел подобный тренинг для своих студентов и отметил гораздо более низкий показатель калибровки (хоть и все равно со значительным улучшением). В отличие от менеджеров, студентам редко приходится оценивать что-либо, и возможно, это стало одним из факторов, повлиявших на результаты. Как было замечено на семинарах, проводимых самим Хаббардом, те, кто не ожидает, что полученные навыки понадобятся в будущем для оценки проблем в реальном мире, почти всегда демонстрируют незначительные или нулевые улучшения.

Есть еще один чрезвычайно важный эффект калибровки. Помимо улучшения способности субъективно оценивать шансы калибровка, похоже, избавляет от возражений против вероятностного анализа при принятии решений. До обучения калибровке людям может казаться, что любая субъективная оценка бесполезна, а единственный способ узнать ДИ – провести вычисления, которые они смутно припоминают из университетского курса статистики. Они могут не доверять вероятностному анализу в целом, поскольку все вероятности кажутся им произвольными. Однако после калибровки редко кто мыслит подобными категориями. Судя по всему, проблема решается за счет получаемого практического опыта указания вероятностей, благодаря чему постепенно приходит понимание, что это – измеримый навык, в котором можно добиться реальных улучшений. И хотя это не было целью Хаббарда в начале работы по калибровке специалистов, в итоге стало ясно, насколько данный процесс важен для формирования положительного отношения к концепции вероятностного анализа при принятии решений.

Теперь вам известно, как можно количественно оценить текущую неопределенность, научившись предоставлять калиброванные вероятности. Этот навык имеет решающее значение для следующего шага в измерениях.

Примечания

1. P. Laplace, Théorie analytique des probabilités (Paris: Courcier, 1812), переведена на английский Ф. У. Траскоттом и Ф. Л. Эмори под названием A Philosophical Essay on Probabilities (Mineola, NY: Dover, 1952), 16–17.

2. D. Kahneman and A. Tversky, “Subjective Probability: A Judgment of Representativeness,” Cognitive Psychology 4 (1972): 430–454; и D. Kahneman and A. Tversky, “On the Psychology of Prediction,” Psychological Review 80 (1973): 237–251.

3. Фишхофф Б., Филлипс Л. Д., Лихтенштейн С. Калибровка вероятностей: положение дел к 1980 г. // Принятие решений в неопределенности. Правила и предубеждения / Под ред. Д. Канемана, С. Пауля, А. Тверски. – Харьков: Гуманитарный центр, 2021. – 540 с.

4. Там же.

5. Там же.

6. L. J. Savage, The Foundations of Statistics (New York: John Wiley & Sons, 1954), 2.

7. Идье В., Драйард Д., Джеймс Ф. и др. Статистические методы в экспериментальной физике. – М.: Атомиздат 1976. – 335 с.; Byron P. Roe, Probability and Statistics in Experimental Physics, 2nd ed. (New York: Springer Verlag, 2001), 128.

8. C. C. Brown, “The Validity of Approximation Methods for the Interval Estimation of the Odds Ratio,” American Journal of Epidemiology 113 (1981): 474–480.

9. Steve C. Wang and Charles R. Marshal, “Improved Confidence Intervals for Estimating the Position of a Mass Extinction Boundary,” Paleobiology 30 (January 2004): 5–18.

Ответы на вопросы на общую эрудицию для упражнения по калибровке

Доверительные интервалы: 1. 203. 2. 1687. 3. 8,9. 4. 1969. 5. 1564. 6. 3,944. 7. 78,5 %. 8. 88. 9. 560. 10. 1964.

Верно/Неверно: 1. Неверно. 2. Верно. 3. Верно. 4. Неверно. 5. Верно. 6. Верно. 7. Неверно. 8. Верно. 9. Неверно. 10. Верно.

Глава 8. Уменьшение неопределенности с помощью байесовских методов

Теперь в нашем распоряжении имеются доказанные теоремы и масса наработанных числовых примеров. В итоге превосходство байесовских методов сегодня – факт, всесторонне продемонстрированный в сотне различных областей.

Эдвин Томпсон Джейнс (1922–1998), американский специалист по статистической физике и откровенный сторонник байесовских методов. Probability Theory: The Logic of Science, т. 1 Principles and Elementary Applications

В предыдущей главе показано, что эффективность субъективной вероятности можно объективно измерить, а ее всесторонние измерения описаны в научной литературе. Субъективные априорные вероятности – отправная точка всего нашего анализа. Это оптимальный способ получить математически значимые результаты, которые будут полезны при моделировании, используя лишь специальные знания и опыт эксперта по кибербезопасности. Выражение текущей неопределенности в количественном виде позволяет обновлять вероятности согласно новым наблюдениям с помощью ряда эффективных математических методов.

Инструменты, представленные в данной главе, являются частью байесовских методов в теории вероятности и статистике. Названы методы в честь автора их основополагающей идеи, математика и священника Томаса Байеса. У них множество преимуществ, которые особенно хорошо подходят для решения проблем в сфере кибербезопасности. Во-первых, используются имеющиеся знания экспертов. Это отличает подход Байеса от традиционных методов, вероятно, знакомых читателям по университетскому курсу статистики, в которых предполагается, что до получения данных выборки о показателе буквально ничего не известно. Во-вторых, благодаря применению таких исходных знаний можно делать выводы на основе очень небольшого количества информации. Возможно, эти выводы лишь немного уменьшат неопределенность для эксперта по кибербезопасности, но они все равно могут оказать значительное влияние на принятие решений по снижению риска. Если же у вас действительно много данных, то различия между байесовским подходом и измерениями на основе базовых методов выборки, игнорирующими априорные знания, нивелируются.

В этой главе будут представлены некоторые основные байесовские рассуждения и показано, как их можно применить к одной из проблем в области кибербезопасности. Пока мы для ознакомления сосредоточимся на фундаментальных принципах. Кому-то рассматриваемая информация покажется общеизвестной. Мы исходим из того, что читатели знакомы с основами алгебры, и не более. Но при этом есть множество деталей, требующих разъяснения, так что, если информация покажется вам элементарной, смело ее пропускайте. Если же она, наоборот, выглядит слишком сложной, имейте в виду, что вам, как всегда, доступны готовые расчеты в загружаемой электронной таблице (www.howtomeasureanything.com/cybersecurity). Если вы осилите эту главу, наградой станет доступ к некоторым очень мощным инструментам в следующей.

Мы будем рассматривать материал в контексте, начав с проблемы, волнующей всех в сфере кибербезопасности, – крупной утечки данных.

Пример крупной утечки данных

Представим один гипотетический и чересчур упрощенный сценарий. Как руководитель отдела информационной безопасности компании ABC, вы оказались ответственны за сохранение большого количества программных продуктов, размещенных в облаке. Все они обрабатывают критически важные данные, которые должны быть надежно защищены. Соответствующие базы данных включают финансовые и даже конфиденциальные данные. Допустим, компания достаточно крупная, и каждое облачное приложение ежедневно обрабатывает миллионы записей критически важных данных. Также 500 разработчиков, находящихся в разных точках земного шара, регулярно обновляют код. Вдобавок ваша компания внедрила подход DevOps, позволяющий ежедневно устанавливать разнообразные обновления ПО. И наконец, вы вложили деньги в средства защиты и службу безопасности.

Иначе говоря, ваши системы связаны со множеством рисков, из-за ведущихся разработок к ним ежедневно добавляется много новых, но в то же время вы хорошо вооружены и считаете, что готовы к бою. Неожиданно вас вызвали в офис генерального директора на разговор.

Генеральный директор: Мне только что стало известно, что финансовую компанию XYZ взломали прямо через их сайт, там огромные потери данных и масса обязательств по возмещению ущерба! Каковы шансы, что какой-либо из наших сайтов смогут взломать и выкрасть данные клиентов?

Руководитель отдела информационной безопасности, достав свое мобильное устройство и открыв электронную таблицу с «наивным» байесовским калькулятором, скачанную с сайта www.howtomeasureanything.com/cybersecurity: Одна целая двадцать четыре сотых процента в течение следующего года, но я оставляю за собой право скорректировать оценку после завершения комплексного независимого теста на проникновение.

Генеральный директор: Число невероятно точное.

Руководитель отдела информационной безопасности: На самом деле это вероятность. Она отражает мою неуверенность относительно ожидаемого «точного» результата. В данном случае вероятность была выведена из других подготовленных мной субъективных оценок вероятности. Сотрудники моего отдела, включая меня, прошли калибровку, поэтому мы знаем, насколько хорошо умеем оценивать субъективные вероятности.

Генеральный директор: Теперь мне стало любопытно. Насколько сильно изменится ваше мнение, если тест что-то обнаружит? А если он ничего не обнаружит? Измените ли вы это вполне конкретное число?

Руководитель отдела информационной безопасности: Мы проводили другие тесты на проникновение, но теперь тестировщики ищут определенный набор уязвимостей, которыми можно воспользоваться удаленно. Если тестировщики найдут их в наших облачных продуктах и смогут украсть защищенные данные без нашего ведома, то, пожалуй, моя субъективная оценка возможных будущих убытков возрастет до двадцати четырех процентов. Если тестировщики ничего не добудут, то она снизится до одной целой одной сотой процента. Более важный вопрос – если им удастся нас взломать или почти взломать, какова вероятность, что нас уже не взломали ранее? И, возможно, еще более важный вопрос: когда следует проводить экспертизу, чтобы определить, понесли ли мы убытки? Экспертиза стоит очень дорого…

Генеральный директор: Пожалуйста, сообщите мне результаты тестов и рекомендуемые решения с учетом результатов. Давайте сделаем все быстро… это наш шанс. А пока покажите мне таблицу, у меня к ней много других вопросов!

Вопросы вроде тех, которые генеральный директор задавал о будущих убытках, – нормальны. Когда происходят крупные взломы таких компаний, как Sony, JPMorgan, Target и RSA, руководители, естественно, задаются вопросом: «А могло такое случиться с нами?» Они переживают из-за крайне неопределенных и, возможно, значительных будущих убытков. И разумно тогда переформулировать вопрос, введя количественную составляющую: «Какова вероятность, что у нас произойдет крупная утечка данных?»

Чтобы пример стал реалистичнее, представьте, что мы определили три конкретных термина (определили достаточно четко, чтоб они прошли наш тест на понятность), загрузили вышеупомянутую электронную таблицу и внесли в нее эти термины надлежащим образом.

Определение бинарных терминов

Познакомимся с идеей изменения вероятности на основе условия. То есть у вас есть вероятность того, что событие произойдет, вы узнаёте что-то новое и обновляете эту вероятность. На самом деле это такой способ еще немного разложить вероятность, указав, что само условие может быть неопределенным состоянием, которое также обусловлено чем-то еще.

В нашем простом примере анализ будет сведен к трем дискретным бинарным состояниям, каждое из которых является либо истинным, либо ложным. Три определяемых нами термина следующие:

• возникновение в данном году крупной утечки данных (КУД);

• существование пока неизвестной, но возможной удаленно эксплуатируемой уязвимости (УЭУ);

• результат теста на проникновение, который указывает на наличие некой удаленно эксплуатируемой уязвимости, т. е. положительный тест на проникновение (ПТП).

Предположим, что КУД, УЭУ и ПТП были определены для нас в однозначной форме, они понятны, наблюдаемы и полезны для принятия практических решений. В этом примере генеральный директор и другие заинтересованные стороны (лица, принимающие решения) хотят оценить риск возникновения КУД, подобной тем, о которых они читают в новостях. Они согласились, что для признания утечки данных крупной необходимо, чтобы количество похищенных записей составляло не менее 1 млн. Кроме того, они согласовали конкретное определение значения УЭУ, определив типы слабых мест в своих веб-приложениях, облачной инфраструктуре и/или действий с системой безопасности, которые позволят внешнему злоумышленнику украсть данные удаленно. Наконец, тест на проникновение – это определенная кампания с потенциальными результатами, и значение этих результатов четко определено.

Когда наши заинтересованные стороны точно знают, что означают эти термины, как их увидеть и какие последствия они будут иметь для работы компании, тогда проблема разложена так, что с ней удобно работать. Попытавшись разложить этот риск на «злоумышленника уровня спецслужбы крупной страны и владеющего „уязвимостью нулевого дня“», мы бы совершили ошибку бесполезных разложений, и в этом случае наши действия и способы получения достоверной информации оказались бы неприменимы.

Байесовский пример, который мы собираемся описать, включает в себя две стадии анализа. Наличие удаленно эксплуатируемой уязвимости изменяет вероятность крупной утечки данных. А результат теста на проникновение изменяет вероятность удаленной эксплуатации уязвимости. Таким образом проводится простое разложение на составляющие вероятности крупной утечки данных. Но в целом этот пример придуман для того, чтобы максимально упростить байесовское решение.

Краткое знакомство с байесовским подходом и теорией вероятности

Часто справедливо утверждается, что уравнение Эйнштейна E = mc^2 имеет первостепенное значение, поскольку на нем основано многое в физике… Я бы утверждал, что формула Байеса не менее важна, потому что она описывает, как следует реагировать на получение новой информации.

Деннис В. Линдли (1923–2013), английский статистик, специалист по теории принятия решений^1

Наша модель началась с суждений руководителя отдела информационной безопасности о ключевых переменных и их взаимосвязи. В частности, он предоставил калиброванную оценку вероятности масштабной утечки данных в свете существования удаленно эксплуатируемой уязвимости.

Язык вероятностей: базовый словарь

Введя несколько условных обозначений, мы сможем избежать более длительных и потенциально более запутанных словесных объяснений. Некоторым читателям они, возможно, хорошо знакомы, но на случай, если вы что-то подзабыли, просмотрите эту статью, чтобы освежить в памяти, как писать на языке вероятностей. А начнем мы с нескольких практичных правил из теории вероятностей. Это не полный список фундаментальных аксиом и определенно не всеобъемлющий перечень всех теорем, которые могут оказаться полезными, однако, чтобы разобраться в материале главы, их будет достаточно.

1. Правило записи вероятности.

P(A) = вероятность события A. P(A) принимает некоторое значение между 0 и 1 включительно.

P(~A) = вероятность того, что событие A не наступит. Читайте знак «~» как «нет», «не» или «не будет».

Если P(КУД) – вероятность крупной утечки данных в указанном году, то P(~КУД) – вероятность, что крупной утечки данных не произойдет.

2. Правило «Какое-то суждение должно быть истинным, но противоречащие суждения не могут быть истинными одновременно».

Вероятности всех взаимоисключающих и совместно исчерпывающих событий или состояний должны в сумме давать 1. Если есть только два возможных исхода, скажем, А или не А, тогда:

P(A) + P(~A) = 1.

Например, крупная утечка данных либо произойдет, либо нет. Если мы однозначно определили термин (а по нашему предположению, в этом случае так и есть), то может быть либо один вариант, либо другой, но не оба одновременно (т. е. КУД может произойти или НЕ произойти).

3. Правило записи вероятности наступления более одного события.

P(A,B) означает, что верны и A, и B. Если A и B «независимы», т. е. вероятность одного не зависит от другого, тогда P(A,B) = P(A)P(B). Поскольку в случае КУД, УЭУ и ПТП это может быть не так, нельзя говорить, что P(КУД, УЭУ, ПТП) = P(КУД)P(УЭУ)P(ПТП).

4. Правило записи и вычисления вероятности в ситуации «это зависит от» (условная вероятность).

P(A | B) = условная вероятность A при заданном B. Например, P(КУД | УЭУ) – так можно записать вероятность возникновения крупной утечки данных при наличии удаленно эксплуатируемой уязвимости. Также верно, что P(A | B) = P(A,B) / P(B). Изменение A в зависимости от двух или более событий записывается как P(A | B,C).

5. Правило разложения вероятности наступления более одного события на ряд вероятностей «это зависит от».

Применив правило 4, можно превратить совместную вероятность двух событий в P(A,B) = P(A | B)P(B), а если речь идет о совместной вероятности трех событий, можно написать P(A,B,C) = P(A | B,C)P(B | C)P(C) и т. д. Это называется «цепным правилом».

6. Правило «возможны разные варианты развития событий».

Правило 4 можно распространить на вычисление вероятности, основанной на всех условиях, при которых событие может наступить, и вероятностей каждого из этих условий.

P(A) = P(A | B)P(B) + P(A |~B)P(~B).

Например, положительный тест на проникновение оказывает определенное влияние на вероятность крупной утечки данных. Используя это правило, вероятность крупной утечки данных можно записать следующим образом:

P(КУД) = P(КУД | ПТП)P(ПТП) + P(КУД |~ПТП) P(~ПТП).

7. Правило Байеса, или Как «перевернуть» условную вероятность.

Часто требуется «перевернуть» условную вероятность. То есть мы можем начать с P(A | B), но на самом деле нам нужна P(B | A). Оба варианта равноценны, только если P(A) = P(B), что часто не так. Поэтому, чтобы перевернуть их, надо применить формулу Байеса, которая записывается как:

P(A | B) = P(A)P(B | A) / P(B).

Иногда такую запись называют «простой» байесовской формой. P(B) вычисляется в соответствии с правилом, изложенным в пункте 3. Если рассматривать только два условия для P(B), тогда правило 4 позволит заменить P(B), так что:

P(A | B) = P(A)P(B | A)/[P(B | A)P(A) + P(B | ~A)P(~A)].

В разбираемом нами случае требуется узнать вероятность крупной утечки данных при наличии некоторой дополнительной информации, например обнаружения конкретной удаленно эксплуатируемой уязвимости. Можно записать это как:

Иными словами, формула Байеса позволяет определить P(КУД | УЭУ) из P(УЭУ | КУД) или наоборот. Это означает, что можно определить вероятность доказательств, учитывая событие, и, наоборот, вероятность наступления события, учитывая доказательства. Чтобы понять, чем они отличаются друг от друга, рассмотрим следующие примеры.

• «Какова вероятность, что у нас была утечка данных, в свете того что за последние шесть месяцев обнаружено несколько вредоносных программ, связанных с находящимися в черном списке серверами управления и контроля (C&C)?»

Записывается как: P(Утечка | Вредоносное ПО с сервера из черного списка).

• Не менее важен вопрос: «Какова вероятность наличия вредоносного ПО, отсылающего информацию на занесенные в черный список серверы, которые принадлежат организованной преступной группировке, учитывая, что, судя по появлению на черном рынке миллионов корпоративных электронных писем, идентификаторов пользователей, номеров социального страхования и других защищенных данных, у нас была утечка?»

Записывается как: P(Вредоносное ПО с сервера из черного списка | Утечка).

Заметили, чем они отличаются? Первый пример сводится к вопросу: «Какова вероятность события (утечки) с учетом имеющихся доказательств?» А во втором спрашивается: «Какова вероятность доказательства с учетом того факта, что событие произошло?» Если вам интересно изучить тему подробнее, то отметим, что путаница между смыслами подобных вопросов приводит к так называемой ошибке прокурора.

В этом «переворачивании» и кроется суть формулы Байеса, и поэтому оно служит важнейшим основанием для рассуждений в условиях неопределенности. Байесовская вероятность превращается в мерило «согласованности» при измерении ваших оценок относительно каких-либо неопределенных событий по мере получения все большего количества данных. В частности, она обосновывает процесс обновления суждений.

Краткая заметка об информативном априорном распределении

Для всех описанных операций нужен источник входных данных. В нашем примере для этого используются калиброванные оценки руководителя отдела информационной безопасности. Поскольку он опирается на свой предыдущий опыт и откалиброванные навыки оценки вероятности для получения исходных данных, мы называем их информативным априорным распределением. Опять же, «априорное» означает «то, в чем вы уже убеждены». Информативное априорное распределение – красивый способ сказать, что ваши данные получены от эксперта в своей области, который что-то знает, хорошо откалиброван и готов утверждать, что одни события более вероятны, чем другие.

Также можно начать с неинформативного априорного распределения. В этом случае исходное состояние предполагает максимально возможный уровень неопределенности, и любое его изменение будет зависеть только от новых данных. Такая точка отсчета считается более осторожной, поскольку на нее не могут повлиять ошибочные оценки эксперта. С другой стороны, она не учитывает и совершенно обоснованные оценки.

Можно утверждать, что неинформативное априорное распределение дискретного бинарного события составляет 50 %. Хотя по этому поводу и ведутся философские споры, в которые мы не станем углубляться, но с математической точки зрения это самая большая неопределенность, которая может возникнуть в системе, имеющей только два возможных состояния.

Конечно, выбор источника информации в каждом случае субъективен. Неинформативное априорное распределение считается более осторожным, но оно же, вероятно, и менее реалистичное, чем информативное (так как обычно у вас нет полного отсутствия предварительной информации). Каким бы ни было соотношение субъективного и объективного, теория вероятности может помочь сделать рассуждения более последовательными.

Доказательство формулы Байеса

Если вы усвоили изложенное и все стало интуитивно понятно, то есть еще несколько концепций, которые можно взять на вооружение, разобравшись, откуда берется формула Байеса. Для этого расширим цепное правило (пункт 5 в базовом словаре).

Рассмотрим все возможные комбинации удаленно эксплуатируемой уязвимости и крупной утечки данных: оба события истинны (УЭУ, КУД), оба события ложны (~УЭУ, ~КУД), истинно только одно событие (~УЭУ, КУД и УЭУ, ~КУД). Воспринимайте их как ветви «дерева цепных правил», пример которого представлен на рис. 8.1.

Рис. 8.1. Дерево цепных правил

Начиная слева, на каждом новом уровне к существующей ветви добавляется еще одна, и в итоге получаются четыре нужные нам комбинации. Слева направо по верхней ветви получаем P(УЭУ)P(КУД | УЭУ) = P(УЭУ,КУД). То есть дерево отображает слева направо получение вероятностей с помощью умножения. Каждая ветвь заканчивается «элементарными вероятностями», как их называют специалисты в области теории принятия решений. Это еще один способ разложения вероятности, похожие операции мы выполняли с воздействием в главе 6. Не обязательно расписывать дерево полностью, достаточно понимать принцип как из одних его узлов выводятся другие. А теперь посмотрим, как появляется формула Байеса.

Доказательство формулы Байеса

1. P(КУД,УЭУ) = P(УЭУ,КУД) – то же самое, что 3 × 2 = 2 × 3, или «свойство коммутативности».

2. P(КУД,УЭУ) = P(КУД)P(УЭУ | КУД) – смотрите первую ветвь дерева на рис. 8.1.

3. P(УЭУ,КУД) = P(УЭУ)P(КУД | УЭУ) – верно, исходя из 1 и 2.

4. P(КУД)P(УЭУ | КУД) = P(УЭУ)P(КУД | УЭУ) – верно, исходя из 1, 2 и 3.

5. P(УЭУ | КУД) = P(УЭУ)P(КУД | УЭУ) / P(КУД) – деление № 4 на P(КУД).

6. P(КУД | УЭУ) = P(КУД)P(УЭУ | КУД) / P(УЭУ) – деление № 4 на P(УЭУ).

Пожалуйста, не думайте, что все эти формулы нужно выучить наизусть, просто считайте их подпунктами правила. Мы будем ссылаться на них в ходе анализа.

Применение формулы Байеса к ситуации взлома облачного хранилища

Теперь, когда освоены базовые операции с вероятностями, проанализируем, каким образом формируются выходные данные на основе всех представленных выше уравнений. Для облегчения понимания получения вероятностей используем более крупное дерево цепных правил. Если сумеете в этом всем разобраться, для чего достаточно школьных знаний алгебры, то будете на пути к освоению моделирования с использованием любых технологических средств. Кроме того, пример специально упрощен, чтобы можно было увидеть математические доказательства. Расчеты покажутся не такими уж сложными благодаря предлагаемым нами инструментам вычисления, которые при желании можно использовать для дальнейшего изучения взаимосвязей.

На рис. 8.2 показаны вычисления из электронной таблицы, которую можно загрузить с сайта. В столбце слева приведены входные данные, полученные от калиброванных экспертов, а в столбце справа – производные значения, рассчитанные на основе этих данных.

Прежде чем рассмотреть, как была выведена каждая из этих вероятностей, стоит прояснить, почему нам точно известны элементы в столбце «Входные данные, полученные от калиброванных экспертов», а не в столбце «Производные значения». На самом деле можно было бы выбрать множество комбинаций различных входных и выходных данных. Калиброванные эксперты просто начинают с тех величин, которые, как им кажется, смогут лучше оценить. Или, имея представление о некоторых производных величинах, они могут проверить, совпадают ли их оценки вероятностей из второй таблицы с теми, что указаны в первой.

Также можно оценить P(КУД | ПТП) напрямую, не используя УЭУ в качестве промежуточного шага. Однако мы хотели показать, как неопределенности, касающиеся разных состояний, могут быть связаны между собой. Теперь по порядку продемонстрируем математические расчеты для каждого из значений, приведенных в столбце «Производные значения» на рис. 8.2.

Рис. 8.2. Пример разложения крупной утечки данных с условными вероятностями

1. Какова вероятность того, что эту уязвимость можно эксплуатировать удаленно?

P(УЭУ) = P(ПТП)P(УЭУ | ПТП) + P(~ПТП)P(УЭУ | ~ПТП) = (0,01)(0,95) + (1–0,01)(0,0005) = 1,0 %.

2. Какова вероятность P(КУД)?

P(КУД) = P(УЭУ)P(КУД | УЭУ) + P(~УЭУ)P(КУД | ~УЭУ) = (0,01)(0,25) + (1–0,01)(0,01) = 1,24 %.

3. Какова вероятность наличия удаленно эксплуатируемой уязвимости с учетом того, что есть вероятность крупной утечки данных?

P(УЭУ | КУД) = P(КУД | УЭУ)P(УЭУ)/P(КУД) = (0,25 (0,01)/(0,0124) = 20,16 %.

Примечание. Теперь вы видите, что, как уже подчеркивалось выше, P(КУД | УЭУ) ≠ P(УЭУ | КУД).

4. Какова вероятность наличия удаленно эксплуатируемой уязвимости с учетом вероятности того, что крупной утечки данных не было?

P(УЭУ | ~КУД) = P(~КУД | УЭУ)P(УЭУ)/P(~КУД).

Используя дополнительные калиброванные вероятности, полученные от руководителя отдела информационной безопасности, а именно

P(~КУД | УЭУ) = 1 – P(КУД | УЭУ)

и

P(~КУД) = 1 – P(КУД),

мы получаем

= (1–0,25)(0,01) / (1–0,0124) = 0,76 %.

А теперь то, что мы действительно хотели узнать все это время: насколько сильно результаты теста на проникновение изменят вероятность крупной утечки данных?

5. Вероятность крупной утечки данных при положительном тесте на проникновение:

P(КУД | ПТП) = P(УЭУ | ПТП) P(КУД | УЭУ) + (1 – P(УЭУ | ПТП)) P(КУД | ~УЭУ) = (0,95)(0,25) + (0,05)(0,01) = 23,8 %.

6. Вероятность крупной утечки данных при отрицательном тесте на проникновение:

P(КУД | ~ПТП) = P(УЭУ |~ПТП)P(КУД | УЭУ) + (1 – P(УЭУ |~ПТП)) P(КУД | ~УЭУ) = (0,0005)(0,25) + (1–0,0005)(0,01) = 1,01 %.

Данные о результате теста на проникновение оказались информативны, поскольку P(КУД | ПТП) > P(КУД) > P(КУД | ~ПТП). Воспринимайте информативные условия как качели-балансир, где посередине находится исходная априорная вероятность. Если условие повышает вероятность, то противоположное условие должно ее уменьшать, и наоборот (кстати, именно поэтому правильным ответом в вопросе на проверку статистической грамотности в табл. 5.4 главы 5 является ответ А).

Таким образом, мы продемонстрировали, как можно применить байесовский анализ для обновления априорной вероятности крупной утечки данных, основываясь на результатах наблюдаемого теста на проникновение. Чтобы максимально упростить процесс, все расчеты представлены в электронной таблице, которую, как обычно, можно найти на сайте www.howtomeasureanything.com/cybersecurity. Начали мы с применения теста на понятность к трем переменным (УЭУ, КУД и ПТП), но это лишь отправная точка для продвинутых моделей, объединяющих суждения с доказательствами с целью уменьшения неопределенности.

Примечание

1. Dennis V. Lindley, Understanding Uncertainty (Hoboken, NJ: John Wiley & Sons, 2006).

Глава 9. Эффективные методы на основе формулы Байеса

Если не указывать априорную информацию, то выводы будут столь же некорректны, как если бы они вообще ни на чем не основывались… В реальности, когда требуется сделать выводы, как правило, имеется убедительная априорная информация, непосредственно связанная с заданным вопросом. Не принимать ее в расчет – значит допустить самую очевидную непоследовательность в рассуждениях, что может привести к абсурдным или вводящим в опасное заблуждение результатам.

Эдвин Томпсон Джейнс (1922–1998), американский специалист по статистической физике

Напомним, что в нашем опросе 23 % респондентов согласились с утверждением «Вероятностные методы непрактичны, так как вероятности требуют вычисления точных данных, а у нас их нет». Их меньшинство, но даже те, кто не согласен с утверждением, скорее всего, попадали в ситуации, когда казалось, что данных слишком мало для формулирования полезных выводов. Именно поэтому, видимо, большинство участников опроса также ответили, что порядковые шкалы уместны при измерении неопределенности. Возможно, им удобно использовать крайне неточные и произвольные значения вроде «высокий, средний, низкий» для передачи информации о риске, но при этом, по иронии судьбы, они верят и в количественные подходы. Те же, кто всецело доверяет количественным методам, полностью отвергают порядковые шкалы при измерении крайне неопределенных величин. При высокой степени неопределенности вы используете вероятности и диапазоны, активно заявляя о своей неуверенности, особенно когда полагаетесь на знания экспертов. Из результатов исследований, описанных ранее, вам уже известно, как даже субъективные оценки можно разложить на составляющие и сделать более согласованными, прежде чем применять новые «объективные» данные, и как использовать для обновления оценки всего одну точку данных (например, результат одного теста на проникновение).

Теперь, когда заложена основа эмпирических байесовских методов с помощью, пожалуй, чрезмерно упрощенного примера, можно перейти к решению более сложных – и более реалистичных – проблем.

Вычисление частоты с помощью (очень) малого количества точек данных: бета-распределение

Есть чуть более сложная производная от формулы Байеса, о которой стоит чаще вспоминать в сфере кибербезопасности. Допустим, вы представляете одну из крупнейших компаний розничной торговли, о которых говорилось в главе 6, и вам снова требуется оценить вероятность утечки данных. Но в этом случае новые эмпирические данные являются не результатом теста на проникновение, а наблюдаемыми (точнее, широко освещенными в СМИ) крупными утечками данных. Естественно, вам бы захотелось использовать новостные репортажи для оценки вероятности подобного нарушения в вашей организации. В идеальном мире у вас была бы актуарная таблица для сферы кибербезопасности вроде тех, что применяются при оценке страхования жизни, здоровья и имущества. Тысячи компаний в отрасли прилежно сообщали бы данные в течение многих десятилетий. А вы бы на их основе вычисляли «интенсивность» или «частоту» утечек данных, отражающую процент компаний, в которых произойдет утечка в конкретном году. Как и в страховании, частоту можно было бы использовать в качестве косвенного показателя вероятности того, что у вас произойдет такое же событие.

Но в реальности для вашей актуарной таблицы взломов не так уж много информации. К счастью, много данных и не понадобится, если задействовать статистический инструмент, известный как бета-распределение. С его помощью можно делать выводы о годовой частоте нарушений даже в случае, когда данных очень мало.

К тому же, как уже не раз отмечалось, у вас больше данных, чем кажется. При оценке ущерба репутации, например, странно говорить о недостатке сведений о крупных утечках данных, поскольку, по сути, есть вся нужная информация. Ведь каждая масштабная утечка в крупных компаниях розничной торговли, повлекшая за собой огромные убытки, активно освещалась. Собственно говоря, многие убытки возникли лишь потому, что утечка получила широкую огласку (если была крупная утечка данных, которая почему-то до сих пор не обнародована, то такой компании розничной торговли удалось избежать части или большинства основных убытков, связанных с утечкой).

Изучив отчет компании Verizon о расследовании утечек данных – Data Breach Investigations Report (DBIR), а также другие источники сведений о нарушениях, можно узнать количество утечек в каждой отрасли. Однако сама по себе эта информация не сообщает нам, какова вероятность возникновения утечки в отдельной компании отрасли. Если в такой-то отрасли в указанном году произошло пять утечек данных, то в масштабах отрасли это 30 % или 5 %? Для ответа потребуется узнать (разложить) размер совокупности, из которой были взяты компании, включая те, где утечек не было.

Именно на этом этапе некоторые эксперты по кибербезопасности (те, кто помнит из области статистики ровно столько, чтобы истолковать все неправильно) сдаются, говоря, что несколько утечек не являются «статистически значимыми» и не позволяют делать какие-либо выводы. Другие (особенно те, кто, как мы надеемся, прочитает эту книгу) не отступят так легко. Ведь у нас, повторимся, больше данных, чем кажется, а нужно нам меньше, чем кажется, особенно при наличии доступа к бета-распределению.

Расчеты с помощью бета-распределения

С бета-распределением удобно определять долю генеральной совокупности – часть совокупности, попадающую в определенную категорию. Если только 25 % сотрудников правильно выполняют какую-либо процедуру, доля генеральной совокупности составит 25 %. Теперь предположим, мы не знаем, составляет ли она ровно 25 %, но хотели бы ее оценить. При возможности провести полную перепись всей совокупности доля была бы известна точно, но у нас есть доступ только к небольшой выборке. Если имеется выборка, скажем, только из 10 человек, будут ли результаты информативны? Именно здесь появляется бета-распределение. И, вероятно, вас удивит, что, в соответствии с бета-распределением нам потребуется довольно небольшая выборка, чтобы получить новую информацию.

Как бы парадоксально это ни звучало, с помощью бета-распределения можно определить диапазон для доли генеральной совокупности даже при очень малом количестве данных. Оно применимо ко многим ситуациям в области кибербезопасности, в том числе к вероятности возникновения риска, с которым сталкивались лишь немногие организации. У бета-распределения всего два параметра: альфа (α) и бета (β) – сначала они могут показаться абстрактными, но чуть позже мы расскажем о них подробнее. В редакторе Excel распределение записывается формулой =БЕТАРАСП(x;альфа; бета), где x – доля совокупности, которую нужно протестировать. Функция вычисляет вероятность, что доля генеральной совокупности меньше x – мы называем это интегральной функцией плотности (ИФП), поскольку для каждого x она дает накопленную вероятность, что случайная величина будет меньше х.

В Excel также есть обратная функция вероятности для бета-распределения: =БЕТА.ОБР(вероятность; альфа; бета). Она возвращает долю генеральной совокупности, достаточно высокую, чтобы существовала вероятность, что истинная доля совокупности меньше.

Параметры α и β в бета-распределении кажутся абстрактными, и в книгах по статистике редко поясняется, как их понимать. Однако существует конкретный способ их объяснения как числа «попаданий» и «промахов» в выборке. Попаданием в выборке является, скажем, компания, у которой была утечка данных в определенный период времени, а промахом – компания, в которой ее не было.

Чтобы вычислить α и β на основе попаданий и промахов, необходимо определить априорную вероятность. Опять же, информативная априорная вероятность может быть просто откалиброванной оценкой эксперта по данной проблеме. Если же нам нужна предельно осторожная оценка, можно использовать неинформативную априорную вероятность и просто оставить равномерное распределение от 0 до 100 %. Это можно сделать с помощью бета-распределения, задав значения α и β, равные 1. Такой подход указывает на то, что у нас нет почти никакой информации об истинной доле генеральной совокупности. Потому это «неинформативное» априорное распределение. Нам известно лишь математическое ограничение, что доля генеральной совокупности не может быть меньше 0 % и не может превышать 100 %. В остальном мы просто говорим, что все значения между ними одинаково вероятны, как показано на рис. 9.1.

Рис. 9.1. Равномерное распределение (бета-распределение, в котором α = β = 1)

Обратите внимание, что на рисунке равномерное распределение представлено в более привычном виде «функции плотности распределения вероятности (ФПР)», где площадь под кривой равна 1. Так как функция БЕТАРАСП является интегральной вероятностью, необходимо создать несколько уровней приращения, вычисляя разницу между двумя интегральными функциями плотности, близкими друг к другу. Просто представьте, что высота точки на ФПР обозначает относительную вероятность по сравнению с другими точками. Напомним, что у нормального распределения максимум приходится на середину, т. е. значения вблизи середины нормального распределения более вероятны. В представленном же случае равномерного распределения мы показываем, что все значения между минимумом и максимумом равновероятны (т. е. оно плоское).

Теперь, если у нас есть выборка из некоторой совокупности, пусть даже очень маленькая, можно обновить параметры α и β, указав число попаданий и промахов. Для выполнения расчетов на сайте www.howtomeasureanything.com/cybersecurity доступна электронная таблица с бета-распределением. Снова рассмотрим случай, когда необходимо оценить долю пользователей, соблюдающих некие процедуры безопасности. Отобрав случайным образом шесть пользователей, обнаруживаем, что только один из них делает все правильно. Давайте назовем его «попаданием», а остальных пятерых – «промахами». Добавив попадания к априорному значению α, а промахи – к априорному значению β, получаем:

= БЕТАРАСП(x; априорное α + попадания; априорное β + промахи).

На рис. 9.2 показано, как будет выглядеть ФПР, если добавить выборку из шести объектов с одним попаданием в наше исходное равномерное распределение. Для построения такого изображения можно воспользоваться следующей формулой:

= БЕТАРАСП(x + i/2; априорное α + попадания; априорное β + промахи) – БЕТАРАСП(x – i/2; априорное α + попадания; априорное β + промахи),

где i – размер используемого приращения (размер увеличения произвольный, но чем меньше его сделать, тем точнее будут изображения распределений). Если вам что-то непонятно, изучите пример в электронной таблице.

Рис. 9.2. Распределение, начинающееся с априорного равномерного и обновленное данными выборки с 1 попаданием и 5 промахами

Как так получается в бета-распределении? Не противоречит ли это тому, что рассказывают в базовом университетском курсе статистики о размерах выборки? Нет. С расчетами все в порядке. По сути, в бета-распределении к диапазону возможных значений применяется формула Байеса. Чтобы понять, как это работает, рассмотрим вопрос попроще, например: какова вероятность того, что в выборке из шести объектов будет 1 попадание, если только 1 % совокупности выполняет процедуру правильно? Раз предполагается, что нам известна доля генеральной совокупности, и нужно вычислить вероятность получения именно такого количества «попаданий» в выборке, следует применить так называемое биномиальное распределение. Биномиальное распределение – своего рода дополнение к бета-распределению. В первом случае оценивается вероятность различных результатов выборки с учетом доли генеральной совокупности, а во втором случае – доля генеральной совокупности с учетом количества результатов в выборке. В Excel биномиальное распределение записывается как =БИНОМРАСП(число_успехов; число_испытаний; вероятность успеха;0), где «0» означает, что будет получена вероятность конкретного результата, а не накопленная вероятность до определенного уровня.

Это позволяет нам получить наблюдаемый результат (например, 1 из 6) для одной возможной доли генеральной совокупности (в данном случае 1 %). Расчеты повторяются для гипотетической доли совокупности, равной 2, 3 и т. д. до 100 %. Теперь с помощью формулы Байеса можно перевернуть данные, чтобы получить сведения, которые на самом деле нас интересуют: какова вероятность, что X является долей генеральной совокупности, учитывая, что у нас 1 попадание из 6? Другими словами, биномиальное распределение дает нам P(наблюдаемые данные | доля), и мы переводим их в P(доля | наблюдаемые данные). Это очень полезный трюк, который в бета-распределении уже выполнен за нас.

Еще один момент, прежде чем продолжить: не кажется ли вам диапазон от 5,3 до 52 % широким? Тут стоит учитывать, что в выборке было всего шесть человек, а ваш предыдущий диапазон был еще шире (90 %-ный ДИ при равномерном распределении от 0 до 100 % составляет от 5 до 95 %). Все, что требуется для дальнейшего уменьшения диапазона, – продолжать делать выборки, и каждая выборка будет немного изменять диапазон. Распределение можно получить, даже если в трех выборках у вас будет ноль попаданий, при условии что начали вы с априорного распределения.

Если необходимы дополнительные примеры, чтобы лучше понять сказанное, рассмотрим один из тех, что приводил Хаббард в книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». Представьте урну, наполненную красными и зелеными шариками. Допустим, мы считаем, что доля красных шариков может составлять от 0 до 100 % (это наше априорное значение). Чтобы оценить долю генеральной совокупности, отбираются шесть шариков, один из которых оказывается красным. Оценив результат, как в примере с соблюдением протоколов безопасности, мы бы получили диапазон от 5,3 до 52 %. Ширина диапазона объясняется тем, что из шести шариков можно получить один красный при многих значениях доли генеральной совокупности. Такой результат возможен, как если красных шариков всего 7 %, так и если половина всех шариков являются красными. Давайте посмотрим теперь, как экстраполировать разобранные примеры на нарушения кибербезопасности.

Применение бета-распределения к нарушениям кибербезопасности

Думайте о нарушении как о вытаскивании красного шарика из урны. Каждая компания в вашей отрасли ежегодно случайным образом вытягивает что-то из «урны нарушений». Некоторым компаниям достается красный шарик, указывающий на наличие нарушения кибербезопасности. Таких компаний могло быть и больше, а могло быть и меньше. Вам точно неизвестно, с какой частотой происходят нарушения (т. е. доля шариков красного цвета), но можно использовать наблюдаемые нарушения для ее оценки.

Итак, у вас есть список известных нарушений кибербезопасности из отчета Verizon DBIR, но он не указывает на величину совокупности. Иначе говоря, известно, что в урне есть 100 красных шариков, но, не зная общего количества шариков, нельзя определить, какую долю генеральной совокупности они составляют. Однако все еще можно произвольно отобрать несколько шариков и просто сравнить количество красных шариков в выборке с размером самой выборки, а не с неизвестным общим размером совокупности. Аналогичным образом знание, что в данной отрасли произошло X нарушений, поможет только в случае, если известен размер отрасли. Так что придется взять другой источник, не отчет Verizon DBIR, чтобы узнать перечень компаний розничной торговли. Это может быть список Fortune 500 или, возможно, список от ассоциации компаний розничной торговли. В любом случае он не должен зависеть от того, сталкивалась ли организация с нарушениями кибербезопасности, о которых сообщается в отчете Verizon DBIR, и, следовательно, большинство компаний списка не будут фигурировать в отчете. Список – это ваша выборка (сколько шариков вытаскивается из урны). Некоторые компании из него, однако, окажутся упомянуты в отчете Verizon DBIR как жертвы нарушений кибербезопасности (т. е. они вытянули красный шарик).

Допустим, в списке нашлось 60 подходящих компаний розничной торговли. Из этой выборки в 60 объектов за период с начала 2014 по конец 2015 года выявлено два сообщения о крупных утечках данных. Так как оценивается вероятность возникновения нарушения в течение года, необходимо количество лет в имеющихся данных умножить на количество фирм. Подведем итоги:

• размер выборки: 120 единиц данных (60 компаний × 2 года);

• попадания: 2 взлома за указанный период времени;

• промахи: 118 единиц данных, в которых не было крупных нарушений;

• альфа: априорное значение + попадания = 1 + 2 = 3;

• бета: априорное значение + промахи = 1 + 118 = 119.

Добавив эти данные в электронную таблицу, получим распределение, подобное представленному на рис. 9.3.

Считайте наблюдаемые нарушения примером того, что могло бы произойти. Если вытянуто 120 шариков и два из них оказались красными, это еще не означает, что ровно 1,67 % шариков в урне – красные. Вытащив шарики из урны в указанном количестве, можно было бы оценить с вероятностью 90 %, что истинная доля красных шариков в урне составляет от 0,7 до 5,1 %.

Рис. 9.3. Частота утечек данных в год для указанной отрасли

Аналогичным образом, имея только два нарушения кибербезопасности в списке из 60 компаний за два года (120 единиц данных), нельзя утверждать, что ежегодная частота нарушений составляет ровно 1,67 %. Мы лишь оцениваем вероятность различной частоты из нескольких наблюдений. В следующем году нам может повезти больше или меньше, даже если в долгосрочной перспективе частота и останется такой же.

Даже среднее значение бета-распределения не составляет ровно 1,67 %, так как среднее значение бета-распределения равно α / (α + β), или 2,46 %. Причина различий в значениях в том, что на бета-распределение влияет априорное распределение. Даже при отсутствии случаев утечек данных α бета-распределения была бы равна 1, а β – 121 (120 промахов + 1 для априорного значения β), и тогда среднее значение было бы 0,8 %.

Другая удобная особенность бета-распределения заключается в легкости обновления. Каждый проходящий год, а по сути, и каждый проходящий день, независимо от наличия факта взлома, может обновлять параметры α и β распределения нарушений кибербезопасности в соответствующей отрасли. Для любой компании, в которой в течение указанного периода произошло заданное событие, обновляется параметр α, а для компаний, в которых не произошло, – параметр β. Даже если ничего не происходило в течение целого года, параметры β все равно обновляются, а следовательно, и наша оценка вероятности события.

Обратите внимание, что неинформативное априорное распределение вроде равномерного распределения использовать не обязательно. Если даже до изучения новых данных у вас есть основания полагать, что одни значения частот гораздо менее вероятны, чем другие, то можно так и указать. Можно формировать какие угодно априорные распределения, пробуя разные параметры α и β, пока не получится распределение, которое, по вашему мнению, соответствует априорной информации. Начните поиск априорных значений с α и β, равных 1, а затем, если вы считаете, что частота должна быть ближе к нулю, увеличьте β. Можете ориентироваться на среднее значение, которое должно быть α / (α + β). Увеличение параметра α, наоборот, сдвинет частоту возникновения события немного дальше от нуля. Чем больше сумма α + β, тем ýже будет диапазон. Проверить диапазон можно с помощью обратной функции вероятности для бета-распределения в Excel: значения =БЕТА.ОБР(0,05; альфа; бета) и =БЕТА.ОБР(0,95; альфа; бета) будут вашим 90 %-ным доверительным интервалом. Для обновления распределения на основе новой информации будет применяться все та же процедура – добавление попаданий к α и промахов к β.

Влияние бета-распределения на вашу модель

Отказавшись от применения бета-распределения и опираясь на наблюдаемую частоту 1,67 %, мы могли серьезно недооценить риски для отрасли. Даже вытаскивая шарики из урны, в которой, как нам известно, ровно 1,67 % красных шариков (остальные зеленые), мы бы все равно ожидали, что при каждом вытаскивании соотношение будет разным. Если бы нужно было вытянуть 120 шариков и предполагалось, что доля красных шариков составляет 1,67 %, то согласно вычислениям вероятность вытаскивания более трех красных шариков составила бы всего 14 % (по формуле в Excel: 1-БИНОМРАСП(3;120;0,0167;1)). С другой стороны, если бы у нас просто был 90 %-ный ДИ, что от 0,7 до 5,1 % шариков – красные, то вероятность вытащить больше трех красных шариков превысила бы 33 %.

Если применить подобные рассуждения к рискам безопасности в отрасли или компании, то вероятность возникновения нескольких событий резко возрастает. Это может означать более высокую вероятность нескольких крупных нарушений кибербезопасности в отрасли в течение года или, если используются данные на уровне компании, – взлом нескольких из множества систем компании. По сути, это «разворачивает» кривую вероятности превышения потерь против часовой стрелки, как показано на рис. 9.4. Среднее значение остается тем же, а риск экстремальных убытков увеличивается. Это может означать, что рискоустойчивость превышена на правом конце кривой.

Рис. 9.4. Пример того, как бета-распределение изменяет вероятность экстремальных убытков

На наш взгляд, это может быть основным недостающим компонентом анализа рисков в области кибербезопасности.

Прошлые наблюдения стоит в действительности рассматривать только как пример возможного развития ситуации, и, следовательно, необходимо допускать вероятность, что раньше нам просто везло.

Чтобы изучить тему подробнее и выяснить, как можно использовать бета-распределение в модели замены «один на один», а также узнать, каким образом оно может влиять на кривую вероятности превышения потерь, скачайте с нашего сайта электронную таблицу к этой главе.

Случай бета-распределения: AllClear ID

AllClear ID, ведущая компания в области защиты пользователей от нарушений кибербезопасности, применяет бета-распределение для оценки рисков кибербезопасности с помощью данных о нарушениях в отрасли. Компания предлагает три решения: AllClear Reserved Response™; услуги по взаимодействию с клиентами, которые включают в себя поддержку и оповещение; а также услуги по защите личных данных пользователей. Специалисты компании работают с инцидентами любого масштаба, в частности они занимались самыми крупными взломами из произошедших в последние годы.

Клиентам, пользующимся продуктом Reserved Response, гарантируется помощь при инциденте, что делает оценку риска критически важной для обеспечения надлежащего объема ресурсов в соответствии с требующимся обслуживанием. За помощью в оценке рисков крупного взлома не только для одного клиента, а для всей своей клиентской базы представители AllClear ID обратились в компанию Дага Хаббарда, Hubbard Decision Research (HDR), попросив смоделировать риски утечки данных во всех отраслях, которые они поддерживают, включая возможность того, что несколько крупных клиентов могут подвергнуться взломам в перекрывающиеся периоды времени. Получившаяся в итоге модель – один из многих инструментов, используемых AllClear ID при анализе оценок риска.

Компания HDR применила бета-распределение к данным об отраслевых взломах, взятым из отчета Verizon DBIR. В 2015 году было зарегистрировано 2435 случаев утечки данных, но, как объяснялось выше, сама по себе эта цифра не сообщала ежегодную частоту утечек для конкретного количества компаний. Применяя описанный ранее метод, специалисты HDR начали с перечня компаний, относящихся к отраслям, в которых оказывает поддержку AllClear ID. Затем его сравнили с отчетом Verizon DBIR, чтобы определить, у скольких из выбранных компаний случались утечки данных. В одной из отраслей в списке Fortune 500 находились 98 компаний. Несколько из них пострадали от нарушений кибербезопасности в течение двухлетнего периода с начала 2014 года и до конца 2015 года. Таким образом, 98 организаций и двухлетний период давали в общей сложности 196 единиц данных, среди которых были «попадания» и «промахи» (промахи – компании, не столкнувшиеся с нарушениями в течение года). Теперь стало возможным оценить вероятность нарушения кибербезопасности компаний заданной отрасли, входящих в список Fortune 500.

При моделировании методом Монте-Карло компания HDR использовала бета-распределение с α и β, что позволило получить 90 %-ный доверительный интервал для годового значения частоты наступления событий для каждого клиента. Если частота нарушений приближена к верхнему пределу, то вероятность наложения друг на друга нарушений кибербезопасности у нескольких клиентов значительно увеличивается. Созданная симуляция Монте-Карло показала как раз такую вероятность наложения друг на друга периодов пика нарушений кибербезопасности у нескольких клиентов, пользующихся решением Reserved Response. Эти сведения, помимо прочих, помогают компании AllClear ID планировать ресурсы, необходимые для удовлетворения потребностей клиентов, даже если нельзя точно узнать конкретное количество и сроки нарушений кибербезопасности.

Несмотря на то что нарушения кибербезопасности – непредсказуемые события, симуляция дала нам бесценное представление о рисках, с которыми мы потенциально можем столкнуться, и информацию, которая поможет эти риски снизить.

Бо Холланд, основатель и генеральный директор компании AllClear ID

Разложение на составляющие вероятностей с несколькими условиями

В примерах главы 8 приведена условная вероятность только с одним условием. Однако часто даже в самых простых моделях требуется учитывать гораздо больше условий. Один из способов решения проблемы – создание «таблицы вероятностей узлов», как ее называют в байесовских методах. Эксперт получает все комбинации условий и должен выполнить калиброванную оценку вероятности определенного события. В табл. 9.1 показано, как могут выглядеть несколько строк такой таблицы.

Столбцы в табл. 9.1 являются лишь примером. Нам попадались варианты, где компании также учитывали тип операционной системы, было ли программное обеспечение разработано внутри компании, есть ли доступ у поставщиков, количество пользователей и т. д. Право определить идеальные параметры остается за вами, главное, чтобы они отвечали условиям понятности, наблюдаемости и полезности Рона Ховарда (полезность в этом случае означает, что данные заставят вас изменить свою оценку). Мы же сосредоточимся на том, как проводятся расчеты, независимо от выбираемых факторов риска.

Таблица 9.1. Несколько строк из (гораздо более длинной) таблицы вероятностей узлов

Предположим, что условия (столбцы) в табл. 9.1 дополнили и их стало больше четырех. Наш предыдущий опыт моделирования в области кибербезопасности при работе с различными организациями подсказывает, что обычно бывает от 7 до 11 условий. Каждое из них может иметь как минимум два возможных значения (скажем, конфиденциальные данные или нет). Но у некоторых условий, как видно из примера, значений может быть три, четыре и более, что приводит к множеству комбинаций условий. Например, если есть семь условий, у трех из которых по два возможных значения, а у остальных – по три, то это уже 648 строк таблицы (2 × 2 × 2 × 3 × 3 × 3 × 3). На практике комбинаций оказывается гораздо больше, поскольку часто есть несколько условий с четырьмя или более вариантами значений. Модели, составленные для отдельных клиентов компании HDR, могли генерировать тысячи, а то и десятки тысяч возможных комбинаций.

В идеале нам бы не помешали данные по множеству различных сбоев. Для измерений чем больше точек данных, тем лучше, но специалисты по кибербезопасности стремятся снижать количество случаев взломов, отказов в обслуживании и других подобных событий. Как всегда, при нехватке данных можно обратиться к экспертам, которые дадут оценку события с учетом каждого из условных состояний. Например, можно запросить оценку вероятности, при условии что применяются стандартные меры обеспечения безопасности, система содержит личную медицинскую информацию, в ней не используется многофакторная аутентификация, а данные хранятся в датацентре, принадлежащем компании. После чего эксперты выполнят оценку для следующей комбинации условий и т. д. Очевидно, что из-за количества возможных комбинаций условий даже в скромной по размерам таблице оценка каждой вероятности в типичной вероятностной таблице узлов становится для экспертов нецелесообразной.

К счастью, существует два отличных способа, с помощью которых эксперты могут заполнить вероятностную таблицу узлов (какого угодно размера), оценив лишь ограниченный набор комбинаций условий: метод логарифма отношения шансов и метод линзы.

Пошаговый подход: логарифм отношения шансов

Метод логарифма отношения шансов (ЛОШ) позволяет эксперту оценить влияние каждого условия в отдельности, а затем сложить их, чтобы получить вероятность на основе всех условий. Это разновидность так называемой логистической регрессии в статистике, которую мы будем применять в довольно простой форме.

ЛОШ вероятности P(x) представляет собой выражение log(P(x)/(1 – P(x) (при этом часто под логарифмом подразумевается натуральный логарифм ln, но метод работает и с другими логарифмами). В результате получается отрицательное значение при P(x) < 0,5, положительное значение при P(x) > 0,5 и ноль, когда P(x) = 0,5. Вычисление ЛОШ полезно, так как он позволяет «суммировать» эффекты различных независимых условий для определения вероятности. Ниже подробно расписана данная процедура, а чтобы лучше разобраться в деталях, можно, как всегда, найти электронную таблицу со всеми расчетами на сайте www.howtomeasureanything.com/cybersecurity.

1. Выберите экспертов и откалибруйте их.

2. Определите базовую вероятность того, что конкретный актив может пострадать от заданного события в указанный период времени. При этом исходите из предположения, что единственная имеющаяся информация об активе (или приложении, или системе, или угрозе, и т. д. в зависимости от структуры разложения) – его принадлежность вашей организации. Это и будет P(Событие).

Пример: P(Событие) в год при отсутствии другой информации об активе равна 0,02.

3. Оцените условную вероятность того, что с активом произойдет указанное событие при конкретном значении некоторого условия. Можно записать это: P(E | X); т. е. вероятность события E с учетом условия X.

Пример: P(Событие | Конфиденциальные данные) = 0,04.

4. Оцените условную вероятность того, что с активом произойдет указанное событие при другом значении данного условия. Повторите этот шаг для всех возможных значений условия.

Пример: P(Событие | Отсутствие конфиденциальных данных) = 0,01.

5. Преобразуйте базовую вероятность и каждую из условных вероятностей в ЛОШ. Запишем это как L(Вероятность).

Пример: ЛОШ(P(Событие)) = ln(P(Событие)) / (1 – P(Событие)) = ln(0,02 / 0,98) = –3,89182; ЛОШ(P(Событие | Конфиденциальные данные)) = ln(0,04 / 0,96) = 3,17805

и т. д. для каждого условия.

6. Вычислите «дельту ЛОШ» для каждого условия, т. е. разницу между ЛОШ с заданным условием и базовым ЛОШ.

Пример: дельта ЛОШ(Конфиденциальные данные) = L(P(Событие | Конфиденциальные данные)) – ЛОШ(P(Событие)) = —(–3,18) – (–3,89) = +0,71.

7. Повторите шаги с 3 по 6 для каждого условия.

8. Когда дельта ЛОШ будет вычислена для всех возможных значений всех условий, создайте электронную таблицу, которая будет искать нужную дельту ЛОШ для каждого условия для каждого значения для этого условия. При заданном наборе значений условий все дельта ЛОШ для каждого условия добавляются к базовому ЛОШ для получения скорректированного ЛОШ.

Пример: Скорректированный ЛОШ = –3,89 + 0,71 + 0,19 – 0,45 + 1,02 = –2,42.

9. Преобразуйте скорректированный показатель ЛОШ обратно в вероятность, чтобы получить скорректированный показатель вероятности.

Пример: Скорректированная вероятность = 1 / (1 + 1 / exp(–2,42)) = 0,08167.

10. Если вследствие какого-либо из условий наступление события становится бесспорным или невозможным (т. е. P(Событие | Условие) = 0 или 1), то опустите вычисление ЛОШ для такого условия и дельты ЛОШ (расчет в любом случае выдаст ошибку). Вместо этого просто рассуждайте логически, чтобы обойти эти условия.

Пример: Если условие применимо, то скорректированная вероятность = 0.

Если условие не выполняется, то вычислите скорректированную вероятность, как показано в предыдущих шагах.

И в очередной раз повторим: если вам будут говорить, что этот или другие обсуждаемые нами методы непрактичны, помните, что они многократно применялись нами, в том числе и в кибербезопасности. Называя что-либо непрактичным, люди часто имеют в виду, что просто не знают, как это применить. В качестве иллюстрации приведем еще один диалог аналитика с экспертом по кибербезопасности. Аналитик проверит согласованность оценок эксперта с помощью указанных выше расчетов. Естественно, для этого он использует электронную таблицу (доступна на сайте).

Аналитик рисков: Как вы помните, мы распределили риски для каждого актива. Если я произвольно выберу актив, какова вероятность, что нарушение кибербезопасности произойдет в следующем году?

Эксперт по кибербезопасности: Зависит от того, что вы считаете нарушением, – может быть и сто процентов. К тому же на мое суждение повлияет множество факторов.

Аналитик рисков: Да, но, допустим, вам известно лишь, что речь об одном из ваших активов. Я просто выберу наугад и даже не скажу вам, какой именно. И давайте еще проясним, что имеется в виду не просто незначительное событие, единственной затратой при котором будут ответные меры кибербезопасности. Оно должно навредить работе компании, стать причиной штрафа или более серьезных проблем, вплоть до крупной утечки данных, которые недавно освещались в новостях. Допустим, это событие обойдется компании не менее чем в пятьдесят тысяч долларов, а возможно, и в несколько миллионов.

Эксперт по кибербезопасности: Откуда мне знать вероятность наступления события, если об активе ничего не известно?

Аналитик рисков: То есть, по-вашему, всем активам компании в следующем году грозят серьезные нарушения кибербезопасности?

Эксперт по кибербезопасности: Нет, пожалуй, из всего портфеля активов значимыми событиями, которые принесут более пятидесяти тысяч долларов убытков, станут только перебои в работе систем нескольких структурных подразделений. Может быть, более крупные нарушения кибербезопасности раз в пару лет.

Аналитик рисков: Понятно. Итак, у нас в списке двести активов, на ваш взгляд, произойдет ли нарушение кибербезопасности такого уровня в половине из них в следующем году?

Эксперт по кибербезопасности: Нет. «Нарушение кибербезопасности», как я его понимаю, возможно, случится с тремя – десятью активами.

Аналитик рисков: Хорошо. То есть, если я наугад выберу актив из списка, вероятность того, что в нем произойдет нарушение кибербезопасности, будет менее десяти процентов. Возможно, ближе к одному или двум процентам.

Эксперт по кибербезопасности: Понимаю, о чем вы. Для выбранного актива, о котором я больше ничего не знаю, думаю, можно было бы взять двухпроцентную вероятность нарушения кибербезопасности, предполагающего значительные убытки.

Аналитик рисков: Отлично. Теперь, предположим, я сообщу вам только один факт об этом активе. Допустим, он содержит данные платежных карт. Это как-то отразится на риске нарушения кибербезопасности?

Эксперт по кибербезопасности: Да. Наши средства контроля в этой области лучше, но и активы привлекательнее для злоумышленников. Возможно, я увеличу вероятность до четырех процентов.

Аналитик рисков: А если я скажу, что актив не содержит данных платежных карт. Насколько тогда изменится вероятность?

Эксперт по кибербезопасности: Не думаю, что это повлияет на мою оценку.

Аналитик рисков: А должно бы. Ваша «базовая» вероятность составляет два процента. Вы описали одно условие, которое увеличит ее до четырех процентов. Чтобы убедиться, что вероятность сбалансирована, противоположное условие должно уменьшать ее так, чтобы среднее значение по-прежнему оставалось два процента. Чуть позже я покажу расчеты, и вы поймете, о чем речь.

Эксперт по кибербезопасности: Ладно, думаю, я понимаю. Пусть будет один процент.

Аналитик рисков: Отлично. Итак, какой процент от всех активов на самом деле содержит данные платежных карт?

Эксперт по кибербезопасности: Мы только что завершили аудит, поэтому тут все довольно ясно. Это двадцать активов из двухсот.

Аналитик рисков: То есть десять процентов от всех перечисленных активов. Чтобы проверить, все ли сходится, мне нужно вычислить базовую вероятность на основе этих условных вероятностей и посмотреть, согласуется ли она с той, что вы дали мне изначально.

Аналитик рисков рассчитывает базовую вероятность следующим образом: P(Событие | Данные платежных карт) × P(Данные платежных карт) + P(Событие | Нет данных платежных карт) × P(Нет данных платежных карт) = 0,04 × 0,1 + 0,01 × 0,9 = 0,013. (Расчеты и другие этапы диалога, включая вычисление дельты ЛОШ, представлены в электронной таблице на сайте www.howtomeasureanything.com/cybersecurity.)

Аналитик рисков: Итак, вычисленная базовая вероятность чуть ниже вашей изначальной. Имеющиеся на данный момент вероятности не совсем согласованы. Если это исправить, эффективность нашей модели станет выше. Можно сказать, что неверна первоначальная вероятность и надо заменить ее на одну целую три десятых процента. Или что условные вероятности могут быть чуть выше, или доля активов с данными платежных карт слишком мала. Как считаете, что логичнее поменять?

Эксперт по кибербезопасности: Ну, доля активов с данными платежных карт известна довольно точно. Если подумать, то стоило бы сделать немного выше вероятность для активов без данных платежных карт. А если поднять ее до полутора процентов?

Аналитик рисков, вычисляя: Так, если задать одну целую восемь десятых процента, то получится почти ровно два процента, как ваша первоначальная оценка базовой вероятности.

Эксперт по кибербезопасности: Похоже, все верно. Но спроси вы меня в другое время, возможно, мой ответ был бы другим.

Аналитик рисков: Верно подмечено. Вот почему я спрашиваю не только вас. Плюс, закончив со всеми условиями, мы посмотрим, как вычисляется скорректированная вероятность, и тогда вам, может быть, захочется пересмотреть некоторые оценки. Теперь перейдем к следующему условию. Что, если актив, о котором идет речь, находится в собственном центре обработки данных компании…

И так далее.

Несколько пояснений по поводу использования ЛОШ. Это очень эффективная оценка вероятности с учетом всех условий, если условия не зависят друг от друга, то есть они не коррелируют и не имеют сложных схем взаимодействия друг другом. Зачастую все наоборот. Например, какие-то условия могут оказывать гораздо большее или гораздо меньшее влияние в зависимости от состояния других условий. Самое простое практическое решение в случае, если вы считаете, что условия A и B сильно коррелируют, – отбросить одно из них. Или же можно уменьшить ожидаемые эффекты каждого условия (т. е. задать условную вероятность ближе к базовой вероятности). Следите, чтобы совокупный эффект нескольких условий не давал более экстремальные результаты в сравнении с ожидаемыми (слишком высокие или слишком низкие вероятности).

Метод линзы: модель эксперта, которая лучше самого эксперта

Следующий очень удобный способ заполнения большой вероятностной таблицы узлов заключается в оценке экспертами нескольких специально отобранных комбинаций условий. Этот подход подразумевает построение статистической модели, основанной исключительно на подражании суждениям экспертов, а не на использовании данных за прошлые периоды. Любопытно, что такая модель, похоже, лучше справляется с задачами прогнозирования и оценки, чем сами эксперты.

Здесь предполагается применение методов регрессии, в частности логистической регрессии. Детальное обсуждение методов регрессии, после которого с ними можно было бы работать, не входит в задачу данной книги, поэтому нами предлагается следующее: если вам не знакомы методы регрессии, то придерживайтесь метода ЛОШ, описанного выше. Если же вы разбираетесь в методах регрессии, полагаем, наш разбор метода линзы будет достаточно подробным, чтобы вы могли понять его, не требуя от нас углубляться в описание механизма работы.

С учетом этого пояснения вот вам небольшая предыстория. Этот метод берет свое начало в 1950-х годах, когда Эгон Брунсвик, исследователь в области психологии принятия решений, попробовал статистически измерить решения экспертов. В то время как большинство его коллег занимал незримый процесс принятия решений, через который проходили эксперты, Брунсвика интересовало описание самих принимаемых решений. О себе и других специалистах в этой области он говорил: «Нам стоит меньше походить на геологов и больше на картографов». Другими словами, следует просто отображать то, что можно наблюдать, а не изучать скрытые внутренние процессы.

Такой подход стал известен под названием «модель линзы». Модели, созданные Брунсвиком и его последователями, превосходили экспертов-людей в решении самых разных вопросов, таких как вероятность погашения банковских кредитов, движение цен на акции, медицинские прогнозы, успеваемость студентов магистратуры и многие другие. Хаббарду тоже доводилось применять данный метод, в частности для прогнозирования кассовых сборов новых фильмов, логистики в зоне боевых действий и, да, в сфере кибербезопасности. Каждый раз модель по меньшей мере не уступала оценкам экспертов, а почти во всех случаях еще и оказывалась значительно лучше.

В главе 4 уже упоминалось, что эксперты могут находиться под влиянием множества не относящихся к делу факторов, сохраняя при этом иллюзию обучения и компетентности. Линейная модель оценки эксперта, однако, дает совершенно последовательные результаты. Как и в методе ЛОШ, в модели линзы это достигается путем удаления из оценки ошибок, связанных с несогласованностью экспертов. В отличие от ЛОШ, здесь не требуется четко выяснять у экспертов правила оценки для каждой переменной. Вместо этого мы просто наблюдаем за суждениями экспертов, учитывая все переменные, и пытаемся вывести правила на основе статистики.

Предлагаемый процесс построения модели, состоящий из семи шагов, достаточно прост. Мы несколько изменили изначальную процедуру, чтобы учесть и другие методы, появившиеся с момента разработки Брунсвиком своего подхода (например, калибровку вероятностей). Напомним, что здесь предоставляется ровно столько информации, чтобы читатель, уже знакомый с различными методами регрессии, смог понять, как работает метод линзы.

1. Отберите экспертов и откалибруйте их.

2. Попросите экспертов определить список факторов, относящихся к конкретному объекту, который они будут оценивать (вроде тех, что указаны в приведенной нами ранее таблице узлов). Но список должен содержать не более 10 пунктов.

3. Создайте набор сценариев, используя комбинации значений для каждого из указанных факторов. Сценарии могут основываться на реальных примерах или быть чисто гипотетическими, для каждого опрашиваемого эксперта их потребуется от 30 до 50 штук. Каждый сценарий будет выборкой в вашей регрессионной модели.

4. Попросите экспертов дать соответствующую оценку каждому описанному сценарию.

5. Усредните оценки экспертов.

6. Проведите логистический регрессионный анализ, используя среднее значение экспертных оценок в качестве зависимой переменной, а вводные данные, предоставленные экспертам, – в качестве независимой переменной. В зависимости от используемых вводных переменных вам может потребоваться закодировать вводные данные или применить полиномиальные методы регрессии. Поскольку в данном случае вы оцениваете вероятность, можно применить методы логистической регрессии. Здесь сплошная специальная лексика, но если вы знакомы с методами регрессии, то поймете, о чем идет речь.

7. Наилучшим образом подходящая для логистической регрессии формула и станет моделью линзы.

По завершении описанной процедуры вы сможете построить график как на рис. 9.5. Он показывает оценку усредненного суждения экспертов в модели регрессии в сравнении со средним значением экспертных суждений для каждого из сценариев. Видно, что модель, конечно же, не полностью совпадает с суждениями экспертов, но близка к ним. На самом деле, если сравнивать эти данные с показателями несогласованности экспертов, то, как правило, выясняется, что большая часть отклонений модели от экспертных оценок связана с несогласованностью экспертов. Таким образом, модель линзы могла бы быть еще более эффективной, если бы эксперты были более согласованны в своих оценках. Эта несогласованность устраняется с помощью метода линзы.

Если вы решите применять метод линзы, то построенная выше модель действительно будет лучше единичного эксперта по нескольким параметрам. Она, по сути, является имитацией усредненных суждений ваших лучших калиброванных экспертов, если бы они были идеально согласованны.

Для оценки несогласованности можно применить метод «дублирующейся пары» из главы 4: в нескольких случаях, вместо того чтобы спрашивать экспертов о влиянии отдельных условий, можно дать в списке идентичные друг другу сценарии, скажем 7-й и 29-й. После просмотра пары десятков сценариев эксперты забывают, что они уже рассматривали такую же ситуацию, и часто дают немного отличающийся ответ. Вдумчивые же эксперты более согласованны в оценке сценариев. В любом случае, как было показано в главе 4, доля несогласованности составляет около 21 % от общего разброса в экспертных оценках (остальные 79 % обусловлены данными, предоставленными экспертам для вынесения суждения). И эта ошибка полностью устраняется с помощью метода линзы.

Рис. 9.5. Пример регрессионной модели, предсказывающей оценки экспертов

Сравнение методов линзы и ЛОШ

У каждого из рассмотренных двух методов есть свои плюсы и минусы.

1. ЛОШ занимает (ненамного) меньше времени. В методе линзы экспертам необходимо рассмотреть множество выборок, чтобы можно было построить модель регрессии.

2. Метод линзы способен выявлять более сложные взаимодействия между переменными. Ответы экспертов могут указывать на то, что некоторые переменные важны только при определенном значении других переменных.

3. ЛОШ немного проще. Метод линзы зависит от построения модели регрессии, которая эффективно предсказывает суждения экспертов. И хотя в Excel имеются инструменты, позволяющие упростить задачу, на самом деле для построения качественной регрессии часто требуется несколько подходов. Возможно, где-то придется перейти на нелинейную модель при наличии двух переменных, дающих кумулятивный эффект. А в других случаях понадобится объединить несколько дискретных значений переменной (например, действительно ли при указании расположения сервера необходимо деление на внутренние, управляемые компанией, внутренние, управляемые сторонней организацией, и внешние вместо «управляемых нами» и «управляемых кем-то другим»?). Технически это не так сложно, особенно для тех, кто уже имеет подобный опыт, но все равно отнимает время. При этом все математические вычисления, необходимые для метода ЛОШ, находятся всего в одной электронной таблице, доступной на сайте www.howtomeasureanything.com/cybersecurity.

4. ЛОШ, как правило, дает гораздо больший разброс в оценках, чем метод линзы. То, как легко эффекты от нескольких условий могут дать в итоге очень высокую или низкую оценочную вероятность, иногда становится для экспертов полной неожиданностью. Когда те же эксперты оценивают вероятности с помощью метода линзы, их ответы имеют гораздо меньший разброс. Возможно, эксперты недооценивают совокупный эффект независимых переменных в методе ЛОШ или слишком осторожны при изменении своих оценок на основе информации, предоставляемой для метода линзы. Вам решать, какой вариант реалистичнее.

5. Оба метода помогают снизить несогласованность, но метод линзы обеспечивает более удобный способ ее измерения. Как уже говорилось, измерять несогласованность полезно, поскольку мы знаем, что эта ошибка устраняется при помощи количественной модели, и, устранив ее, можно будет оценить, насколько уменьшилась погрешность. Поскольку для метода линзы требуется множество оценок (как минимум десятки), то несоответствие можно легко выявить с помощью метода дублирующихся пар.

Итак, если вам нужно быстрое решение, применяйте метод ЛОШ для разложения вероятностей при наличии нескольких условий. Только проверьте, насколько сильно меняются ответы между двумя крайними вариантами условий (одним, когда для всех условий заданы значения, повышающие вероятность, а вторым, когда для всех условий заданы значения, уменьшающие вероятность). Если крайние значения кажутся совершенно нереальными, можно снизить оценку эффектов отдельных переменных, как упоминалось выше.

Доказано, что люди склонны преувеличивать влияние множественных сигналов, особенно если они сильно коррелируют между собой. В одном исследовании это называют «пренебрежением корреляцией» при рассмотрении условных вероятностей^1. Если два сигнала A и B идеально коррелируют (т. е. если вам сказать значение одного, вы точно назовете значение другого), то не нужно знать и A, и B для оценки вероятности X: P(X | A,B) = P(X | A) = P(X | B). Однако люди, даже если им говорят, что А и В высоко коррелированы, склонны рассматривать их как независимые (и, следовательно, усиливающие) сигналы и преувеличивать их влияние при оценке новой условной вероятности X. Как уже отмечалось при рассмотрении ЛОШ, в случае если вам кажется, что два условия сильно коррелируют, самое простое решение – не использовать одно из них.

Даже если вы решаете применять метод линзы, рекомендуется все равно начинать с ЛОШ, чтобы эксперты по кибербезопасности поняли, как знание отдельных условий может изменить их вероятности. Это также помогает избавиться от условий, которые изначально могли показаться экспертам информативными. Представим, например, что мы находимся на семинаре и команда экспертов по кибербезопасности перечисляет условия, которые, по их мнению, могут быть информативными для оценки в модели линзы. По мнению одного из участников семинара, тип операционной системы, используемой активом, может влиять на вероятность утечки данных с этого актива. Чтобы проверить утверждение, применим процесс ЛОШ, описанный ранее, и спросим, насколько сильно эксперты изменили бы базовую вероятность (вероятность возникновения события из области кибербезопасности, указанную, когда было известно только, что речь об одном из активов), если бы им сказали, что операционная система – Linux, а затем, что они изменили бы, узнав, что операционная система – Microsoft. Возможно, эксперты поймут, что с этой информацией не станут менять базовую вероятность. В таком случае условие можно исключить из модели линзы.

Оба метода – линзы и ЛОШ – ставят перед экспертами примечательные концептуальные препятствия. В процессе оценки экспертам может не хватать уверенности, потому что они неправильно понимают сам принцип работы метода. Большинство экспертов, с которыми нам довелось работать, принимали методы без возражений вроде тех, что приводятся ниже, но у некоторых они все же возникали. Если знать, как развеять подобные заблуждения, можно помочь экспертам лучше понять, почему их вводные данные необходимы.

Рассмотрим следующую реакцию: «Когда я применяю метод линзы, кажется, будто я выбираю ответы наугад». Если бы большинство людей, применяющих метод линзы для оценки вероятностей, действительно выбирали значения наугад, то у нас имелась бы совершенно иная картина. Например, не выявлялись бы такие же сильные корреляции, какие обычно бывают в этих моделях. И оставалось бы загадкой, почему эксперты при всех своих разногласиях на самом деле так часто соглашаются в оценках. Ведь очевидно, что, если бы разные эксперты, работающие независимо друг от друга, выбирали оценки наугад, они не демонстрировали бы схожие суждения о том, насколько сильно то или иное условие меняет вероятность события. Однако же налицо определенный уровень совпадения, и он намного выше того, который можно было бы списать на случайность.

Возможно, эксперты, высказывающие такую озабоченность, имеют в виду, что при разных обстоятельствах одна и та же вероятность могла бы быть оценена в 5, в 2 или 8 %. И это, несомненно, так. При индивидуальном выборе создается впечатление, что можно дать слегка другую оценку, и все равно она останется удовлетворительной. Но метод линзы, естественно, не зависит от одной оценки или даже от одного эксперта. А при объединении большого количества точек данных неизбежно возникают закономерности, даже когда эксперты считают, что в своих оценках отдельных случаев действовали наугад.

Можно столкнуться и с другим заблуждением: «Эти переменные сами по себе ничего мне не говорят. Мне нужно гораздо больше информации для оценки». Отвечая на вопрос, как одно условие может изменить вероятность в методе ЛОШ или как поменяются оценки на основе множественных условий (которых было всего лишь несколько), некоторые эксперты возразят, что, не зная больше (а кто-то скажет, что не зная всего), они не могут дать оценку.

Иными словами: «Сведения о том, как часто вносятся исправления, сообщат мне кое-что о вероятности, если я также буду знать и ряд других [обычно неустановленных и бесчисленных] данных». Подобные заявления неверны, и их можно опровергнуть математически. Формальную версию доказательства можно найти в книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе», а пока просто знайте, что такая точка зрения математически нелогична.

Другая проблема этого возражения заключается в том, что, как мы знаем, относительно простые модели вполне достойно будут предсказывать суждения экспертов. И часто в итоге из модели даже исключаются одна или несколько переменных как бесполезные для прогнозирования суждений экспертов. То есть переменная, которую эксперты, как им казалось, в какой-то момент учитывали в своих суждениях, вообще не оказывала никакого влияния на их выводы. Они просто занимались тем, что в предыдущих главах мы называли неинформативным разложением.

Мы все склонны верить, что наши субъективные суждения являются результатом достаточно тщательного и продуманного анализа вариантов. Если давать более реалистичное описание, то наше суждение является скорее весьма скромным набором переменных с очень простыми правилами и большим количеством шума и ошибок.

Дальнейшее снижение неопределенности и когда к нему следует прибегать

Не обязательно полагаться только на калиброванные оценки и субъективные разложения. В конечном итоге оценки нужно обосновать эмпирическими данными. Например, условные вероятности могут быть вычислены на основе сведений за прошлые периоды. Бета-распределение и другие методы вычисления условных вероятностей можно комбинировать необычным образом. Можно даже принимать рациональные решения о необходимости более глубокого анализа, исходя из экономической ценности информации.

Оценка стоимости информации для сферы кибербезопасности: очень простая инструкция

В первой книге Хаббарда «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» гораздо подробнее описан процесс определения стоимости информации. Здесь же в основном будут рассмотрены простые правила и процедуры, которые актуальны для сферы кибербезопасности.

Информация обладает ценностью, поскольку решения, влекущие за собой экономические последствия, нам приходится принимать в условиях неопределенности. Иначе говоря, есть цена ошибки и шанс допустить ошибку. Произведение шанса допустить ошибку и ее цены называется ожидаемыми потерями от упущенных возможностей (Expected Opportunity Loss, EOL). В анализе решений под стоимостью информации понимается снижение EOL. Если устранить неопределенность, то EOL станут равны нулю, и тогда разницей в EOL будет их полная стоимость. Эту стоимость также называют ожидаемой стоимостью полной информации (Expected Value of Perfect Information, EVPI). Неопределенность, как правило, устранить невозможно, но EVPI дает понимание верхней границы ценности дополнительной информации. Если EVPI всего 100 долл., то, вероятно, не стоит тратить время на снижение неопределенности. А вот когда EVPI составляет 1 млн долл., снижение неопределенности выгодно, даже если удастся уменьшить ее только наполовину, потратив при этом 20 000 долл. (или и вовсе лишь силы на анализ).

В кибербезопасности стоимость информации всегда связана с решениями, которые можно принять для снижения риска. Вы будете принимать решения о том, внедрять ли определенные средства контроля, а они стоят денег. Если вы решите применить средство контроля, то ценой ошибки будут деньги, которые, как выяснится, не нужно было тратить на это средство контроля. В обратном случае ценой ошибки станет наступление события, которого можно было бы избежать, имея средства контроля, от внедрения которых вы отказались.

На сайте www.howtomeasureanything.com/cybersecurity нами предоставлена электронная таблица для расчета стоимости информации. В табл. 9.2 показано, как структурированы значения в электронной таблице последствий. Обратите внимание, что здесь приводится очень простой пример, где предполагается, что предложенное средство контроля исключает возможность наступления события. При желании таблицу можно усложнить и рассмотреть возможность того, что, несмотря на внедрение средства контроля, событие все же произойдет (скорее всего, с меньшей вероятностью и/или воздействием).

Таблица 9.2. Таблица последствий внедрения средства контроля кибербезопасности

В электронной таблице также фиксируются условные вероятности, подобные тем, что мы вычисляли ранее: P(КУД), P(КУД | ПТП) и P(КУД | ~ПТП) (напомним, что КУД означает «крупная утечка данных», а ПТП – «положительный тест на проникновение»). Расчет несложный: на основе P(КУД), стоимости средства контроля и стоимости события без средства контроля вычисляются EOL для каждой стратегии – внедрения средства контроля или невнедрения. То есть, опираясь на выбранную стратегию, мы просто вычисляем цену ошибки и шанс допустить ошибку для каждой стратегии.

В таблицу можно вводить различные комбинации условных вероятностей, стоимости событий и затрат на средства контроля. Однако все в итоге сводится вот к чему: если не внедрять средство контроля, то стоимость информации может равняться произведению вероятности наступления события и стоимости события. А если внедрить средство контроля, цена ошибки составит произведение вероятности, что событие не произойдет, и стоимости средства контроля. Таким образом, чем выше стоимость средства контроля, тем более значительное событие оно должно смягчить, и чем больше неопределенность в отношении события, тем выше стоимость дополнительной информации.

Дальнейшее снижение неопределенности с помощью эмпирических данных, используемых для получения условных вероятностей

Предположим, что вы построили модель, вычислили стоимость информации и определили, какие дополнительные измерения необходимо провести. В частности, было установлено, что желательно уменьшить степень неопределенности в отношении влияния отдельных факторов в области кибербезопасности на вероятность наступления какого-либо события, затрагивающего безопасность. Сформировав выборку – из данных или своей компании, или отрасли в целом, – вы организовали ее так, как показано в табл. 9.3. Присвоив наступлению события значение Y, а рассматриваемому условию – значение X, можно вычислить условную вероятность P(Y | X): разделить количество строк, в которых Y = Да и X = Нет, на общее количество строк, где X = Нет. То есть P(Y | X) = количество Y и X / количество X (как показано в правиле 4 для ситуации «это зависит от» в главе 8).

Это может быть список серверов по годам, показывающий, происходило ли интересующее вас событие на данном сервере и, скажем, был ли он расположен за границей, или какой тип операционной системы на нем установлен. Или, возможно, требуется оценить вероятность заражения сервера ботами на основе какой-то непрерывной величины, например количества трафика, получаемого сервером (наш приглашенный автор Сэм Сэвидж разбирает такой случай в приложении Б).

Таблица 9.3. Таблица возникновения сочетания события и условия

Если вы умеете работать со сводными таблицами в Excel, то сможете провести подобный анализ без особых проблем. Мы же предлагаем еще более простой аналитический способ – применить функцию Excel =СЧЁТЕСЛИМН, подсчитывающую строки таблицы, в которых выполняется ряд условий. Посчитав строки, в которых оба столбца равны «1», получим количество раз, когда присутствовали и событие, и условие. В отличие от функции СЧЁТЕСЛИ (без «МН»), которая подсчитывает только число в заданном диапазоне, удовлетворяющее одному критерию, СЧЁТЕСЛИМН может иметь несколько диапазонов и несколько критериев. Они обе понадобятся для расчета условной вероятности по данным за прошлый период.

Подсчитав количество единиц только во втором столбце, мы получим все ситуации применения условия, независимо от того, происходило ли событие нарушения безопасности. Тогда, чтобы вычислить условную вероятность события с учетом условия, P(Событие|Условие) по табл. 9.3, проведем следующие вычисления:

= СЧЁТЕСЛИМН(столбец A; «=1»; столбец B; «=1»)/СЧЁТЕСЛИ(столбец B; «=1»).

Обратите внимание, что под обозначениями «столбец A» и «столбец B» понимаются соответствующие диапазоны, в которых находятся ваши данные в Excel.

Теперь вы эмпирически оцениваете условную вероятность. На сайте размещена электронная таблица, демонстрирующая, как это сделать. В ней представлен довольно интересный анализ, который можно провести с помощью этого подхода, как только вы его освоите.

В книге уже подробно разобрано несколько статистических методов, и, на наш взгляд, большинству экспертов по кибербезопасности их будет вполне достаточно, но при желании читатели всегда могут глубже изучить вопрос. Поэтому мы не будем нагружать вас сейчас дополнительными методами, а лишь опишем, что делать, если вы уже освоили все рассмотренные выше способы.

Прежде всего можно объединять изученные методы в более сложные и информативные подходы. Например, в методе ЛОШ использовать как вводные данные не калиброванные оценки, а условные вероятности, вычисленные из данных. Как и в случае с ЛОШ ранее, до тех пор пока условия независимы, можно определять условную вероятность при большом количестве условий.

Кроме того, применяя данные из табл. 9.3, можно построить бета-распределение с эмпирически полученной условной вероятностью, взяв простые бинарные исходы (Y) и условия (X) в качестве «попаданий» и «промахов». Допустим, есть центр обработки данных, в котором установлено множество средств защиты на пути данных из сети в компьютер: сетевой файрвол, файрвол компьютера, сетевая система предотвращения вторжений, хостовая система предотвращения вторжений и т. д. В любом случае это немалые финансовые вложения. Переменная исхода Y пусть будет определена как «инцидент нарушения безопасности». Формулировка очень общая, но это может быть вредоносное ПО, атака хакеров, отказ в обслуживании и т. д. А X, разумеется, представляет собой «условия», которые были только что сформулированы, как меры обеспечения безопасности. Предположим, в результате подсчета получился 31 случай, когда Y и X встречаются вместе (событие нарушения безопасности и действующие средства контроля) и 52 случая Х всего. Тогда мы сможем оценить условную вероятность при помощи бета-распределения, используя 31 совпадение и 21 промах, которые добавятся к априорной информации. Опять же, стоит воспринимать полученные данные лишь как возможный вариант, а не отражение точной пропорции. Если продолжить наш пример, то далее можно было бы спрогнозировать вероятность возникновения инцидентов нарушения безопасности при конкретных средствах контроля. Вместо того чтобы добавлять ЛОШ для фиксированных условных вероятностей, мы случайным образом берем данные из бета-распределения и вычисляем ЛОШ получившегося результата (это повлияет и на кривую вероятности превышения потерь, которая повернется так, что вероятность экстремальных потерь увеличится).

Подумайте, как это может быть удобно, если вы имеете дело с несколькими крупными центрами обработки данных, разбросанными по всему миру. Вам нужно иметь представление о вероятности инцидентов с позиции обеспечения мер безопасности. Тогда указанным способом будет легко определить EVPI по отношению к потенциальным стратегическим изменениям в системе защиты, исходя из данных простой выборки. Не забывайте, у вас больше данных, чем кажется!

Электронные таблицы с подробными примерами, как обычно, размещены на сайте www.howtomeasureanything.com/cybersecurity.

Использование имеющихся ресурсов для снижения неопределенности

Вспомните максимы измерения: подобные измерения уже проводились раньше; у вас больше данных, чем кажется; вам нужно меньше данных, чем кажется. В этой главе до сих пор мы уделяли основное внимание последней максиме. Теперь потратим немного времени на две другие.

Если вы хотя бы частично осознаёте, какие ресурсы вам доступны, то поймете, что данных довольно много и что очень умные люди уже проанализировали их для вас. Часть информации даже находится в открытом доступе. Все приведенные ниже примеры были предоставлены для этой книги нашими приглашенными авторами.

• Компания VivoSecurity Inc. собирает в основном общедоступные сведения об утечках информации и других инцидентах, связанных с кибербезопасностью. Используя данные портала министерства здравоохранения с сообщениями об утечках информации (также известного как «Стена позора минздрава»), специалисты VivoSecurity обнаружили интересную взаимосвязь между количеством сотрудников в организации и вероятностью утечки информации. На портале^2 минздрава представлены утечки записей личной медицинской информации, затронувшие не менее 500 человек, и эти данные можно загрузить в электронную таблицу. Частота утечек данных по состоянию на 2015 год составляла около 14 % на 10 000 сотрудников в год (выше, чем по информации о крупных взломах, так как тут учитываются даже утечки всего в 500 записей). Показатель немного вырос по сравнению с 2012 годом, когда он составлял примерно 10 %. Подробный анализ компании VivoSecurity представлен в приложении Б.

• Антон Мобли, специалист по анализу данных из компании GE Healthcare (и коллега Ричарда Сирсена, одного из авторов книги), провел любопытный анализ влияния политики надежности паролей на вероятность их взлома. Анализ частично основан на эмпирических исследованиях паролей (например, паролей вроде «password» или «qwerty»), а также рассматривает правила, по которым они создаются, и относительную сложность подбора паролей при помощи широко доступных алгоритмов. В частности, Мобли приводит эмпирические данные о том, какие типы подсказок к паролям, используемых людьми, значительно упрощают процесс подбора пароля (например, «моя фамилия» или «улица моей компании»). Согласно его исследованию, в организации с 2000 сотрудников практически наверняка случится взлом паролей, если в ней не следят за соблюдением стандартов составления паролей. Вероятность взлома паролей в этой же организации снизилась бы примерно до всего лишь 5 % при наличии обязательного требования выбирать пароль из 15 символов разных типов (например, «AnNtx5#undR70!z»). Подробный анализ представлен Мобли в приложении Б.

• Маршалл Кюперс (мы упоминали его в главе 6, он специализируется на статистическом анализе данных в сфере кибербезопасности и на момент написания книги готовился получать степень доктора философии в Стэнфорде) вместе с доктором Пейт-Корнелл из Стэнфорда представили на конференции SIRACon 2015 статистический анализ, демонстрирующий несколько интересных тенденций (часть из них показана на рис. 9.6). На их основе можно сделать ряд полезных выводов для анализа рисков кибербезопасности.

– Частота взлома данных вследствие потери или кражи устройств остается неизменной на протяжении последних нескольких лет и пропорциональна количеству сотрудников. Эти результаты согласуются с выводами на основе анализа данных министерства здравоохранения.

– Снижается частота заражения вредоносным ПО, но не его воздействие, распределение которого имеет толстый хвост.

– Время расследования инцидентов в точности соответствует «степенному закону» (степенной закон – распределение, в котором логарифм частоты события и логарифм воздействия создают прямую линию, идущую под углом вниз. Это распределение описано в приложении А).

Рис. 9.6. Распределение времени расследования инцидентов, связанных с кибербезопасностью

Завершая разговор о байесовском методе

Две последние главы знакомили вас сначала с простыми, а затем с более продвинутыми эмпирическими подходами, применяющими байесовский метод. Обращаясь к уже разработанным электронным таблицам за более подробными объяснениями, мы рассмотрели довольно большой объем информации.

Было показано, как байесовские и производные от них методы позволяют обновлять первоначальные калиброванные оценки с учетом новой информации. Продемонстрировано не только использование байесовских методов для решения простой проблемы обновления информации, но и то, как можно применять на практике гораздо более сложные методы вроде бета-распределения, пользуясь возможностями редактора Excel. А также как можно объединить несколько условий с помощью метода ЛОШ и метода линзы и как сочетать ЛОШ с бета-распределением.

Не обязательно пытаться разобраться во всем сразу. Делайте все постепенно и добавляйте новые методы по мере их освоения. Есть множество вариантов моделирования и использования новой информации – и любой из них определенно лучше, чем догадки или применение методов без математического обоснования. Далее в третьей части мы рассмотрим еще несколько концепций и обсудим практические соображения по внедрению изученных методов в организации.

Примечания

1. Benjamin Enke and Florian Zimmermann, “Correlation Neglect in Belief Formation,” Discussion Paper No. 7372 (Bonn, Germany: Institute for the Study of Labor, 2013), http://ftp.iza.org/dp7372.pdf.

2. U.S. Department of Health and Human Services, Office for Civil Rights, Breach Portal, “Breaches Affecting 500 or More Individuals,” accessed March 21, 2016, https://ocrportal.hhs.gov/ocr/breach/breach_report.jsf.

Часть III. Управление рисками кибербезопасности в организации

Глава 10. На пути к зрелости метрик безопасности

Когда совершенствуешься в каком-либо деле, хорошо иметь представление о том, на каком этапе находишься и куда стоит двигаться дальше. Процесс совершенствования должен быть непрерывным, и его необходимо измерять. Требование «непрерывности и измеримости» заявлено одним из основных результатов этой книги. Непрерывные целенаправленные измерения называются метриками. В связи с этим в данной главе приводится модель зрелости метрик операционной безопасности. В отличие от прочих моделей зрелости, связанных с аналитикой (да, их много), наша начинается и заканчивается прогностической аналитикой.

С этой главы мы начнем разбирать некоторые вопросы на уровнях руководства и реализации. Ричард Сирсен, один из авторов книги, хорошо разбирающийся в данной теме, здесь и далее будет обращаться к своим коллегам, используя термины и концепции, с которыми они должны быть уже знакомы. Дополнительные технические вопросы будут затронуты лишь выборочно для иллюстрации практических действий. Итак, мы рассмотрим следующие темы.

• Модель зрелости метрик операционной безопасности. Модель зрелости, представляющая собой матрицу типовых вопросов и источников данных.

• Анализ скудных данных (АСД). Самый первый этап метрик, здесь используются количественные методы для моделирования риска на основе ограниченных данных. В частности, этот этап можно использовать для обоснования новых инвестиций в безопасность. В конце главы приведен подробный пример АСД с использованием языка программирования R. Это дополнительный материал, который не только иллюстрирует метод АСД, но и демонстрирует возможность анализа без использования Excel.

• Функциональные метрики безопасности. Метрики, специфичные для конкретного объекта и основывающиеся на ранних инвестициях в безопасность. Большинство программ метрик безопасности останавливается на этом этапе зрелости.

• Витрины данных безопасности. Раздел посвящен измерениям в связанных с безопасностью областях, обладающих большими наборами данных. Эта тема рассматривается в следующей главе.

• Предписывающая аналитика безопасности. Краткий разбор новой для мира безопасности темы, представляющей собой смесь науки о принятии решений и науки о данных. Эта объемная тема достойна отдельной книги в будущем.

Введение: модель зрелости метрик операционной безопасности

Прогностическая аналитика, машинное обучение, наука о данных – все эти темы популярны. Существует множество моделей зрелости и схем построения аналитики. Попробуйте поискать в Google картинки по запросу «модели зрелости в аналитике», их там предостаточно. Наш подход (рис. 10.1) отличается от других.

Рис. 10.1. Модель зрелости аналитики безопасности

Для начала работы нам не требуются большие объемы данных или особые возможности. И, по сути, изученные ранее практические методы предстают на этом этапе во всей красе: они помогают определить типы вложений, которые следует сделать, чтобы довести программу до зрелого состояния. Поэтому нет нужды торопиться с инвестициями в средства обработки больших данных и инструменты науки о данных. Не поймите неправильно – мы всячески поддерживаем их использование, когда оно оправданно. Однако за блеском всех этих аналитических концепций и технологий кроется множество факторов, отвлекающих от принятия решений, которые помогли бы защититься от злоумышленников прямо сейчас. Поэтому мы придерживаемся точки зрения, что любые стоящие модели зрелости и схемы построения аналитики всегда начинаются с принятия решения.

Анализ скудных данных

N (данных) никогда не бывает достаточно, как только начинает казаться, что их «достаточно», у вас тут же возникает следующая проблема, для решения которой требуется больше данных. Примерно как с деньгами, которых всегда не хватает, но это уже совсем другая история.

Эндрю Гельман (род. 1965), американский статистик^1

Вот теперь можно применить прогностическую аналитику. То есть использовать продвинутые методы, хотя ваша программа безопасности еще не обязательно зрелая. Все модели, представленные в главах 8 и 9, идеально подходят в данном случае. Отсутствие возможности собрать большие массивы информации, касающейся безопасности, еще не означает, что нельзя корректировать свои суждения по мере получения новых данных. В сущности, единственными доступными вам данными вполне могут оказаться суждения экспертов о вероятных будущих убытках. Иначе говоря, проведение анализа со скудными данными – зрелая функция, но она не зависит от зрелости мер обеспечения безопасности.

С точки зрения аналитики АСД – единственный подход в условиях нехватки информации. Скорее всего, вы не вкладывали средства в новую программу безопасности. Вас вообще могли недавно нанять на должность руководителя отдела информационной безопасности и поручить инвестировать в программу обеспечения безопасности, создав ее с нуля. И чтобы определить, какими должны быть вложения, вы прибегнете к АСД. Однако, как только новые инвестиции (люди, процессы, технологии) будут привлечены, необходимо проводить измерения для определения эффективности вложений и постоянного улучшения их работы. Пример АСД с большим количеством технических подробностей представлен в разделе «Пример модели АСД: R-программирование» в конце главы.

Функциональные метрики безопасности

Сделав крупные вложения в новые возможности обеспечения безопасности предприятия, как узнать, что от них действительно есть толк? Функциональные метрики безопасности направлены на оптимизацию эффективности основных составляющих операционной безопасности, для чего устанавливаются ключевые показатели эффективности (КПЭ), связанные с операционным охватом, конфигурацией систем и снижением рисков в ключевых областях. Есть несколько книг по метрикам безопасности, посвященных данному этапу измерения безопасности. Одной из первых была книга Эндрю Джеквита Security Metrics^2 («Метрики безопасности»), которая вывела эту важную тему на передний план. В книге много внимания уделено тому, что мы будем называть «метриками охвата и конфигурации». К сожалению, большинство компаний все еще не в полной мере реализуют этот уровень зрелости. Они вполне могут вкладывать десятки, если не сотни миллионов в персонал и технологии безопасности. Могут оптимизировать людские ресурсы, процессы и технологии определенных обособленных функций, но маловероятно, что все области безопасности анализируются с использованием изометрических подходов к измерениям.

Большинство организаций обеспечивают некоторые из перечисленных функций (не обязательно в таком порядке):

• защиту от вредоносного ПО;

• управление уязвимостями;

• тестирование на проникновение;

• безопасность приложений;

• сетевую безопасность;

• архитектуру безопасности;

• управление идентификацией и доступом;

• соответствие требованиям безопасности;

• предотвращение потери данных;

• реагирование на инциденты и сетевую криминалистику

и многие другие.

Для каждой функции может быть несколько корпоративных и автономных решений обеспечения безопасности. По сути, все организации в идеале должны иметь сложные метрики безопасности, связанные с каждой из их функций. Такие метрики делятся на две макрообласти.

1. Метрики охвата и конфигурации. Это метрики, связанные с операционной эффективностью с точки зрения глубины и широты вовлеченности организации. Измерения в метрике включают в себя временные ряды, связанные со скоростью развертывания и эффективностью конфигурации. Работает ли (активировано ли) решение в соответствии со спецификацией и есть ли у вас доказательства этого? Вы можете приобрести файрвол и установить его как положено, но если в его правилах задано значение «any: any» (то есть фактически отсутствие ограничений доступа), а вы об этом не знаете, скорее всего, эффекта не будет. Предусмотрено ли журналирование для ключевых приложений? Ведется ли оно в действительности? Если ведется, отправляются ли лог-файлы для анализа соответствующими средствами безопасности? Настроены ли оповещения для указанных средств безопасности и соотносятся ли они между собой? Каковы показатели ложноположительных и ложноотрицательных результатов и есть ли у вас метрики для снижения информационного шума и выделения фактических сведений? Измеряете ли вы также сопутствующий рабочий процесс по преодолению последствий данных событий?

2. Метрики смягчения последствий. Это показатели, связанные со скоростью появления и ликвидации риска для организации. Например, метрика может быть такой: «Для систем с выходом в интернет удаленно эксплуатируемые уязвимости необходимо устранять в течение одного рабочего дня, а эффективный встроенный мониторинг или смягчение последствий должны быть запущены в течение 1 часа».

Витрины данных безопасности

Примечание: руководство по проектированию витрины данных безопасности представлено в главе 11. В этом разделе лишь вводится понятие в контексте модели зрелости.

Для некоторых аналитиков словосочетание «витрина данных» – тревожный сигнал. Оно вызывает в памяти образы раздутых хранилищ данных и сложных ETL-систем (ETL: extraction, transformation, load – извлечение, преобразование, загрузка). Однако, говоря «витрина данных», мы дистанцируемся от любой конкретной реализации. Если формулировать идеальное определение, мы бы сказали, что это «предметно-специфическое, неизменяемое, гибкое, сильно распараллеленное и предоставляющее быстрый доступ хранилище данных, которое легко соединяется с другими предметными хранилищами данных». Непонятная формулировка? Перевод: сверхбыстрое во всех своих операциях, масштабируется с увеличением объема данных, и его необходимость легко аргументировать конечным пользователям. Еще можно добавить «находящееся в облаке». И то лишь потому, что так можно не возиться с внедрением и сосредоточиться на управлении рисками безопасности. Реальность такова, что большинство читателей этой книги могут иметь свободный доступ к традиционным реляционным системам управления базами данных (РСУБД), даже со своих ноутбуков.

Витрины данных безопасности отвечают на вопросы, связанные с кросс-программной продуктивностью. Эффективно ли взаимодействие людей, процессов и технологий для снижения риска в нескольких областях безопасности? (Примечание: под системой безопасности обычно понимается объединение людей, процессов и технологий.) Или, если говорить конкретнее, с течением времени способность вашей системы к уменьшению риска повышается или снижается? В качестве примера здесь можно привести вопросы вроде «У конечных пользователей, эксплуатирующих системы со средствами контроля безопасности XYZ, меньше шансов подвергнуться взлому? Среди решений, предлагаемых поставщиками средств безопасности, или их сочетаний есть ли те, что эффективнее остальных? Нет ли среди вложений бесполезных излишеств?». Скажем, в случае эффективности мер безопасности для конечных точек подобные типы вопросов могут опираться на данные лог-файлов, поступающих из таких источников, как:

• инструментарий Microsoft Enhanced Mitigation Experience Toolkit (EMET);

• белые списки приложений;

• система предотвращения вторжений на хост;

• мониторинг целостности файлов;

• конфигурация системы (контрольные показатели Центра интернет-безопасности (CIS) и т. д.);

• настройки безопасности и конфиденциальности браузера;

• управление уязвимостями;

• Endpoint reputation;

• антивирус

и т. п.

Могут быть и другие вопросы, например: «Как долго остаточный риск, который могут использовать злоумышленники, находится в конечных точках, до того как его обнаружат и задача по его устранению станет приоритетной? Достаточно ли быстрая наша „система“? Какой должна быть скорость и сколько нужно потратить, чтобы ее достичь?»

Витрины данных идеально подходят для ответа на вопросы о том, сколько времени может просуществовать скрытая вредоносная активность до момента обнаружения. Решения SIEM (security information and event management – управление событиями и информацией о безопасности) тут не помогут, хотя их можно использовать как источник сведений для витрин данных. В конце концов, средства поставщиков систем безопасности обнаружат злоумышленников в вашей сети, но времени может пройти немало. Возможно, потребуется несколько минут или месяцев, а то и лет. Например, объекты инвестиций, определяющие хорошую или плохую репутацию внешних систем, обновляются по ходу дела. Некоторые из этих систем могут использоваться злоумышленниками в качестве командно-контрольных серверов для управления зараженными системами в вашей сети. Такие серверы могут просуществовать несколько месяцев, прежде чем поставщик услуг безопасности подтвердит их наличие. Антивирусы обновляются регулярно по мере появления новых вредоносных программ. Однако вредоносные программы могут месяцами находиться в конечных точках, пока не выйдет обнаруживающее их обновление. Системы управления уязвимостями обновляются по мере обнаружения новых уязвимостей нулевого дня или каких-то других. Уязвимости могут существовать в течение многих лет, прежде чем о них узнают поставщики ПО или систем безопасности. Все это время злоумышленники могут использовать эти уязвимости без вашего ведома.

Тема измерения остаточного риска в сфере кибербезопасности – очень скользкая. В любой момент времени вы подвержены опасности, а решения поставщиков услуг безопасности, по сути, всегда запаздывают. Любой профессионал в области безопасности скажет вам, что это очевидный факт. А если он так очевиден, то почему остаточный риск не измеряют, чтобы попытаться исправить ситуацию? Он легко измерим и должен быть в приоритете. Измерение степени подверженности постороннему воздействию и инвестирование в ее снижение, так чтобы добиться наилучшей окупаемости инвестиций, – ключевая практика в управлении рисками кибербезопасности, осуществлению которой способствуют витрины данных безопасности, в сочетании со всем тем, что вы узнали из предыдущих глав. В главе 11 будет рассмотрен КПЭ под названием «анализ выживаемости», учитывающий необходимость измерения срока существования остаточного риска. И откроем маленький секрет: если не измерять остаточную степень незащищенности, то, скорее всего, ситуация будет только ухудшаться. Если собираетесь бороться за правое дело, нужно уметь задавать вопросы, затрагивающие разные области безопасности. Поймите, что под атаки злоумышленников попадают они все и, чтобы справиться с этой реальностью, аналитикам следует преодолеть функциональную обособленность.

Предписывающая аналитика

Как отмечалось ранее, предписывающая аналитика – тема для отдельной объемной книги. Здесь мы хотим лишь слегка ее затронуть применительно к индустрии безопасности. Прежде всего давайте определим место предписывающей аналитики среди трех категорий аналитики.

• Описательная аналитика. По большей части аналитика описательна. Это просто сводные показатели, такие как суммы и средние значения в определенных вызывающих интерес группах данных, например ежемесячное усиление и ослабевание отдельных видов риска. Такова стандартная описательная аналитика. Стандартная оперативная аналитическая обработка данных (Standard Online Analytical Processing, OLAP) хорошо сочетается с описательной аналитикой. Однако, как уже говорилось, бизнес-аналитика с позиций OLAP-технологии не получила достаточного распространения в сфере безопасности. Функциональный подход и витрины данных безопасности в основном состоят из описательной аналитики, за исключением случаев, когда требуется использовать эти данные для обновления суждений в аналитических моделях на основе скудных данных.

• Прогностическая аналитика. Прогностическая аналитика подразумевает прогнозирование будущего, но, строго говоря, этого не делает. Данные за прошлые периоды используются для составления прогноза относительно возможного будущего результата. Большинство программ метрик безопасности не достигают этого уровня. Некоторые специалисты по безопасности и поставщики услуг безопасности могут возразить: «А как же машинное обучение? Мы этим занимаемся!» Здесь стоит сделать небольшое отступление на тему сравнения машинного обучения, также известного как наука о данных, с наукой о принятии решений.

Применение методов машинного обучения стоит несколько в стороне от анализа решений. Действительно, поиск закономерностей с помощью машинного обучения становится все более значимой практикой борьбы со злоумышленниками. Как уже говорилось, поставщики услуг безопасности не справляются с ранним обнаружением новых угроз, а вот машинное обучение кажется здесь очень многообещающим. Однако вероятностные сигналы, применяемые к данным в реальном времени, потенциально могут стать дополнительным шумом, мешающим расстановке приоритетов. «Расставить приоритеты» – значит определить следующее действие в разгар боя. Вот что на самом деле означает «управление» (M, management) в SIEM – расстановку приоритетов в дальнейших действиях. И в этом плане анализ решений также мог бы здесь отлично сработать (к сожалению, рынок SIEM не признает анализа решений, придерживаясь вместо этого сомнительных порядковых подходов при определении приоритетности действий по реагированию на инциденты).

• Предписывающая аналитика. Если коротко, предписывающая аналитика задействует множество моделей как из анализа решений, так и из области науки о данных и предоставляет наиболее рациональные рекомендации для принятия решений. В контексте больших данных и потоковой аналитики такие решения могут приниматься в режиме реального времени, а иногда и без усилий с вашей стороны, что сближает предписывающую аналитику с искусственным интеллектом.

Проще говоря, согласно нашей модели, следует начать с анализа решений и придерживаться его на протяжении всего времени накопления эмпирических данных. На предписывающем уровне выходные данные модели науки о данных становятся входными данными для моделей анализа решений. Все эти модели работают вместе, предлагая, а в некоторых случаях динамически принимая решения. Решения могут быть обработаны и, следовательно, снова введены в модель. Примером использования предписывающей аналитики может служить так называемая «погоня за кроликами». Как уже говорилось, большая часть технологий операционной безопасности связана с повторением по кругу процессов обнаружения, блокировки и удаления. В общем смысле именно так работают антивирусное ПО и различные виды встроенной защиты. Только если происходит нарушение или какой-то прорыв обороны, средства защиты объединяются. А что насчет серой зоны, которая предшествует нарушению и/или может быть признаком продолжающегося нарушения? То есть нет фактических доказательств текущего нарушения, имеются лишь доказательства, что определенные активы были скомпрометированы, и в данный момент они уже восстановлены.

Например, рассмотрим вредоносное ПО, которое было успешно удалено, но перед удалением службы внутренней защиты блокировали его связь с командно-контрольным сервером. Вы собираете дополнительные доказательства того, что взломанные системы пытались отправлять сообщения на заблокированные сейчас командно-контрольные серверы. Процесс длился месяцами. Что делать? Вредоносное ПО удалено, но вдруг осталась пока не обнаруженная утечка данных? Или, возможно, была утечка, которая уже закончилась, но ее не заметили? Иначе говоря, стоит ли начинать криминалистическую экспертизу на предмет наличия еще одной, а то и нескольких более крупных вредоносных «кампаний», выкачивающих данные или занимавшихся этим ранее?

В идеальном мире с неограниченными ресурсами ответ был бы «Да!», но реальность такова, что ваша группа реагирования на инциденты, как правило, на 100 % занята расследованием подтвержденных инцидентов и им не до «вероятных» взломов. Возникает дилемма, ведь если не отреагировать на «возможные взломы», они грозят перерасти в полномасштабные, долгосрочные утечки данных. На самом деле, скорее всего, вы никогда не столкнетесь с такой дилеммой, если научитесь расставлять приоритеты среди имеющихся данных. Мы предполагаем, что подходы, аналогичные представленным в главе 9, можно интегрировать в существующие системы обнаружения нарушений почти в режиме реального времени. Например, модель линзы позволяет проводить расчеты быстро, благодаря тому что не требует массивных вероятностных таблиц узлов. К тому же она целиком и полностью байесовская и может работать как с эмпирическими доказательствами, получаемыми непосредственно от детерминированных и недетерминированных (наука о данных) систем безопасности, так и с калиброванными суждениями экспертов в области безопасности. Поскольку модель линзы – байесовская, то, основываясь на результатах решений самой модели, можно постоянно обновлять представления о различных типах сценариев и рекомендации, когда следует проводить дальнейшее расследование определенных событий из «серой зоны». Такой подход начинает все сильнее напоминать применение искусственного интеллекта в сфере кибербезопасности. Опять же это объемная тема для следующей книги, и нашей целью было лишь немного пролить свет на будущее направление.

Пример модели АСД: R-программирование

Поговорим еще немного об АСД. В данном примере нами будет использоваться язык программирования R, но с таким же успехом можно работать с помощью Excel, Python и т. п. Данный раздел не является исчерпывающей инструкцией по работе с языком программирования R. Мы поясним код ровно настолько, насколько это поможет объяснить идеи анализа. Наша цель – интуитивное понимание программы. Потребность в интуиции нельзя переоценить. Интуиция подскажет творческое решение проблем. В связи с этим мы считаем, что Excel и скриптовые языки программирования – отличные варианты, позволяющие новичкам в анализе рисков быстро развить интуицию для аналитики. В сущности, если какие-либо понятия из предыдущих глав все еще кажутся вам непонятными, поработайте дополнительно с инструментами Excel. Изображение и программа могут стоить нескольких тысяч слов. То же самое и здесь: установите R и попробуйте с ним поработать, тогда все покажется гораздо более логичным.

Чтобы узнать больше о языке программирования R, мы рекомендуем воспользоваться многочисленными книгами и бесчисленными учебными пособиями в интернете. Мы будем работать с библиотекой R под названием LearnBayes, которая сама по себе является учебным пособием. У автора этого модуля, Джима Альберта, есть замечательная книга^3 и несколько учебных пособий, доступных онлайн, к которым можно обращаться в случае возникновения вопросов, как это делаем мы. Если у вас нет R, можно загрузить его для нужной платформы по ссылке: https://cran.rstudio.com/index.html. Мы также рекомендуем среду разработки RStudio, которая значительно облегчит написание кода на R: https://www.rstudio.com/products/rstudio/download/.

Скачав RStudio, вам нужно будет ее запустить, введите для этого в командной строке:

install.packages(«LearnBayes»).

Вот факты для нашего сценария.

• Теперь вы – часть команды, которой поручено провести аудит с целью оценки приобретения стоимостью несколько миллиардов долларов.

• Компания, о которой идет речь, имеет значительное глобальное облачное присутствие.

• Вам сообщили, что у компании есть несколько сотен облачных приложений, обслуживающих различные критически важные отрасли с миллионами пользователей.

• Вам дали меньше недели, чтобы, как говорит ваш генеральный директор, «определить, насколько все плохо, есть ли какие-либо подводные камни и, кроме того, насколько вырастет наш технический долг с точки зрения безопасности».

• Ваша организация – одна из нескольких, заинтересованных в сделке с данной компанией. Это что-то вроде срочной распродажи в том смысле, что правление компании-продавца хочет быстрее со всем покончить.

• Вы не сможете получить всю желаемую информацию. Фактически вам даже толком не дадут провести формальную оценку.

Поскольку вы хотите, чтобы ваша работа была состоятельна с точки зрения технической оценки, вы решили сосредоточиться на некоторых аспектах безопасности из Матрицы мер безопасности для облаков от Cloud Security Alliances. Она соотносится со всеми крупными системами контроля вроде ISO, NIST и прочих. Вы сокращаете список до пяти обязательных макроэлементов. Отсутствие любого из этих средств контроля может привести к затратам в несколько сотен тысяч долларов на исправление одного приложения или даже больше.

После проведения небольшого исследования вы на 50 % уверены, что на самом деле истинная доля средств контроля безопасности менее 40 %. Непонятно? Все потому, что мы пытаемся объяснить «картину в пропорции». Лучше всего представлять эту информацию в виде графика. У вас есть колоколообразная кривая, наивысшая точка которой немного смещена влево от центра – отметки 40 % на оси x. Вы также на 90 % уверены в том, что истинное значение (процент действующих средств контроля безопасности) находится на графике ниже отметки 60 %, что сдвигает кривую на графике еще немного левее. Если бы вы были на 90 % уверены, что количество действующих средств контроля безопасности менее 50 %, исходная кривая была бы выше и ýже, т. е. плотнее вокруг отметки 40 %.

Предположим, вы проводите первый аудит/опрос по поводу 10 приложений и обнаруживаете, что в 3 из 10 приложений установлены базовые средства контроля безопасности. И теперь вы вводите свои «априорные суждения» о компании, добавив к ним недавно полученные данные, в R:

> library(LearnBayes)

>

> beta.par <– beta.select(list(p=0.5, x=0.40), list(p=0.90, x=.60))

> triplot(beta.par, c(3,7))

Как указано выше, согласно априорным суждениям, вы считаете, что количество действующих средств контроля безопасности для большинства облачных приложений, о которых идет речь, составляет около 40 %. По мере получения дополнительных данных ваши соображения начинают «обретать форму». Это отражено в апостериорных данных, под которыми понимаются данные, полученные после проведения анализа. Если использовать апостериорные данные для нового анализа, то в нем они станут априорными. Данные, с которых вы начинаете прогноз, являются априорными для получения выходных данных, которые будут апостериорными. Разброс ваших суждений уменьшается, диапазоны сужаются и, следовательно, становятся более определенными. Конечно, это только после 10 опросов.

Обратите внимание на график «Вероятность». Эта функция описывает степень вероятности того, что вы сможете увидеть желаемые данные с учетом вашей модели (гипотезы). Формально это было бы записано так: P(Данные | Гипотеза). В нашем случае было три успеха и семь неудач. Если модель последовательна, то вероятность, что она отражает наши данные, должна быть относительно высокой.

Рис. 10.2. Трилинейная диаграмма Байеса, бета (4,31, 6,3) априорные данные, у (успех, попадания) = 3, н (неудачи, промахи) = 7

В приведенном выше коде функция beta.select используется для создания (выбора) двух значений из входных данных априорной вероятности. У этих двух значений причудливые названия: a и b, или альфа и бета. Их также называют параметрами формы. Они формируют кривую, или распределение, показанное на рис. 10.2. Представьте, что распределение – это глина, а параметры – руки, которые придают глине форму. Как написано в главе 9, формальное название этого конкретного типа распределения (формы) – бета-распределение. По мере увеличения aи b отображение суждений, представленных бета-распределением, становится выше и ýже. Это означает, что ваши суждения о чем-то неопределенном становятся более определенными (плотными). В данном случае неопределенностью является состояние средств контроля безопасности примерно 200 облачных приложений. Вы можете заметить, что два списка отражают убеждения, которые были у руководителя отдела информационной безопасности: beta.select(list(p=0.5, x=0.40), list(p=0.90, x=.60)). Эти вводные данные преобразуются с помощью функции beta.select в значения a и b и сохраняются в переменной beta.par. Можно вывести значения на экран, набрав следующее:

> beta.par

[1] 4.31 6.30

Вы занимаетесь только вашими суждениями и новыми данными. Значения альфа и бета работают в фоновом режиме, формируя бета-распределение по мере получения большего количества данных. А затем используется функция triplot, чтобы объединить новую информацию (3,7; 3 успеха и 7 неудач) с априорными суждениями и создать новое апостериорное суждение:

> triplot(beta.par, c(3,7))

Предположим, вы проводите 35 полных аудитов, и только пять облачных приложений удовлетворяют самым основным требованиям «глубокой эшелонированной защиты», предъявляемым к средствам контроля безопасности. Больше 200 приложений не подвергались аудиту. Теперь скорректируйте модель, добавив новые данные (рис. 10.3).

> triplot(beta.par, c(5,30))

Рис. 10.3. Трилинейная диаграмма Байеса, бета (4,31, 6,3) априорные данные, у = 5, н = 30

Вам все еще многое неизвестно о реальном состоянии средств обеспечения облачной безопасности компании, но, кажется, ситуация даже хуже, чем вы предполагали. Поэтому, чтобы было проще сделать выводы, вы решаете смоделировать большое количество результатов, основанных на новых суждениях (апостериорных). Это такой завуалированный способ сказать: «У меня нет времени проводить аудит всех приложений. Что если использовать известные мне данные в качестве вводных для симуляции?

Симуляция смоделирует 1000 аудитов и даст мне представление о том, какими могут быть будущие результаты аудита, учитывая уже известные данные». Кроме того, вы формулируете результат в виде 90 %-ного ДИ, что означает: «Я на 90 % уверен, что истинное значение действующих средств контроля безопасности компании XYZ находится между x% и y%». Давайте сначала получим 90 %-ный ДИ:

> beta.post.par <– beta.par + c(5, 30)

> qbeta(c(0.05, 0.95), beta.post.par[1], beta. post.par[2])

[1] 0.1148617 0.3082632

Все довольно просто: получаем значения альфа и бета из новых апостериорных данных и передаем их в простую функцию под названием qbeta. Первый параметр, c(0.05,0.95), просто обозначает наш 90 %-ный ДИ. Теперь смоделируем множественные тесты и получим 90 %-ный ДИ из них для более тщательной проверки.

> post.sample <– rbeta(1000, beta.post.par[1], beta.post.par[1], beta.post.par[2])

> quantile(post.sample, c(0.05, 0.95))

5% 95%

0.1178466 0.3027499

Похоже, интересующая нас доля, скорее всего (с уверенностью 90 %), окажется в диапазоне от 12 до 30 %. Можно пойти дальше и попытаться спрогнозировать, какие результаты будут получены в следующих 200 аудитах. Делается это так:

> num <– 200

> sample <– 0:num

> pred.probs <– pbetap(beta.post.par, num, sample)

> discint(cbind(sample, pred.probs), 0.90)

> [1] 0.9084958

> $set

[1] 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

[20] 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54

[39] 55 56

Как видно из модели, можно быть на 91 % уверенными в том, что у следующих 200 аудитов будет от 17 до 56 успешных результатов. Теперь нужно построить финансовые модели для оценки стоимости устранения последствий и вероятности нарушения безопасности. Именно этот последний вопрос вызывает наибольшее беспокойство. Какой риск на самом деле вам перейдет? Какова вероятность того, что нарушение безопасности уже произошло или происходит сейчас?

Это был очень простой пример, который можно легко реализовать в Excel, Python или на «умном» калькуляторе. Суть в том, что начинать интересные и полезные измерения можно прямо сейчас. Как лидер вы будете прибегать к этому типу аналитики как к личному оружию гораздо чаще, чем к любым другим метрикам.

Примечания

1. Andrew Gelman, “N Is Never Large,” Statistical Modeling, Causal Inference, and Social Science (blog), July 31, 2005, http://andrewgelman.com/2005/07/31/n_is_never_larg/.

2. Andrew Jaquith, Security Metrics: Replacing Fear, Uncertainty, and Doubt (Upper Saddle River, NJ: Pearson Education, 2007).

3. Jim Albert, Bayesian Computation with R (New York: Springer Science & Business Media, 2009).

Глава 11. Насколько эффективно взаимодействуют мои вложения в безопасность?

В главе 10 была представлена модель зрелости метрик операционной безопасности, которая начиналась с анализа скудных данных. Такова в действительности и основная тема данной книги: «Как проводить измерения, а затем принимать решения, во что инвестировать при высокой степени неопределенности, вызванной ограниченными эмпирическими данными». В главах 8 и 9 представлены основные методы моделирования, используемые для анализа скудных данных. Цель – принять наилучшее решение с учетом обстоятельств. И, если помните, решение – это «бесповоротное распределение ресурсов». Другими словами, выписывая чек, вы знаете, что приняли решение. Прекращаются ли измерения, после того как вложения сделаны? Конечно, нет!

Что же измеряется дальше? После принятия решения (т. е. инвестиций) определяется, получены ли те результаты, ради достижения которых делались вложения. Для специалиста по безопасности это – область метрик операционной безопасности. Инвестировав в безопасность, необходимо измерить, насколько вложения соответствуют конкретным показателям, под которыми часто понимаются КПЭ.

Если вы инвестировали значительные денежные средства, следом потребуются непрерывные «автоматизированные» измерения, направленные на оптимизацию. Скорее всего, вами сделано несколько вложений, и все вместе они воздействуют на один или несколько ключевых рисков. Когда речь идет об интеграции источников данных для оценки сведений об эффективности за предшествующий период, необходимы метрики безопасности, больше напоминающие бизнес-аналитику (БА). Есть много замечательных книг по БА. Большинство из них толстые, а некоторые даже насчитывают несколько томов. Так зачем углубляться в эту тему и чего можно добиться всего за одну главу?

Лично мы не знаем ни одной книги, в которой БА рекомендовали бы для измерений в сфере кибербезопасности. И это полное безобразие. В своей книге, Security Metrics, Джеквит даже отговаривает от подобного подхода. Более 10 лет назад, возможно, мы бы разделили его мнение (хотя один из авторов в то время витрины данных безопасности пек как блины). Однако риски и технологии развиваются, и нам следует развиваться тоже. Усовершенствовались аналитические технологии, особенно с открытым исходным кодом, а системы безопасности все чаще «дружат» между собой. У большинства решений по обеспечению безопасности на уровне предприятия есть интерфейс программирования приложений (API) и/или прямое подключение к базе данных для извлечения корректно сформированных и согласованных данных. Проще и быть не может. Так что наша первоочередная цель – познакомить читателей с этой классической формой моделирования процессов и побудить ее исследовать.

Задача данной главы – дать базовое, интуитивно понятное объяснение одного из элементов бизнес-аналитики: размерного моделирования.

Размерное моделирование является логическим подходом к проектированию физических витрин данных. Витрины данных, в свою очередь, представляют собой специфические структуры, которые могут быть соединены вместе через измерения, как детали конструктора лего. Таким образом, они хорошо вписываются в область метрик операционной безопасности.

Рис. 11.1 – это схема, что используется для размерного моделирования в большинстве случаев, ее обычно называют «кубом» трех ключевых измерений: времени, ценности и риска. Такую форму принимают почти все метрики операционной безопасности, и фактически единственное, что меняется в зависимости от области, это конкретный изучаемый риск. Время и ценность оказываются согласованной соединительной тканью, позволяющей измерять (т. е. прорабатывать) все области риска. Помните, что это лишь краткий обзор размерного моделирования. Нам хотелось бы надеяться, что размерные подходы к метрикам безопасности со временем будут развиваться. Сейчас, когда идет рост больших данных и соответствующих аналитических приложений, самое подходящее время.

Рис. 11.1. Стандартная витрина данных безопасности

Решение проблем, связанных с БА

При упоминании БА многие читатели наверняка представляют себе раздутые хранилища данных со сложными ETL-системами (извлечение, преобразование и загрузка). И действительно, для осуществления процессов ETL и даже визуализации требуется немало времени. Причина этой проблемы в сложности инфраструктуры нижележащей реляционной базы данных, а также особенностях формирования результатов анализа. В части инфраструктуры проблема более или менее решаема: многие облачные провайдеры предлагают средства для работы с большими данными. Например, у таких компаний, как Amazon, Google и Microsoft, есть зрелые продукты для масштабируемых облачных баз данных. Даже редактор Excel явно стал мощнее, так как способен увеличивать объем до миллиардов строк записей с помощью надстройки PowerPivot.

Если не хочется зависеть от какого-то одного поставщика, воспользуйтесь решениями с открытым исходным кодом, скажем, Apache Drill предоставляет унифицированный интерфейс на языке SQL (язык структурированных запросов) для большинства хранилищ данных, в том числе баз данных NoSQL, различных типов файлов (CSV, JSON, XML и т. д.), а также коннекторы Open Database Connectivity для устаревших баз данных (включая Excel). Идея заключается в том, чтобы полностью убрать для конечных пользователей аналитические барьеры, вызванные сложностью ETL-систем. Подобный процесс наблюдался более десяти лет назад в области визуализации данных. Инструменты визуализации значительно ослабили барьер, мешавший конечным пользователям проводить анализ. Но для этого, безусловно, должен иметься правильно сформированный и понятный источник данных. К сожалению, последние достижения в области создания баз данных, такие как Hadoop и NoSQL-системы, не смогли значительно продвинуться в решении этой проблемы. Собственно говоря, сложность доступа к данным только возросла. Но постепенно тот же самый «беспроблемный» подход, применявшийся в визуализации, реализуется и в области доступа к данным. В общем, технические барьеры, связанные с размером, скоростью и интерфейсом, полностью стираются. Что остается после решения технических вопросов? Логическое формулирование проблем анализа и выбор правильных подходов для их решения.

В отношении аналитического подхода также существуют свои предубеждения. Возможно, вам встречалось такое: «БА – это все равно, что пытаться вести бизнес вперед, глядя в зеркало заднего вида». Еще можно услышать, что «Бизнес-аналитика мертва!». Но это все равно, что сказать «Описательная аналитика мертва!» или «Изучение явлений с помощью данных за прошлые периоды мертво!». Что мертво или должно быть мертвым, так это бестолковые, трудоемкие подходы к аналитике, не имеющие стратегической ценности. Те, кто делает подобные заявления, просто подвержены заблуждению «обогнать медведя», или Еxsupero Ursus, упоминавшемуся в главе 5. Разумеется, вся прогностическая аналитика опирается на события, произошедшие в прошлом, что позволяет прогнозировать будущее! Проще говоря, когда дело доходит до наблюдаемых фактов, составляющих прогностическую модель, всегда существует некоторая задержка. Мы даже видим решения потоковой аналитики, где создаются микрокубы (мини-витрины данных) в памяти. Это волнующее время для бизнес-аналитики!

Теперь, когда вроде бы разрушены все предрассудки, связанные с противопоставлением БА, больших данных, NoSQL и прогностической аналитики, можно перейти к сути данной главы – определению эффективности взаимодействия вложений в безопасность с помощью размерного моделирования.

Только факты. Что такое размерное моделирование и зачем оно мне нужно?

Когда вы задаете размерные вопросы о фактах прошлого, которые позволяют как обобщать, так и детализировать до элементарных событий, вы проводите БА. Метатребование обычно подразумевает последовательность данных, а значит, моделируемая проблема требует определенной согласованности с точки зрения временных рядов: день за днем, месяц за месяцем и т. д. Далеко не все задачи, для решения которых применяется моделирование, нуждаются в подобной согласованности временных рядов. Метрики же безопасности измеряют операционные процессы и потому должны быть согласованны, поэтому они идеально подходят для БА. Так вот, когда вы применяете полученные сведения о фактах прошлого, чтобы смоделировать или спрогнозировать, какую форму данные примут в будущем, вы по-настоящему занимаетесь прогностической аналитикой или, как мы любим ее называть, «статистикой». Однако в основе источника прогнозов лежала БА, а ее технологией проектирования является размерное моделирование.

Размерное моделирование представляет собой логический процесс проектирования с целью получения витрин данных. Оно имеет дело с двумя макрообъектами: фактами и измерениями. Совокупность измерений, окружающая список фактов, – это и есть витрина данных. На рис. 11.2 показана простая логическая витрина данных для уязвимостей. Обратите внимание, что она построена по схеме, представленной на рис. 11.1. Уязвимость в данном случае соответствует конкретному измерению риска. Активы – измерению ценности, при этом под ценностью понимается то, что следует защищать. И остается измерение даты или времени, присутствующее почти во всех моделях.

В центре размерных таблиц находится так называемая таблица фактов, которая содержит указатели на таблицы измерений и может насчитывать миллионы или даже миллиарды строк. Если ваше измерение активов составляет сотни тысяч, а то и миллионы строк (одному из авторов доводилось моделировать подобный вариант), то в таблице фактов их точно будут миллиарды. Здесь чистая математика: на один актив может приходиться N уязвимостей, существующих в определенный момент времени. Также обратите внимание, что прозвучало слово «логический». Это напоминание о том, что не обязательно создавать физические объекты, такие как таблицы измерений и фактов. При современных подходах, когда делаются запросы к различным источникам данных, все это можно виртуализировать в один простой объект данных в памяти. Так что не позволяйте различным рисункам и схемам запутать вас, они нужны лишь для понимания и удобства.

Рис. 11.2. Витрина уязвимости

Совпадающие или общие измерения позволяют соединять витрины данных и задавать новые интересные вопросы. Вероятно, самым распространенным совпадающим измерением является «дата/время». На втором месте, по крайней мере в безопасности, будет «актив». Активы можно разложить на различные элементы: портфель, приложение, продукт, сервер, виртуальный сервер, контейнер, микросервис, данные и т. д. Актив – это ценность, которая защищена средствами контроля безопасности, подвергается вредоносным атакам и используется по назначению авторизованными пользователями. Следовательно, вам, скорее всего, понадобятся витрины данных, связанные с состоянием уязвимостей, конфигурациями и смягчением последствий. У всех этих витрин данных может быть одна общая концепция актива. Такое «совместное использование» в разных областях безопасности позволяет задавать вопросы как по горизонтали, так и по вертикали. Или, как мы любим говорить в мире БА, совпадающие измерения позволяют осуществлять кросс-детализацию.

Чтобы понять возможности применения кросс-детализации, представьте, что у вас есть метрика под названием «цельнометаллическая оболочка». Цельнометаллическая оболочка, как показано на рис. 11.3, представляет собой ряд требований макрозащиты для определенных классов активов. В частности, у вас есть КПЭ в виде наименьшей привилегии (конфигурации), состояния исправлений, скорости устранения последствий в конечных точках и блокирующие средства контроля в сети. Все они на самом деле являются метриками охвата контроля в отношении некоторой концепции ценности (актива). Приведенная ниже простая структура послужит пояснением. Вы можете определить, в каких областях есть совершенно незамеченный и, вероятно, эксплуатируемый остаточный риск, и сравнить его с тем, который контролируется с помощью конфигурации или смягчения последствий.

Рис. 11.3. Расширенная витрина данных с совпадающими измерениями

В этой модели не хватает понятия «угрозы», определяющего, насколько хорошо ваша макроконцепция защиты ценности (цельнометаллическая оболочка) противостоит определенным векторам угрозы. На рис. 11.4 представлен расширенный вариант модели, учитывающий этот аспект. В данном случае витрина данных анализа вредоносного ПО интегрируется с соответствующими витринами данных. Это просто, поскольку витрина вредоносного ПО совпадает с ними по активу и дате.

Такая витрина данных может ответить на сотни и даже тысячи вопросов о ценности различных форм защиты от вредоносного программного обеспечения. Например, в измерении смягчения последствий можно задавать вопросы о том, что более эффективно в борьбе с адресным фишингом: локальные файрволы или встроенные в систему средства защиты.

Рис. 11.4. Измерение вредоносного ПО

Или в том же ключе: как часто белые списки приложений срабатывали там, где все другие средства контроля безопасности не справились, т. е. существует ли класс вредоносных программ, для которых белый список приложений является последней линией защиты? (Примечание: белый список приложений – средство контроля безопасности, разрешающее запускать только одобренные приложения. Таким образом, если какая-то вредоносная программа попытается установиться или запуститься, теоретически белый список приложений должен ее остановить.) И если они действительно все чаще становятся последней линией обороны, означает ли это, что эффективность работы других вложений снижается? Или появляются новые виды вредоносных программ, которые все ваши средства защиты не в состоянии обнаружить вовремя, тем самым намекая на необходимость новых вложений и/или отказ от некоторых уже имеющихся? Короче говоря, окупаются ли ваши вложения в белые списки так, как было спрогнозировано при моделировании этих инвестиций? С подобными моделями становится очевидно, какие меры защиты недостаточно эффективны, какие особенно выделяются и заслуживают дополнительных вложений, а от каких пора избавиться, предоставив возможность для новых, инновационных вложений, направленных на победу над неустранимыми растущими рисками.

Любопытно, что в размерном моделировании факты в таблицах фактов также называют мерами, поскольку они измеряют процесс на атомарном уровне. «Атомарный» означает, что измеряемое событие нельзя дальше разложить на составляющие. Типичным фактом в бизнесе может быть продажа продукта, скажем банки фасоли. Мерой в данном случае будет цена продажи. Возможно, вы захотите узнать, сколько определенного товара продали в конкретный момент времени в конкретном месте. При этом можно еще проследить за показателями продаж этого товара квартал за кварталом. Или вы захотите сравнить прибыльность двух конкретных продуктов с учетом географических рынков и/или размещения в магазинах, и т. д. Это все традиционная БА.

Что такое «факт безопасности»? Это просто наступившее событие. Возможно, правило файрвола было изменено или система предотвращения вторжений блокировала некую атаку. Или это может быть состояние конкретного элемента программного обеспечения в облачном приложении в определенный момент времени. Суть в том, что фиксируется наступление или ненаступление события (или изменения состояния). Состояние может поменяться за миллисекунды или за год. Из-за этой метрики наличия/отсутствия, отличающейся от денежной меры, про факт безопасности говорят, что в нем «нет факта». По сути, суммируется куча «1» вместо долларов и центов. Для простой витрины данных уязвимости таблица фактов в традиционном понимании могла бы тогда выглядеть примерно как табл. 11.1.

Таблица 11.1. Таблица фактов с различными уязвимостями для одного актива при заданном значении времени

В классических витринах данных первые три столбца представляют собой идентификаторы, являющиеся ссылками на таблицы измерений. Итог (событие) подводится на основе критериев измерений. Табл. 11.2, пусть и с некоторыми, возможно, излишними техническими подробностями, показывает, как может выглядеть та же структура данных с расшифрованными идентификаторами (обратите внимание, что в столбце даты указано Unix-время).

Таблица 11.2. Факты уязвимости с расшифрованными ссылками измерений

Здесь есть различные CVE (common vulnerabilities and exposures), что буквально переводится как «общеизвестные уязвимости и риски». А в таблице измерения уязвимости будут содержаться все основные характеристики уязвимости, которые могут еще сузить запрос. Есть IP-адрес, но опять же в измерении актива может иметься еще 100 характеристик, которые можно использовать для формулирования вопросов. И, наконец, есть метка времени.

Измерение – это разложение на составляющие объекта интереса, совокупность описательных характеристик какого-либо факта, позволяющих задать множество разнообразных вопросов. Например, в нашем измерении актива могут быть такие характеристики, как операционная система или версия пакета обновления. На самом деле, если для хранилища теоретически можно отслеживать во времени полный список установленного программного обеспечения и его версий, связанных с определенной концепцией актива, этот актив, в свою очередь, может стать одной или несколькими витринами данных с фактами, которые вы отслеживаете. Главное – убедиться, что для вашего анализа требуется такой уровень разложения. Хотя БА значительно упрощается, бесполезные разложения могут привести к тому, что усилия будут потрачены впустую. Проведите мозговой штурм с заинтересованными сторонами и сначала попробуйте добиться гибких результатов. Воспользуйтесь принципом KISS (Keep It Simple, Stupid – «Будь проще!»).

В табл. 11.3 представлен пример объекта измерения, в ширину такая таблица может достигать 100 или более столбцов.

Теперь, когда разобраны основы размерного моделирования, перейдем к созданию модели. Мы постараемся сделать объяснение простым, интуитивно понятным и нетехническим. Не нужно создавать «Размерную модель для управления Вселенной», способную предвосхищать все возможные вопросы. Значения можно добавлять по мере необходимости.

Таблица 11.3. Измерение актива

Пример применения размерного моделирования: повышенная угроза кражи данных

Давайте предположим, что в организации были разработаны КПЭ для новой характеристики, которую назвали «повышенная угроза кражи данных», или сокращенно ПУКД. Угроза определена как «вредоносное ПО, похищающее данные и изначально не замеченное применяемыми коммерческими готовыми решениями в области безопасности». То есть ПУКД активна в течение некоторого времени, пока наши вложения не «догонят» и не остановят ее. Пусть с помощью Excel и R или Python был проведен быстрый анализ нескольких выборок ПУКД за последний год. В частности, выполнен так называемый анализ выживаемости, чтобы получить график, представленный на рис. 11.5.

Что такое анализ выживаемости? Это анализ имеющих жизненный цикл объектов, у которых со временем каким-либо образом меняется статус, вплоть до окончания цикла. Анализ выживаемости первоначально появился в медицинской сфере, а теперь также применяется в инженерном деле, страховании, политологии, управлении бизнесом, экономике и даже безопасности. Центральное место в анализе занимает функция выживания. В нашем случае это кривая, отображающая переменную времени относительно доли объектов, продолжающих существовать. Функция позволяет делать выводы о продолжительности жизни определенных явлений, например ПУКД.

Рис. 11.5. Дни существования ПУКД до обнаружения

Обратите внимание на два случая, в которых произошло финансовое воздействие. За неимением лучших вариантов принимается решение «улучшить кривую в целом», особенно в связи с этими двумя случаями убытков. Таким образом, нашим КПЭ становится «Увеличение на 20 % эффективности поиска повышенных угроз, сохраняющихся в течение 70 дней и более». Вы решаете в обозримом будущем тщательно измерять этот показатель (и мы действительно рекомендуем измерять его как основную метрику безопасности). Как перейти от стратегической аналитической модели, позволившей обосновать новые вложения, к метрике безопасности? Для этого необходимо мыслить как конструктор размерных моделей.

К счастью, размерные модели, над которыми мы работали до сих пор, применимы и здесь. Итак, перечислим различные имеющиеся у нас «измерения» и выясним, как они могли бы вписаться в витрину анализа выживаемости ПУКД (табл. 11.4). Цель – понять, каким образом наши вложения на самом деле справляются с ПУКД и справляются ли вообще. Можно ли оптимизировать конкретное решение на основе получаемой информации? Срабатывает ли решение конкретного поставщика быстрее других или же отстает? Или, если формулировать точнее, были ли какие-то изменения конфигурации, исправленные уязвимости, новые средства контроля для смягчения последствий или новые антивирусные программы особенно эффективны в борьбе с ПУКД?

Таблица 11.4. Описание измерений ПУКД

Витрина данных с рис. 11.6 использует уже существующие витрины и добавляет связанные с HTTP данные с прокси-серверов. Такой витрины будет достаточно для полного анализа ПУКД.

Рис. 11.6. Высокоуровневая витрина ПУКД

Глядя на табл. 11.5, можно заметить, какой простой в итоге оказалась наша таблица фактов. Столбцы измерений, как правило, широкие, а фактов – относительно узкие. Вот как работает наша таблица фактов.

• Если смягчение последствий отвечает за блокировку, то в поле mit_id будет указан идентификатор конкретного решения поставщика средств защиты, ответственного за предотвращение атаки. В противном случае это значение будет равно 0. Сам идентификатор отсылает к измерению смягчения последствий.

Таблица 11.5. Факт блокировки ПУКД

• Если с ликвидацией угрозы справилась защита от вредоносного ПО, то в поле mal_id будет указан идентификатор конкретной программы, полученный из измерения вредоносного программного обеспечения.

• В поле http_id указывается URL-адрес конкретного командного сервера, с которым актив пытался связаться в момент, когда ему помешали.

• Поле date_http_start_id указывает на измерение даты и отображает, когда впервые была замечена ПУКД. В девяти случаях из десяти для этого необходимо отправить запрос обратно через прокси-журналы HTTP, после того как система смягчения последствий и/или система борьбы с вредоносным ПО узнает об угрозе. Процесс можно легко автоматизировать, но, как уже говорилось ранее, журналы, скорее всего, будут находиться в системе больших данных.

• Поле date_https_end_id аналогично предыдущему, но для случая, когда ПУКД была предотвращена.

• Поле asset_id указывает на рассматриваемый актив.

• Поле vuln_id заполняется, если есть корреляция с известной уязвимостью. Если это – единственный заполненный идентификатор, помимо даты и актива, значит, за предотвращение ПУКД был ответствен патч, ранее исправивший определенную уязвимость.

Моделирование процессов работы с людьми

Размерные модели идеально подходят метрикам безопасности, потому что они разработаны для измерения процессов, а безопасность – это, определенно, процесс. Очевидно, что в случае с ПУКД процесс является техническим. А если требуется измерить процессы, в большей степени связанные с людьми? Что если у процесса есть несколько логических элементов и/или этапов? Это тоже легко размерно смоделировать. Такой тип модели называется «накопительный снимок», и накапливается в нем время выполнения каждой фазы процесса.

С точки зрения безопасности подобная модель имеет ключевое значение для численного измерения процесса разработки до и после выпуска продукта (релиза) и деятельности по исправлению недочетов или их в комплексе. Например, если вы внедрили методику жизненного цикла безопасной разработки Security Development Lifecycle (а мы надеемся, что так и есть), то, скорее всего, захотите измерить ее основные макрофазы: безопасность по замыслу, безопасность по умолчанию (разработка) и безопасность в применении. И неважно, используете ли вы методологию водопада, Agile или смешанный подход. Можно инструментировать все процессы. Подобные инструменты и измерения являются ключевыми при работе в контексте практики непрерывной интеграции и непрерывной доставки (continuous integration and continuous development, CICD). CICD ежедневно поддерживает постоянный поток развертывания программных продуктов. Новые разработки и исправления происходят непрерывно. Это одна из многих функций, которые можно и даже нужно бесконечно размерно моделировать, измерять и оптимизировать.

На рис. 11.7 представлен высокоуровневый логический накопительный снимок для устранения проблем безопасности. Он может представлять собой одну большую витрину данных по различным рискам или быть связанным с определенным типом риска.

Рис. 11.7. Факты рабочего процесса по исправлению

Например, одна витрина может моделировать устранение уязвимости системы, а другая – процесс исправления веб-приложений и т. д. Измерение риска здесь выступает просто обобщением для всех типов уязвимостей, и взять можно любой тип. «Актив» – тоже обобщение, это может быть приложение или даже операционная система. Измерение исправлений предполагает наличие в организации некой тикет-системы, которая будет содержать список незавершенных задач, включая данные о различных людях, участвующих в исправлениях. Время в данном случае представляет наибольшую сложность. Видно, что есть четыре измеряемых элемента и один общий. С временным измерением связано более 20 различных дат. В каждой из пяти групп есть итоговое поле, например Days_Existing или Analysis_Days_Reviewing. Эти поля увеличиваются, пока не будет заполнено итоговое поле даты для каждой области. Накопитель позволяет значительно повысить скорость обработки запросов и дополнительных агрегированных величин при анализе процессов исправлений.

Эту модель можно взять в качестве простого шаблона для дальнейшего моделирования связанных с безопасностью процессов, состоящих из нескольких этапов. Используемые в ней измерения также подходят и для моделирования технических решений. Таким образом, мы не нарушаем требований простоты, гибкости и повторного использования.

В этой главе дан очень краткий обзор мощного логического инструмента для работы с метриками операционной безопасности: размерного моделирования. Такой уровень метрик эффективности редко практикуется в сфере безопасности, и это, повторимся, вопиющее безобразие. По нашему мнению, анализ эффективности вложений не менее важен, чем применение прогностической аналитики при принятии решения об инвестициях. Мы бы даже сказали, что, не прибегая к подобным измерениям операций, вы играете на руку и своим врагам, и недобросовестным поставщикам средств контроля безопасности. С появлением больших данных и упрощением доступа к данным высокоразмерные метрики безопасности должны стать основным подходом к измерениям и оптимизации.

В данной главе предпринята попытка объяснить в очень общих чертах столь необходимый подход к метрикам кибербезопасности. Надеемся, нам удалось вас заинтересовать.

Заключительная глава посвящена человеческой стороне «управления рисками кибербезопасности» в организации. Мы опишем различные роли и обязанности, а также расскажем о перспективах эффективного управления программами.

Глава 12. Призыв к действию

Как внедрить управление рисками кибербезопасности

В этой книге есть три общие темы:

1) что такое измерения;

2) как применять измерения;

3) как улучшить измерения.

От своих предшественниц, книг «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» и The Failure of Risk Management, она отличается тем, что ориентирована на конкретную область. Более того, книга создавалась как дорожная карта для построения системы управления рисками кибербезопасности и стратегических технологических методов управления рисками для руководителей высшего звена. По нашему мнению, на данный момент кибербезопасность как операционную функцию необходимо переопределить на основе количественных показателей управления рисками. Данная книга пропагандирует количественные методы и предлагает дополнительные аргументы в их пользу. Если вам кажется, что управление рисками кибербезопасности (УРК) должно представлять собой программу, а не набор количественных приемов, то эта глава как раз для вас. Здесь мы рассмотрим, как может выглядеть такая программа и как она может работать вместе с другими функциями, связанными с технологическими рисками.

Составление стратегической хартии управления рисками кибербезопасности

Данный раздел отвечает на вопрос «Какова должна быть стратегическая корпоративная роль управления УРК?». То, что понимается нами под функцией УРК, должно стать первым аспектом для рассмотрения крупных инвестиций на уровне высшего руководства или совета директоров. Решения по-прежнему принимают руководители, но они пользуются количественными методами для сложения, умножения и деления долларов и вероятностей. Порядковые шкалы и другие фальшивые методы оценки риска неприемлемы.

Функция УРК является функцией уровня руководства высшего звена. Выполнение этой функции может возлагаться на руководителя отдела информационной безопасности, но мы бы отнесли ее выше по субординации – к его начальнику, в свою очередь подчиняющемуся непосредственно генеральному директору или совету директоров. Если руководитель отдела информационной безопасности обладает подобными полномочиями, тогда это, конечно, тоже может сработать, но для этого ему придется сменить круг обязанностей. «Информация и безопасность» завязаны на «риск», который рассматривается исключительно как вероятность и воздействие в понимании актуария. Что касается обязанностей или изменения должности, нам встречались такие варианты, как «главный специалист по управлению технологическими рисками» и «главный специалист по рискам». К сожалению, последний, как правило, выполняет чисто финансовые и/или юридические функции. Как бы ни называлась должность, она не должна находиться в подчинении у директора по IT / технического директора, в противном случае это все равно, что назначить лису следить за курятником. Функция УРК отвечает интересам генерального директора и совета директоров и нужна для защиты бизнеса от неудачных инвестиций в технологии.

Хартия в целом такова.

• Деятельность по УРК подотчетна генеральному директору и/или совету директоров. Должность руководителя может называться «главный специалист по управлению технологическими рисками», «главный специалист по рискам» или, возможно, «руководитель отдела информационной безопасности», при условии что его обязанности будут качественно переопределены.

• Функция УРК должна рассматривать все крупные инициативы с учетом технологических рисков, в том числе корпоративные поглощения, крупные инвестиции в новые технологии для предприятия, венчурные инвестиции и т. п. «Рассматривать» здесь означает количественно оценивать и прогнозировать потери, прибыли и стратегические меры по смягчению последствий, а также связанные с этим оптимизации.

• В обязанности УРК также входит мониторинг и анализ существующих вложений в средства контроля безопасности. Задача состоит в оптимизации вложений в технологии с учетом вероятных будущих убытков. Размерное моделирование и связанные с ним техники, описанные в главе 11, являются при этом ключевыми. С операционной точки зрения целью данной функции является ответ на вопрос «Эффективно ли взаимодействуют между собой наши вложения в борьбе с ключевыми рисками?».

• В УРК применяются проверенные количественные методы для понимания и передачи информации о риске в денежном выражении. Кривые вероятности превышения потерь должны стать средством для обсуждения и визуализации рисков, а также связанных с ними инвестиций в смягчение последствий с учетом рискоустойчивости. Сюда входят риски, связанные с одним приложением, и/или их совокупность из одного или нескольких портфелей риска.

• Специалист по УРК отвечает за поддержание рискоустойчивости компании совместно с финансовым директором, главным юрисконсультом и советом директоров. В частности, КПЭ, используемым для управления рисками, должно быть «превышение допустимого риска».

• Функция УРК отвечает за руководство технологическими программами управления исключениями, нарушающими допустимый уровень риска, и их мониторинг.

• Функция УРК обеспечивает политику киберстрахования совместно с юридической и финансовой функциями, в том числе УРК определяет базовые параметры, на основе которых строятся модели страхования.

Роли и обязанности УРК в организации

На рис. 12.1 показан пример организационной структуры УРК. Такая структура больше подходит для крупной компании (вроде тех, что входят в список Fortune 1000) с оборотом в сотни миллионов, а то и в миллиарды долларов, которые могут оказаться под угрозой. Отсюда следует, что инвестиции в технологии являются ключевой стратегической инициативой, которую довольно просто претворить в жизнь в наши дни. А также что риски кибербезопасности находятся в пятерке, если не в тройке самых серьезных рисков, рассматриваемых на уровне совета директоров или генерального директора.

Количественный анализ рисков

Команда специалистов по количественному анализу рисков состоит из квалифицированных аналитиков, умеющих находить подход к людям. Их можно сравнить с консультантами или советниками, но отличие заключается в том, что они обладают навыками количественного анализа. По сути, это специалисты по теории принятия решений, умеющие и программировать, и конструктивно общаться с профильными экспертами и руководителями. Должность является высокооплачиваемой и, как правило, требует наличия у кандидата дипломной работы по статистике и/или степени магистра делового администрирования в области количественного анализа. И хотя соответствующее образование приветствуется, ключевыми факторами все же являются хорошие навыки количественного анализа и деловая хватка. Специалистам в области статистики и количественного анализа придется работать бок о бок с экспертами по безопасности и руководителями. По мере того как позиции кибербезопасности – дисциплины, требующей измерений (как и большинство наук), – будут укрепляться, эта роль и набор навыков будут встречаться все чаще.

Рис. 12.1. Функция управления рисками кибербезопасности

Важно подобрать правильное соотношение проведения количественного анализа и задач по оценке риска. С практической точки зрения в каждый конкретный момент времени для запуска и сопровождения доступно ограниченное количество моделей. Соотношение 10:1 новых моделей на одного аналитика кажется целесообразным. Но это зависит от сложности моделей. Кроме того, завершенные модели нуждаются в постоянном отслеживании текущих рисков относительно уровня рискоустойчивости. Здесь, безусловно, большим подспорьем оказываются корпоративные технологии, однако даже с продвинутой предписывающей аналитикой необходимость консультирования по поводу превышения допустимого уровня риска все равно никуда не исчезает. То есть если потребуется оптимизировать определенный портфель рисков, возможно путем приобретения новых технологий и/или вывода из эксплуатации неудачных инвестиций, то надо учитывать, что весь этот процесс занимает время. Ведь количественный анализ рисков будет задействован и во всех текущих обсуждениях по определению рисков, и в разработке моделей с использованием статистики и статистических инструментов (R, Python и т. д.), и в координации работы с технологами компании с целью проектирования и создания систем мониторинга рисков в режиме реального времени.

Обучение и развитие

При помощи команды специалистов по количественному анализу рисков можно, конечно, собрать обучающие материалы по количественной оценке и даже проводить тренинги, но все же основная задача здесь – внедрить количественный подход на различных уровнях организации. Это похоже на построение общей структуры безопасности в инженерных и IT-командах (мы предполагаем, что вы уже этим занимаетесь).

Ваши возможности по расширению штата специалистов по количественному анализу рисков весьма ограничены – их мало, они дорого обходятся, и их трудно удержать, ведь такие специалисты очень востребованы. Поэтому, если вы собираетесь бороться со злоумышленниками, необходимо активно развивать соответствующие инструменты и навыки в целом. И для выполнения этой функции понадобится команда по разработке и предоставлению контента, а также кто-то, кто ее возглавит. При этом использование технологий для достижения результата становится ключевым моментом в крупных, распределенных организациях.

Технология анализа

Самая дорогостоящая и затратная в операционном плане функция. Она предполагает использование больших данных, потоковой аналитики и облачных решений для поддержки множества результатов аналитической деятельности. Команде аналитиков предстоит управлять перемещением больших массивов данных и соответствующим развертыванием телеметрии в системах. Если вы надеетесь внедрить хотя бы часть практик из главы 11, пользуясь методологией Agile, именно данная группа должна этим заниматься. В ее составе должны быть системные инженеры, администраторы баз больших данных, программисты и т. д. Это оптимизированное IT-подразделение, ориентированное на аналитические результаты.

Управление программами

Деятельность, затрагивающая множество функций в нескольких подразделениях, является программой. Функция УРК, как правило, как раз реализуется в различных подразделениях. Команда количественного анализа рисков занимается технической стороной, но всё вместе, от вовлечения через обучение и развитие до технологий, связывает функция управления программой. Не стоит перегибать палку в этом вопросе, но и не экономьте на управлении программой, иначе вас ждет провал.

Можно было бы еще подробнее обсудить каждую роль и функцию, расписав различные матрицы, должностные инструкции, диаграммы Ганта и т. п. Но в этом нет необходимости. Все описанные в книге практики знакомят с основным содержанием более крупной функции управления рисками кибербезопасности. Роли и обязанности достаточно адаптивны. Вы можете для начала потренироваться с минимальными затратами на одном или двух проектах с помощью одних лишь предоставленных электронных таблиц. Однако, если вы всерьез намерены противостоять злоумышленникам с помощью аналитики, вам нужен план. Прежде всего определите, на каком этапе модели зрелости, описанной в начале третьей части, вы находитесь. Затем наметьте курс развития навыков и систем, которые позволят создать возможности для предписывающей аналитики. Наличие плана устраняет ключевое препятствие на пути к успеху. Как сказал Бенджамин Франклин: «Те, кто не готовится, готовятся к неудаче!»

Существует множество потенциальных преград вроде неудачного планирования, мешающих добиться успеха, но есть одна институциональная преграда, способная затруднить количественный анализ: аудиты соответствия. В теории аудиторские проверки должны помочь убедиться, что действия происходят в нужное время и нужным образом. В этом смысле аудиты – отличная вещь. Но они становятся проблемой, когда функции управления рисками фокусируются на удовлетворении аудита вместо управления реальными рисками. Именно поэтому, вероятно, генеральный директор компании Target был шокирован, когда у них произошла утечка данных. Согласно его официальному заявлению, компания соответствовала стандарту индустрии платежных карт. Другими словами, настрой на соответствие преобладает над настроем на управление рисками, и это смертельная ошибка перед лицом наших врагов.

А если бы существовала функция аудита, оценивающая (действительно измеряющая) эффективность подходов к управлению рисками? То есть могла бы она определить фактическое влияние на снижение риска мягких методов в сравнении с количественными методами? А если проверить алгоритмы балльной оценки? Конечно же, тогда нужно будет протестировать и передовые методы, такие как симуляции по методу Монте-Карло, бета-распределение и т. п. Прекрасно! Опять же мы считаем одной из причин неудач непроверенные мягкие методы.

Однако есть риск, что это приведет к противоположному результату. Например, что, если методы, основанные на измерении неопределенности, подвергались бы аудиту потому, что считаются новыми, а методы, где используются матрицы рисков, порядковые шкалы и системы балльных оценок, уже по обратной причине оставались без проверки? Это могло бы помешать внедрению количественных методов. К сожалению, как вы узнаете далее, так и произошло по крайней мере в одной отрасли. Мы приводим эту ситуацию как пример аудита соответствия, который вышел из-под контроля и мог бы оказать сильное негативное влияние на управление рисками кибербезопасности.

Аудит аудита

Аудит играет ключевую роль в обеспечении качества моделей риска, особенно в таких жестко регулируемых областях, как банковское дело и страхование. При разработке новых количественных моделей, оказывающих влияние на финансовые операции, аудит является необходимой контрольной точкой, позволяющей убедиться, что модели не приведут к непредвиденным последствиям, скажем, из-за простых ошибок, вкравшихся в сложные формулы. Подобный тщательный анализ должен применяться к любой модели, предложенной для финансовых операций и, конечно, для решений, касающихся подверженности организации таким рискам, как неопределенность рынка и кибератаки.

Аудиторы могут воодушевиться, увидев модель, содержащую сложные математические вычисления. Каждый аудитор в какой-то момент своей карьеры проходит через подобное. Здорово ведь наконец-то получить возможность применить на практике что-то, на изучение чего когда-то было потрачено так много времени и сил. Поэтому они с рвением, как им и следует, примутся за модели, содержащие некоторые статистические данные и, возможно, симуляции по методу Монте-Карло. Если заявляется, что метод основан на каких-то научных исследованиях, о которых аудиторы не слышали, они должны потребовать ссылки на исследования. Если модель довольно сложная, вероятно, следует провести аудит дважды, пригласив двух разных специалистов. И если в процессе проверки в модели обнаружится ошибка, то те, кто эту модель разработал, если их интересует в первую очередь качество, должны с радостью ее исправить.

Однако даже добросовестные и квалифицированные аудиторы, сами того не желая, мешают внедрению более совершенных моделей при принятии решений. В некоторых случаях более сложная модель приходит на смену очень мягкой, ненаучной модели. Фактически так было со всеми моделями, разработанными и представленными авторами этой книги. Наши разработки пришли на смену моделям, основанным на методах, против которых здесь уже приводились аргументы: выполнении арифметических действий с порядковыми шкалами, использовании определений типа «средний» в качестве оценки риска, тепловых картах и т. д. Тем не менее все эти мягкие методы не подвергаются такой же тщательной проверке со стороны аудиторов. Если в сфере кибербезопасности появляется метод, в котором нужно лишь субъективно оценить вероятность и воздействие, а затем выразить их с помощью субъективных оценок с использованием неоднозначных шкал, аудиторы не требуют ссылки на исследования, показывающие измеренную эффективность некалиброванных субъективных оценок, обосновывающие метод математически или указывающие на проблемы при использовании вербальных шкал для обозначения риска.

Что же происходит, когда проверяются только методы, содержащие более сложные расчеты? Тех, кто использует простую систему подсчета баллов, которую они сами только что придумали, не будут проверять так же тщательно, как сторонников передовых методов, только благодаря тому, что их метод простой. Это лишает стимула совершенствовать работу с помощью применения количественных и научно обоснованных методов управления рисками и принятия решений.

Чтобы аудит не превратился (наверняка непреднамеренно) в такую дестимулирующую меру в сфере совершенствования процесса принятия управленческих решений, необходимо начать проводить аудит мягких методов так же тщательно, как он проводится в отношении методов, позволяющих аудиторам вспомнить свои знания статистики.

Аудит: как не убить лучшие методы

• Аудит проводится для ВСЕХ моделей. Все решения принимаются на основе модели, будь то интуиция руководителя, субъективная система баллов, детерминированный анализ экономической эффективности, стохастические модели или подбрасывание монетки. Аудитору не стоит проверять только то, что сама организация называет моделями. Если какие-то решения принимаются интуитивно, то надо изучить также обширные исследования ошибок интуиции и чрезмерной уверенности и затребовать доказательства того, что такие проблемы никак не касаются рассматриваемой ситуации.

• Модель не должна проверяться строго в своих рамках. Например, если применяется детерминированная модель экономической эффективности в виде электронной таблицы для оценки средств контроля кибербезопасности, недостаточно просто проверить правильность основных финансовых расчетов или спросить, откуда взялись исходные данные. Лучше аудитору начать с вопроса: можно ли вообще применять подобный подход моделирования в этом случае, почему детерминированные методы используются для принятия решений, которые явно опираются на неопределенные исходные данные?

• Тот факт, что вывод модели неоднозначен, не указывает на невозможность измерить ее эффективность. Если модель говорит, что риск «средний», следует задаться вопросом: действительно ли события средней степени риска происходят чаще, чем события низкой степени, и реже, чем события высокой степени риска? Количественные модели часто привлекают внимание, так как их выводы однозначны и могут отслеживаться для сравнения с фактическими результатами. Именно поэтому аудиторы предпочитают изучать статистические, а не мягкие модели. И это на самом деле говорит в пользу первых.

• Аудитору следует попросить предоставить исследования, подтверждающие относительную эффективность данного метода по сравнению с альтернативными вариантами. Если метод предполагает создание цветной тепловой карты, можно обратиться к работам Тони Кокса. Если опирается на вербальные шкалы – к работам Дэвида Будеску и Ричарда Хойера. И если утверждается, что предложенный более мягкий метод каким-то образом позволяет избежать выявленных этими исследователями проблем, то должны быть предоставлены соответствующие доказательства.

• Даже утверждения о том, какие уровни сложности допустимы в организации, не должны приниматься за чистую монету. Если более простой метод балльной оценки предлагается из соображения, что руководство не поймет более сложные методы, то стоит потребовать исследований, подтверждающих данное утверждение (совокупный опыт авторов свидетельствует об обратном).

Одно из обоснованных опасений заключается в том, что аудитору, возможно, придется выполнять очень большой объем работы. Мы, конечно, понимаем, что у них много важных дел и часто не хватает персонала, но все же в ходе аудита можно по крайней мере проверять какие-то ключевые методы, особенно когда они содержат псевдовычисления. Если хотя бы часть мягких моделей начнет подвергаться аудиту в той же степени, что и модели, содержащие математические вычисления, у организаций исчезнет стимул придерживаться научно не обоснованных методов только для того, чтобы избежать аудиторских проверок.

Что должна сделать экосистема кибербезопасности для вашей поддержки

Ранее в этой книге были подробно рассмотрены популярные методы анализа рисков и установлена их несостоятельность. Они не добавляют ценности и, по сути, привносят ошибки. Кто-то скажет, что такие методы помогают хотя бы «начать разговор» об управлении рисками, но поскольку это же можно сделать с помощью многих методов, почему бы сразу не выбрать те, что показывают измеримое улучшение оценок? Кроме того, нельзя продолжать заявлять, что количественные методы непрактичны, поскольку они применялись нами в реальных условиях, будь то симуляции по методу Монте-Карло, байесовские эмпирические методы или более продвинутые их комбинации, описанные в главах 8 и 9. И, наконец, ничего в сведениях о недавних крупных утечках данных не указывает на то, что существующие широко применяемые методы вообще хоть как-то помогали управлять рисками.

И все же мы не укоряем специалистов по кибербезопасности за неэффективные методы. Они следуют рекомендациям организаций по стандартизации и применяют методы, которым их обучили в рамках признанных требований по сертификации. Им необходимо соблюдать нормативные требования и критерии аудита в своих организациях. И в их распоряжении инструменты, разработанные поставщиками, большинство которых ориентируются на более мягкие методы. Таким образом, если мы хотим, чтобы специалисты начали придерживаться иных подходов, должны произойти следующие изменения в экосистеме кибербезопасности.

1. Организации по стандартизации должны прекратить продвижение в сфере управления рисками кибербезопасности матриц риска как «лучших практик» и начать продвигать обоснованные (научные) подходы, если только не будут получены доказательства их неэффективности. Как было нами продемонстрировано, в отношении мягких методов подобных доказательств предостаточно.

2. В дополнение к первому пункту организации по стандартизации должны принять научно обоснованные методы для выявления лучших практик вместо существующих методов, в основе которых лежат рекомендации или мнения комиссий. Если организации по стандартизации смогут продемонстрировать эмпирические доказательства эффективности своих текущих рекомендуемых методов, которых окажется достаточно для опровержения уже имеющихся эмпирических данных, свидетельствующих против них (что кажется маловероятным), только тогда эти методы можно будет снова продвигать.

3. Можно создать организацию, которая будет отслеживать и измерять эффективность работы самих методов оценки риска. Она может быть сформирована по образцу Национальной базы данных уязвимостей, которую ведет NIST, а может – даже как часть этой базы (в конце концов, плачевное состояние методов оценки риска определенно стоит считать уязвимостью уровня государства). Тогда организации по стандартизации могли бы при выборе опираться на информированный, основанный на фактах анализ альтернативных методов.

4. Программы сертификации, обучающие применению матриц рисков и порядковых шкал, должны перейти на обучение как уже существующим научно обоснованным методам, так и новым методам, появляющимся по мере накопления доказательств (полученных из опубликованных исследований и благодаря осуществлению перечисленных выше действий).

5. Аудиторы должны начать применять стандарты пригодности модели в равной степени ко всем методам, чтобы не создавать препятствий для использования более эффективных методов. Когда и мягкие, и количественные методы станут проверяться одинаково тщательно (вместо того чтобы оценивать только последние и по умолчанию переходить к первым в случае обнаружения каких-либо проблем), то в итоге, мы уверены, будут приняты более эффективные методы.

6. Регулирующие органы должны способствовать изменениям. Понятно, что консервативные регуляторы меняются медленно, но им следует хотя бы начать процесс признания неадекватности методов, которые в настоящее время считаются «соответствующими требованиям», и поощрять более эффективные методы.

7. Поставщики, консультанты и страховые компании должны ухватиться за коммерческие возможности, связанные с методами, описанными в этой книге. Опрос, упомянутый в главе 5, показал высокий уровень принятия количественных методов среди специалистов по кибербезопасности. Растет количество доказательств неэффективности ряда наиболее популярных методов и эффективности строгих научно обоснованных методов. Те, кто первыми станут продвигать методы, способные показать измеримые улучшения, получат преимущество. Страховые компании уже начинают понимать, что научно обоснованные методы – верное решение. Применение таких методов клиентами страховых компаний и качество их применения должны в итоге стать частью процесса страхования.

Удастся ли избежать «Большого взлома»?

«Большой взлом», который упоминался в главе 1, представляет собой масштабную кибератаку, затрагивающую несколько крупных организаций. В том числе следствием может стать сбой в работе основных служб, например оказывающих коммунальные услуги и услуги связи. Это в сочетании со значительным снижением доверия к онлайн-транзакциям и операциям по платежным картам может оказать на экономику гораздо большее влияние, чем затраты отдельной крупной компании – даже крупнейшей из пострадавших на сегодняшний день.

Характер атаки на компанию Target – один из показателей природы риска. Она была атакована таким образом, что раскрыла угрозу, общую для многих предприятий: компании и их поставщики связаны друг с другом, и многие из них соединены в сети со множеством прочих компаний. Так или иначе с ними связаны даже правительственные учреждения. Все организации разделены всего одним или двумя уровнями связи. Если поставщик услуг может обнажить уязвимость компании и если у этого поставщика много клиентов, а у этих клиентов много поставщиков, то получается своего рода общий сетевой риск, который хотя еще и не эксплуатировался, но вполне возможен.

Анализ рисков, связанных с подобной ситуацией, слишком сложен, чтобы его можно было выполнить с помощью существующих популярных методов или в голове любого из ведущих экспертов. Правильный анализ потребует создания реальных количественных моделей для расчета воздействия всех связей. Организации с ограниченными ресурсами (а они, конечно же, ограничены у всех) должны будут применять рациональные научно обоснованные методы, решая, каким образом снижать такие риски. Начав соглашаться с этим, мы сможем повысить шансы на то, что удастся избежать «Большого взлома» или, по крайней мере, восстановиться после него с меньшими затратами.

Приложения

Приложение А. Избранные распределения вероятности

Треугольное распределение

Рис. А.1. Треугольное распределение

Параметры:

• ВП (верхний предел);

• НП (нижний предел);

• мода – это может быть любое значение между ВП и НП.

Обратите внимание, что ВП и НП – это абсолютные внешние пределы 100 %-ного ДИ.

В треугольном распределении ВП и НП представляют собой абсолютные пределы, т. е. сгенерированное значение не может оказаться вне их границ. Помимо ВП и НП, у распределения также есть мода, которая может принимать любое значение между ВП и НП. Данное распределение иногда полезно использовать как замену логнормального распределения, скажем, когда нужно задать абсолютные ограничения для возможных значений, но при этом чтобы результат вычислений был близок к логнормальному. Треугольное распределение удобно в любой ситуации, когда вам известны абсолютные пределы, но наиболее вероятное значение может находиться не посередине, как в нормальном распределении.

• Ситуация применения: когда нужен контроль над тем, где находится наиболее вероятное значение относительно диапазона, и когда диапазон имеет абсолютные пределы.

• Примеры: количество потерянных записей, если вы считаете, что наиболее вероятное число находится вблизи верхнего предела диапазона, но общее количество записей ограничено, а значит, этот предел невозможно превысить.

• Формула Excel: = ЕСЛИ(СЛЧИС()<=Мода;1;0)*((Мода-НП)^2)/((ВП-НП)*(Мода-НП)) +ЕСЛИ(СЛЧИС()>Мода;1;0)*(1-((ВП-Мода)^2)/((ВП-НП)*(ВП-Мода))).

• Среднее значение: = (НП+Мода+ВП)/3.

Бинарное распределение

Рис. А.2. Бинарное распределение

Параметры:

• P (вероятность события).

Обратите внимание, что P находится в диапазоне от 0 до 1. Она показывает, как часто симуляция случайным образом выдает событие.

В отличие от других упомянутых здесь распределений дискретное бинарное распределение (также известное как распределение Бернулли) генерирует только два возможных исхода: успех или неудача. Вероятность успеха равна p, а вероятность неудачи – q = (1 – p). Например, если успех означает, что при броске монеты выпадет орел, то вероятность успеха составляет p = 0,5, а вероятность неудачи – q = (1–0,5) = 0,5.

• Ситуация применения: используется в ситуациях «или/или», т. е. событие или происходит, или нет.

• Пример: возникновение утечки данных за определенный период времени.

• Формула Excel: = ЕСЛИ(СЛЧИС() < P;1;0).

• Среднее значение: = P.

Нормальное распределение

Рис. А.3. Нормальное распределение

Параметры:

• ВП (верхний предел);

• НП (нижний предел).

Обратите внимание, что НП и ВП в приведенной ниже формуле Excel представляют собой 90 %-ный ДИ. Существует вероятность 5 %, что значение окажется выше ВП, и вероятность 5 %, что значение окажется ниже НП.

Нормальное (или гауссово) распределение представляет собой колоколообразную кривую, которая симметрично распределена относительно среднего значения.

1. Это распределение соответствует многим природным явлениям, но в некоторых случаях его применения оно будет недооценивать вероятность экстремальных событий.

2. Эмпирическое правило: почти все точки данных (99,7 %) будут лежать в пределах трех стандартных отклонений от среднего значения.

• Ситуация применения: когда существует равная вероятность наблюдения результата выше или ниже среднего значения.

• Примеры: результаты тестирования, время в пути.

• Формула Excel: = НОРМ.ОБР(СЛЧИС();(ВП+НП)/2;(ВП-НП)/3,29).

• Среднее значение: = ((ВП + НП)/2).

Логнормальное распределение

Рис. А.4. Логнормальное распределение

Параметры:

• ВП (верхний предел);

• НП (нижний предел).

Обратите внимание, что НП и ВП в приведенной ниже формуле Excel представляют собой 90 %-ный ДИ. Существует вероятность 5 %, что значение окажется выше ВП, и вероятность 5 %, что значение окажется ниже НП.

Если выборка может принимать только положительные значения, логнормальное распределение часто оказывается предпочтительнее нормального. Возьмем для примера ожидаемую стоимость акций в будущем. В уравнении S_1 = S_0 × e(r), S_1 – будущая цена акций, S_0 – текущая цена акций, а r – это ожидаемая норма рентабельности. Ожидаемая норма рентабельности соответствует нормальному распределению и вполне может принять отрицательное значение. А вот будущая цена акции ограничена нулем. Взяв экспоненту нормально распределенной ожидаемой нормы прибыли, мы получим логнормальное распределение, при котором отрицательная норма прибыли может оказать негативное влияние на будущую цену акций, но цена акций никогда не опустится ниже нуля. Распределение также допускает возможность экстремальных значений верхнего предела и, следовательно, подходит для некоторых явлений лучше, чем нормальное распределение.

• Ситуация применения: моделирование положительных значений, которые в основном находятся в диапазоне умеренных значений, но потенциально могут в редких случаях показывать экстремальные величины.

• Примеры: убытки, понесенные в результате кибератаки, стоимость проекта.

• Формула Excel: = ЛОГНОРМОБР(СЛЧИС();(ln(ВП) + ln(НП))/2; (ln(ВП)-ln(НП))/3,29).

• Среднее значение: = ((ln(ВП)+ln(НП))/2).

Бета-распределение

Рис. А.5. Бета-распределение

Параметры:

• альфа (1 + количество попаданий);

• бета (1 + количество промахов).

Бета-распределения чрезвычайно разнообразны. Их можно применять для генерации значений между 0 и 1 в случаях, когда одни значения более вероятны, чем другие. А полученные результаты можно использовать в других формулах для создания любого понравившегося диапазона значений. Бета-распределения очень полезны при моделировании частоты возникновения события, особенно когда частота оценивается на основе случайной выборки из совокупности или полученных ранее данных. В отличие от других распределений, здесь не так просто определить параметры, опираясь только на верхний и нижний пределы. Единственным решением является последовательный перебор различных значений альфа (α) и бета (β), до тех пор пока не получится желаемый 90 %-ный ДИ. Если α и β больше 1 и равны друг другу, то распределение будет симметричным. При этом значения вблизи 0,5 наиболее вероятны, а менее вероятные значения находятся дальше от 0,5. Чем больше значения α и β, тем ýже распределение. Если сделать α больше β, распределение окажется перекошенным влево, а если сделать β больше, оно перекосится вправо.

Чтобы проверить параметры α и β, уточните ВП и НП заявленного 90 %-ного ДИ, вычислив пятый и 95-й процентили: БЕТА.ОБР(0,05; альфа; бета) и БЕТА ОБР(0,95; альфа; бета). Проверить, соответствуют ли среднее значение и мода вашим ожиданиям, можно, вычислив: среднее = α / (α + β), мода (наиболее вероятное значение) = (α – 1) / (α + β – 2). Или можно просто воспользоваться электронной таблицей на сайте www.howtomeasureanything.com/cybersecurity, чтобы проверить все перечисленное и получить значения, близкие к тем, что получатся в результате вычислений.

• Ситуация применения: любая ситуация, которую можно охарактеризовать как набор «попаданий» и «промахов». Каждое попадание увеличивает α на 1, каждый промах увеличивает β на 1.

• Примеры: частота события (например, утечки данных), когда частота менее 1 в единицу времени (например, в год), доля сотрудников, соблюдающих меры безопасности.

• Формула Excel: = БЕТА.ОБР(СЛЧИС();альфа; бета).

• Среднее значение: = (альфа / (альфа + бета)).

Степенное распределение

Рис. A.6. Степенное распределение

Параметры:

• альфа (параметр формы);

• тета (параметр местоположения).

Степенное распределение удобно использовать для описания явлений с экстремальными, катастрофическими возможными значениями. Даже удобнее, чем логнормальное. Скажем, в подавляющем большинстве случаев площадь лесных пожаров ограничена менее чем одним гектаром. В редких случаях, однако, лесной пожар может распространиться на десятки гектаров. Толстый хвост степенного распределения позволяет делать выводы об обычных незначительных событиях, но при этом учитывать и возможные экстремальные варианты.

• Ситуация применения: когда нужно убедиться, что катастрофическим событиям, несмотря на то что они редко случаются, будет присвоена ненулевая вероятность.

• Примеры: такие явления, как землетрясения, отключения электроэнергии, эпидемии и другие типы каскадных отказов.

• Формула Excel: = (тета/x)^альфа.

• Среднее значение: = (альфа*тета/(альфа-1)).

Усеченное степенное распределение

Рис. A.7. Усеченное степенное распределение

Параметры:

• альфа (параметр формы);

• тета (параметр местоположения);

• T (усеченный предел).

Усеченное степенное распределение повторяет степенное распределение, но имеет верхний предел, накладываемый пользователем. Тяжелый хвост степенного распределения позволяет нам учитывать редкие катастрофические события, но для величины такого события может существовать теоретический предел. Если не учитывать в модели верхний предел, можно получить вводящий в заблуждение и неоправданно мрачный прогноз.

• Ситуация применения: степенное распределение должно быть усеченным, если известна верхняя граница серьезности события.

• Пример: потерю записей можно отразить с помощью степенного распределения, но вы знаете, что можете потерять лишь конечное количество записей.

• Формула Excel: = (альфа*тета^альфа/(x^(альфа+1)))/(1-(тета/T)^альфа).

• Среднее значение: = (альфа*тета/(альфа-1)).

Приложение Б. Приглашенные авторы

Вы не одиноки! Количество людей, применяющих статистику для решения задач, связанных с обеспечением безопасности, растет. Все больше специалистов используют данные, которые можно было бы назвать скудными, и делают на их основе выводы о крупных рисках. Это не означает, что не стоит обращаться к большим данным и науке о данных, просто все более важным для обоснования стратегии и даже определения приоритетов в принятии тактических решений становится умение делать практические выводы на основе ограниченных эмпирических данных, суждений и симуляций. Поэтому мы включили в книгу несколько кратких статей по данной теме, написанных различными исследователями, как практиками, так и теоретиками. Следите также за новостями на сайте www.howtomeasureanything.com/cybersecurity, в наших планах размещение там еще большего количества подобных исследований.

Объединение источников данных для получения информации в киберсфере

Джим Липкис

Вице-президент и генеральный директор компании VivoSecurity Inc.

Чак Чан

Главный исследователь компании VivoSecurity Inc.

Томас Ли

Доктор философии, основатель и генеральный директор компании VivoSecurity Inc.

Актуарная наука является источником метрик и знаний, бесценных для управления кибербезопасностью в контексте бизнеса. Значимые данные за предшествующие периоды могут быть получены из широкого круга отраслевых и правительственных источников, а объединение данных из разных источников может привести к неожиданным, действенным результатам. Актуарный подход используется для прогнозирования киберрисков в долларовом выражении и генерирования профилей, показывающих концентрацию рисков для бизнеса в различных аспектах IT-инфраструктуры предприятия.

Киберриск включает в себя три основных фактора: стоимость активов, подверженных риску (в частности, данных), ожидаемое возникновение различных типов киберинцидентов и ожидаемые финансовые последствия каждого типа инцидентов относительно конкретных активов данных. Все три показателя можно оценить, наблюдая за долгосрочными тенденциями в данных за прошлые периоды, составляя статистические прогнозы на основе тенденций, а также применяя эти прогнозы в соответствии с эмпирически полученными характеристиками и показателями риска конкретной организации. В данной статье приводятся три примера: два, относящихся к частоте нарушений, и один, касающийся финансового воздействия.

Объединение источников данных часто необходимо с целью нормализации, т. е. нахождения знаменателя для преобразования абсолютного числа в коэффициент. Однако, применив творческий подход, можно найти много полезных корреляций. Например, ниже описан неожиданный результат, проливающий свет на частоту кибератак, целью которых является шпионаж, а также некоторые эффективные способы снижения этого риска.

Прогнозирование и снижение частоты шпионских атак

Исследования показали, что большой процент атак извне с целью шпионажа происходит через фишинг^1 и установку вредоносного ПО на компьютер подвергнувшегося фишингу пользователя. Одним из методов противодействия таким атакам является повышение осведомленности пользователей с помощью обучающих антифишинговых программ, использующих поддельные фишинговые рассылки^2. Однако программа может оказаться дорогостоящей, а ее применение – неоднозначным с политической точки зрения. Актуарные данные позволили найти неожиданный, но даже более эффективный подход.

Важнейшие сведения в этом случае были получены из опубликованных компанией Microsoft данных^3 о показателях блокировки вредоносного ПО на различных операционных системах. Вряд ли кого-то удивит, что, согласно данным, более новые версии Windows значительно лучше защищены от атак вредоносных программ, а MacOS и Linux безопаснее, чем Windows. А вот что является, пожалуй, неожиданным, так это то, в какой степени версия ОС может повлиять на частоту успешных атак.

Рис. Б.1. Вероятность возникновения случаев шпионажа при смоделированных изменениях в обучении и операционных системах

На рис. Б.1 представлен анализ высокотехнологичной компании, работающей в отрасли с сильной конкуренцией, где шпионаж является вполне реальным бизнес-риском. По нашим оценкам, вероятность (ожидаемая частота) шпионских атак составляет около 12 %, что отражает крайний левый столбец на диаграмме (другими словами, следует ожидать, что из восьми одинаковых компаний одна будет ежегодно терпеть убытки из-за успешных шпионских атак). На оценку влияют отрасль, количество сотрудников и IT-инфраструктура. Расчет основан на ряде тенденций и корреляций, наблюдавшихся в течение нескольких лет подряд в данных, полученных из отчетов Verizon DBIR^4, Бюро переписи населения США и других источников.

Обучение противостоянию фишингу снижает ожидаемую частоту атак с 12 до 2 %, как видно по следующему столбцу диаграммы. Двигаясь дальше вправо, обнаруживаем еще более эффективную контрмеру: модернизация ОС всех компьютеров компании с Windows 7 на Windows 8 снижает вероятность шпионажа примерно до 1 % даже без обучения (на момент написания статьи еще не были доступны данные по Windows 10). А благодаря сочетанию модернизации ОС с проведением обучения или использованию MacOS вместо Windows вероятность становится намного ниже 1 %.

Обновление ОС также стоит денег, и, возможно, имеет смысл обновлять только компьютеры, используемые системными администраторами или другими сотрудниками с более широким доступом к конфиденциальным данным. Наглядное представление вероятности инцидента позволяет руководству принимать решения на основе данных, взвешивая затраты и риски.

Действительно ли число взломов резко увеличилось?

Существует распространенное мнение, что число взломов в сфере здравоохранения стремительно растет. Действительно, только в США утечки данных в сумме составили более 30 млн записей о пациентах с момента введения обязательной отчетности о нарушениях в 2009 году. И все же паникерские заявления о резком росте числа нарушений не подтверждаются данными. За последние пять лет количество случаев взломов было довольно стабильным, если смотреть в актуарном контексте, и их количество можно обоснованно спрогнозировать на будущее.

Наши исследования показывают сильную корреляцию между числом утечек и количеством сотрудников, работающих в организации, например в медицинском учреждении (то же самое справедливо и для других отраслей). Мы взяли сведения из базы данных министерства здравоохранения об утечках личных медицинских данных, публикующихся согласно закону о медицинских информационных технологиях для экономической деятельности и клинической практики от 2009 года (HITECH Act)[10], и рассортировали частоту взломов в каждом году по штатам. Сопоставление данных о занятости в здравоохранении по штатам на рис. Б.2 выявляет линейную зависимость.

Рис. Б.2. Среднее ежегодное количество утечек данных по штатам

Можно ли использовать наклонную линию на рис. Б.2 (среднее число утечек на каждого сотрудника) для надежного прогнозирования ожидаемой частоты инцидентов в организации в будущем?

Чтобы ответить на этот вопрос, приведем изменения с течением времени на рис. Б.3. Количество нарушений на одного сотрудника резко возросло сразу после введения обязательной отчетности в 2009 году, но с тех пор остается довольно стабильным. Только в одном году (2013) оно увеличилось, и то на довольно скромные 31 %. Такая стабильность, возможно, связана с тем, что наиболее распространенная причина нарушений – случайность, а не внешние атаки. Прогнозируемую частоту происшествий можно совместить с измерениями стоимости активов данных, подверженных риску, и получить для организации надежную количественную картину риска, указанного в долларах.

Рис. Б.3. Число утечек данных по годам в зависимости от количества сотрудников

Финансовые последствия взломов

Теперь перейдем от ожидаемой частоты к финансовым последствиям взломов. Расходы, возникающие вследствие нарушения безопасности, обусловлены стоимостью взломанных активов, которая может включать в себя несколько компонентов затрат: уведомления и устранение последствий; сетевую криминалистику, юридические обязательства, а также ущерб репутации и долгосрочные последствия для бизнеса. Исследования стоимости нарушений безопасности можно найти в различных источниках, например в материалах, публикуемых Ponemon Institute^5. Однако нами было выявлено, что в актуарном прогнозировании подобные данные следует применять с осторожностью.

Оценка стоимости активов данных, подверженных риску, выходит за рамки этой статьи, но обозначить ряд проблем можно и на простом примере. Рассмотрим базу, в которой хранятся данные (скажем, клиентов, сотрудников или пациентов), содержащие конфиденциальную информацию: личную, финансовую или медицинскую. Вариант просто посчитать записи и указать стоимость нарушения в расчете на одну запись кажется заманчивым, но тогда подразумевалось бы, что стоимость одной записи постоянна, а это не так.

На рис. Б.4 представлена стоимость одной записи в зависимости от величины взлома в двойном логарифмическом масштабе. Можно заметить, что стоимость нарушения одной записи уменьшается логарифмически по мере увеличения количества записей, подвергнувшихся взлому. И это неудивительно, так как относительно некоторых элементов затрат проявляется эффект масштаба. Ключевым моментом здесь является использование данных из отчетов компаний, в частности, по форме 10-K, подготавливаемых для Комиссии по ценным бумагам и биржам США (SEC), которые часто содержат подробную информацию о краткосрочных и долгосрочных затратах на крупные нарушения безопасности^6.

Рис. Б.4. Сравнение данных о взломанных записях, полученных из отчета для SEC и от Ponemon Institute

Подводя итог, можно сделать вывод, что актуарная наука является благодатной почвой для достоверного прогнозирования, которое может вывести кибербезопасность в сфере управления бизнес-рисками на уровень развитости, давно реализуемый в большинстве других областей риска.

Изъян средних значений в кибербезопасности

Сэм Сэвидж

Доктор философии, основатель сайта ProbabilityManagement.org, автор книги The Flaw of Averages: Why We Underestimate Risk in the Face of Uncertainty и профессор-консультант Стэнфордского университета © Copyright 2015, Сэм Л. Сэвидж

Изъян средних значений – это набор систематических ошибок, возникающих, когда неопределенные предположения заменяются отдельными «средними» числами. Наиболее серьезная ошибка, известная математикам как неравенство Йенсена, гласит, что «планы, основанные на средних предположениях, в среднем ошибочны». Суть кибербезопасности заключается в эффективном смягчении неопределенных неблагоприятных последствий. Я опишу два варианта изъяна средних значений в работе с неопределенностью гипотетической угрозы ботнета, а также покажу, как зарождающаяся дисциплина управления вероятностями может однозначно сообщать и рассчитывать такие неопределенности.

Ботнеты

Ботнет – кибератака, осуществляемая вредоносным ПО, которое проникает во множество компьютеров, после чего командный сервер может управлять ими для создания сети, осуществляющей незаконную деятельность. Рано или поздно этот сервер будет идентифицирован как угроза, и дальнейшее взаимодействие с ним будет заблокировано. Как только опасный сайт будет обнаружен, по истории коммуникаций зараженных компьютеров можно будет точно определить, когда состоялся первый контакт с сервером злоумышленников, и получить ценные статистические данные.

Предположим, были вложены средства в два уровня сетевой защиты. Существует вероятность 60 %, что вирус ботнета обнаружит первый уровень и период до момента обнаружения составит в среднем 20 дней с распределением, показанным слева на рис. Б.5. Обратите внимание, что среднее значение можно представить как точку равновесия графика, обозначенную треугольником. В остальных 40 % случаев вирус обнаруживается только вторым уровнем системы безопасности, при этом среднее время обнаружения составляет 60 дней с распределением, показанным справа на рис. Б.5.

Рис. Б.5. Распределение времени обнаружения для каждого из двух уровней системы безопасности

Окно уязвимости для одного вируса ботнета

Среднее общее время обнаружения вируса ботнета можно рассчитать как средневзвешенное: 60 % × 20 дней + 40 % × 60 дней = 36 дней. Таким образом, в среднем мы уязвимы для одного вируса в течение 36 дней. Дисциплина «управление вероятностями»7 дает более полное представление, четко отображая все распределение как набор прошлых или смоделированных соединений, называемых стохастическими информационными пакетами (СИП)[11]. На рис. Б.6 показаны СИПы (в данном примере – 10 000 смоделированных результатов) для обоих распределений с рис. Б.5. Выполнить вычисления с СИП (модель SIPmath) можно во многих программных средах, в том числе в обычной электронной таблице.

Рис. Б.6. СИПы 10 000 тестов для определения времени обнаружения вируса на уровнях 1 и 2

С недавних пор редактор Microsoft Excel тоже стал достаточно мощным и способен обрабатывать СИПы тысяч испытаний с помощью инструмента «Таблица данных»8. На рис. Б.7 приведена модель SIPmath. Она объединяет два распределения с рис. Б.5, создавая распределение, которое показывает общее время до обнаружения на обоих уровнях безопасности.

Рис. Б.7. Модель SIPmath в Excel для расчета распределения общего времени до обнаружения

В данной модели в качестве входных данных берутся два СИПа с рис. Б.6, а затем выполняется 10 000 вычислений ячейки C6, которая случайным образом в 60 % случаев выбирает данные распределения для первого уровня, а в 40 % случаев – данные распределения для второго уровня. В результате распределение наглядно демонстрирует оба режима обнаружения. Для выполнения нового моделирования 10 000 испытаний достаточно нажать кнопку «рассчитать» (F9 в Windows, * = в Mac). Здесь стоит обратить внимание на два момента. Во-первых, смоделированное среднее значение очень близко к теоретическому, однако 36 при этом является маловероятным исходом распределения. А во-вторых, раз распределение асимметрично, значит, шанс, что уязвимость просуществует менее, чем в среднем 36 дней, составляет не 50, а 63 %. Можно поэкспериментировать с вероятностью обнаружения на первом уровне в ячейке D3 и количеством дней в ячейке B11, чтобы увидеть, как будут меняться распределения, среднее значение и вероятность.

Формула для расчета среднего времени обнаружения для обоих уровней технически была верна в том смысле, что дала результат 36 дней, но она не сообщала никаких полезных сведений о распределении. Это то, что я называю незначительным изъяном средних значений. Значительный изъян намного хуже, так как вы даже не получите правильное среднее значение. Модель на рис. Б.7 создала собственный СИП, который теперь можно использовать для изучения влияния нескольких одновременных ботнет-атак.

Окно уязвимости для множества вирусов ботнета

Предположим, в эксплуатацию введена новая система, которую тут же атаковали несколько вирусов с одинаковым распределением времени обнаружения. Поскольку каждый вирус обнаружат в среднем за 36 дней, можно подумать, что время существования уязвимости снова составляет в среднем 36 дней, как и для одиночного вируса. Однако это не так, ведь система остается уязвимой, до тех пор пока не будут обнаружены все ботнеты.

На рис. Б.8 показаны СИПы времени обнаружения для 10 случаев ботнет-атак, сгенерированные моделью с рис. Б.7. У всех них одинаковые параметры генерации, но мы не учитывали порядок, чтобы сделать их статистически независимыми.

Рис. Б.8. СИПы времени обнаружения для 10 случаев независимых ботнет-атак

Эти СИПы используются в модели, представленной на рис. Б.9. Она рассчитывает в ячейке C14 распределение максимального времени обнаружения всех ботнет-атак. Обратите внимание, что можно настроить количество ботнет-атак от 1 до 10 с помощью счетчика (инструмент Excel «Элементы управления формы») в столбце E. Перед тем как экспериментировать с этой моделью, стоит закрыть модель, показанную на рис. Б.7, так как она содержит формулу СЛЧИС(), которая может замедлить вычисления.

Рис. Б.9. Моделирование нескольких ботнет-атак

По модели видно, что среднее количество дней существования уязвимости увеличивается по мере роста числа одновременных атак, а шанс обнаружения ее менее чем за 36 дней уменьшается. Это пример значительного изъяна средних значений, и для 10 ботнет-атак среднее значение составляет 78 дней существования, а вероятность того, что оно окажется меньше 36 дней, составляет всего 1 %.

Такое моделирование можно легко применить и к различным вариантам вирусов, атакующих не одновременно, а в случайно выбранные моменты. Аналитические выводы о том, в течение какого отрезка времени следует ожидать, что система будет уязвима, крайне важны при принятии решений об инвестициях, связанных со стратегиями смягчения последствий.

Взлом паролей

Антон Мобли

Cпециалист по анализу данных в компании GE Healthcare

В последние годы произошло несколько крупных утечек данных, нанесших огромный финансовый и репутационный ущерб. Исполнители у них были разные, в том числе хактивисты, государства и киберпреступники. Среди целей и типов нарушенных данных можно выделить следующие:

• компании Target и Home Depot – платежная информация;

• компания Anthem/WellPoint – личная медицинская информация;

• Управление кадровой службы США, Booz Allen Hamilton и HBGary – военная и разведывательная информация;

• виртуальные службы знакомств Ashley Madison и Adult FriendFinder – конфиденциальная информация.

Обычно борьбой с вредоносными программами и фишинговыми атаками занимаются специалисты по кибербезопасности, но такие взломы данных представляют собой вторичный риск для предприятий в связи с потерей учетных записей, базы данных которых часто оказываются размещены на хакерских форумах, в сети TOR и торрентах.

Взяв за основу взлом компании Adobe в 2013 году, можно смоделировать подверженность постороннему воздействию как функцию от величины компании и политики паролей. В октябре 2013 года^9 компания Adobe объявила, что хакеры похитили исходный код основных продуктов Adobe, а также данные учетных записей более чем 153 млн пользователей. База данных очень быстро оказалась в открытом доступе. Некоторые пользователи, оказавшиеся в базе, скорее всего, сами придумывали пароли или вообще обходились без них. Эти данные по сей день являются одним из самых крупных источников учетных записей.

База данных содержала адреса электронной почты, зашифрованные пароли и подсказки к паролям открытым текстом, у тех пользователей, которые их добавляли. Важно, что пароли были не хешированными и не хешированными с добавлением случайной «соли», а зашифрованными алгоритмом 3DES. В этом случае потеря ключа дискредитирует надежность всей базы данных, но пока еще ключ не появился в открытом доступе. Когда «соль» в шифровании не используется, одинаковые пароли в зашифрованном виде выглядят одинаково. Подсказки к паролям хранились в открытом виде, следовательно, злоумышленник может объединить одинаковые зашифрованные пароли и получить все возможные подсказки для одного и того же пароля. Нередко в базе данных попадаются такие подсказки, как «работа», «единый вход», «пароль от Outlook» и «пароль от Lotus notes». Это означает, что один пароль используется несколько раз и, сведя зашифрованный пароль к набору применяемых подсказок, можно его легко подобрать. Кроме того, для защиты паролей применялось блочное шифрование, следовательно, злоумышленник мог взломать фрагменты паролей и использовать их для взлома учетных данных других пользователей в базе.

При моделировании подверженности постороннему воздействию организация определяется как подверженная постороннему воздействию, если соблюдены следующие критерии.

1. Пароль, используемый в электронной почте сотрудника, совпадает с паролем, применяемым для защиты выполняемой им критически важной работы.

2. Пароль можно легко восстановить по базе данных Adobe, объединив подсказки к зашифрованным паролям.

Отсюда следует, что вероятность постороннего воздействия для организации с n сотрудников, при условии что сотрудники независимы, а на частоту повторного использования пароля не влияет уязвимость пароля сотрудника, можно смоделировать следующим образом:

P(сотрудники, подвергшиеся воздействию >= 1)

= 1 – P(Любой пароль сотрудника используется повторно И тот же пароль уязвим при объединении подсказок)n

= 1 – (1 – P(пароль используется повторно)P(отдельный пароль уязвим при объединении подсказок))n.

Эксперты по безопасности придерживаются разных мнений относительно частоты повторного использования паролей в учетных записях.

В некоторых исследованиях этот показатель находится в диапазоне от 12 до 20 %10, а в исследовании, проведенном в Принстоне с использованием ограниченных данных, он составляет 49 %11. Опираясь на предыдущие результаты, полученные при подобном анализе, в данной модели взято равномерное распределение в диапазоне от 0,15 до 0,25).

Моделирование вероятности того, насколько отдельный пароль уязвим при объединении подсказок, – задача посложнее. Чтобы ее решить, нужно понимать, как пользователи выбирают пароли. Так как в прошлом много раз происходили утечки паролей, для моделирования пространства выбора пароля можно использовать реально произошедшую утечку с минимальным ограничением паролей. Скажем, случившийся в 2009 году взлом компании RockYou, разрабатывавшей плагины и виджеты для сайтов социальных сетей. При этом произошла утечка 34 млн паролей. Объединенный набор паролей (без информации о пользователях) был взят с сайта https://wiki.skullsecurity.org/Passwords. Параметр для коэффициента наличия подсказок, помогающих взломать пароль, выбран 0,0001. На самом деле данный параметр не известен, поэтому эта оценка очень осторожная. Как правило, достаточно 10–20 подсказок, чтобы пароль можно было легко угадать. Этот параметр также зависит от количества людей, имеющих одинаковые пароли, но для простоты применяется точечная оценка. Задав в качестве условий количество пользователей с одинаковыми паролями и пространство паролей RockYou в виде функции распределения вероятности, указывающей способы выбора пользователями паролей, можно смоделировать подверженность отдельных пользователей внешнему воздействию следующим образом:

V = событие, когда пароль может быть угадан;

X = событие, когда X сотрудников имеют такой же пароль, как и пользователь;

N = взломанная база пользователей Adobe: ~153 млн;

PRY = функция плотности для каждого пароля из похищенных данных компании RockYou;

h = вероятность того, что подсказка пароля достаточно простая, чтобы позволить верно угадать пароль.

Эти результаты зависят от функции распределения вероятности пространства паролей компании RockYou. Если принять во внимание политику паролей, т. е. учитывать условное распределение для компании RockYou, согласующееся с политикой определения паролей, то первоначальный набор паролей, из которых выбирает пользователь, берется из распределения с гораздо более высокой энтропией.

При моделировании различных вариантов политики создания паролей и количества совпадений для эмпирической оценки кумулятивных функций распределения при различных политиках паролей меняют количество совпадений с паролем. Количество уязвимых паролей, т. е. паролей, с которыми связана простая подсказка, зависит от числа людей, использующих одинаковый пароль, и случаев повторного использования пароля. И с его помощью вычисляются оценка вероятности по методу максимального правдоподобия и 95 %-ный ДИ быстроты рассекречивания пароля отдельного сотрудника.

Объединив распределение, показывающее частоту повторного использования пароля, с распределением подверженности отдельного сотрудника внешнему воздействию, можно получить целый диапазон результатов (приведены на рис. Б.10). Сплошные линии показывают оценку вероятности подвергнуться воздействию по методу максимального правдоподобия, а пунктирные линии отмечают нижний и верхний пределы при использовании результатов 95 %-ного ДИ с низкими и высокими значениями распределения частоты повторного использования.

Рис. Б.10. Вероятность взлома в зависимости от размера компании и политики паролей

Модель дает представление о том, какой риск представляют собой взломанные учетные записи для организации в зависимости от аккаунтов сотрудников и политики паролей. Для повышения достоверности модели можно и нужно скорректировать несколько аспектов, в том числе указанные ниже.

1. Частота повторного использования пароля и подсказки определенно зависит от сложности пароля: люди, выбирающие хорошие пароли, не так часто создают для них подсказки. Однако при оценке на это обычно не делают поправку. Кроме того, объединение подсказок делает простые подсказки очень ценными, но и это не учитывается.

2. Принудительное введение политики паролей для базы пользователей, скорее всего, приведет к распределению с меньшей энтропией, чем условное распределение для компании RockYou. Например, если будет применена политика длины/типа символов, полагаю, что увеличится количество паролей, которые будут выглядеть следующим образом: P@ssw0rd123, pr!ncess123 и Trust№ 0ne!.

Киберконтрразведка

Дуглас А. Самуэльсон, доктор философии, президент и главный научный сотрудник компании InfoLogix, Inc.

Одной из наиболее интересных областей кибербезопасности является киберконтрразведка – обнаружение угроз безопасности и особенно внутренних угроз. После разоблачений Сноудена федеральным агентствам было приказано разработать программы по снижению внутренних угроз, но на сегодняшний день лишь несколько агентств приняли какие-то серьезные меры.

Одно из таких агентств, являющееся, пожалуй, лидером в области борьбы с внутренними угрозами, ввело в действие компьютерную систему выявления потенциальных внутренних угроз. Система использует такую информацию, как логины, пропуски, частоту и время доступа к определенным файлам и объектам, а также иные потенциально имеющие значение факты вроде мелких нарушений правил безопасности, наличия у пользователя родственников за рубежом, финансовых трудностей и повторяющихся сценариев поездок за границу. Общая идея во многом похожа на оценку заемщика или анализ мошенничества и злоупотреблений в сфере медицинского обслуживания. Система может определять закономерности действий, которые отличаются от обычных и напоминают поведение уже известных преступников.

Ключевым новшеством является настройка распознавания сходства с нарушителями, пойманными ранее. Используя термин из области интеллектуального анализа данных, можно назвать этот поиск скорее контролируемым, чем бесконтрольным. Компьютерные методы анализа закономерностей очень хороши для выявления необычных моделей поведения, но все еще довольно плохо различают, какие из них важны. Благодаря тесному сотрудничеству со следователями были сделаны полезные выводы о ряде наиболее часто встречающихся «необычных моделей», которые не представляли особого интереса при дальнейшем рассмотрении. Модифицировав систему таким образом, чтобы она больше не учитывала подобные закономерности, удалось добиться выдачи гораздо более конструктивного набора случаев, требующих проведения дальнейшей проверки уже людьми.

Субъектами проверок являются сотрудники, имеющие допуск к работе с секретной информацией и, как следствие, отказавшиеся от многих прав на неприкосновенность частной жизни, что есть у обычных граждан. Тем не менее агентство стремится избежать чрезмерного вмешательства и ускорить восстановление в правах, которое обычно является результатом расследования очевидных аномалий. Основная цель – профилактика, а не наказание.

Применяется множество методов распознавания образов, ассоциаций, а также соответствия эмпирическим правилам. Наиболее продуктивным считается объединение нескольких подходов и тем, включая обратную связь, полученную в ходе последующих расследований специалистами-людьми. В этом случае предполагается выделение совокупностей фрагментов информации, которые сами по себе, скорее всего, безобидны, но могут представлять интерес в сочетании, например: необычное поведение по отношению к коллегам, плюс финансовые проблемы, плюс внезапное увеличение числа зарубежных поездок. С помощью подобных методов можно провести большую работу по кодированию и анализу поведенческих признаков вплоть до уровня биологических маркеров, которые могут стать частью анализа наряду с более традиционными маркерами.

Данное агентство построило наблюдательную станцию, чтобы обеспечить возможность наблюдения и сопоставления многочисленных потоков информации в одном месте и в одно время. Скажем, перемещения и доступ лиц, представляющих явный интерес (в текущих условиях), могут привлечь внимание наблюдателя-человека и подвергнуться более тщательному изучению. Другие агентства проявляют большой интерес к наблюдательной станции и, скорее всего, обзаведутся такой же или станут пользоваться имеющейся вместе.

Новая работа того же агентства касается отображения с помощью виртуальной реальности больших данных, представляющих интересующие модели поведения. Система создает пространство, в котором человек-аналитик может вести расследование. Она опирается на способность людей замечать необычные закономерности, которой машины пока еще не владеют на должном уровне.

Аресты крупных нарушителей безопасности в реальности случаются редко и никогда не обсуждаются открыто до окончания следствия, а иногда и долгое время после его окончания, чтобы не помешать работе обвинения, но и тогда опускаются многие детали выявления нарушителя и проведения расследования. Случаи предотвращения нарушений более желательны и происходят чаще, но их еще реже обсуждают открыто. Раскрытие источников и методов, с помощью которых ведется разработка и использование информации, связанной с безопасностью, считается одним из наиболее серьезных и губительных нарушений безопасности. В любом случае можно говорить о том, что данное агентство получило большую выгоду от применения указанных методов, о чем свидетельствуют два наиболее надежных показателя полезности в контексте любой организации: они продолжают закупать подобные решения, а их сотрудники, в том числе ранее настроенные скептически, стремятся узнать больше о том, как их использовать.

Как можно применить моделирование катастроф к киберриску

Скотт Странски, помощник вице-президента и главный научный сотрудник компании AIR Worldwide

Томас Гирнюс, доктор философии, руководитель и главный научный сотрудник компании AIR Worldwide

Некоторые удивляются, как компания, специализирующаяся на построении моделей для оценки убытков от ураганов и других стихийных бедствий, может применять свои методы для построения аналогичных моделей оценки потерь от кибератак.

Ураган «Эндрю» дал толчок развитию индустрии моделирования катастроф. И хотя модели катастроф существовали и до 1992 года, лица, принимающие решения, или к ним не прибегали, или не использовали весь их потенциал. Когда на южную Флориду обрушился ураган, компания AIR опубликовала смоделированную оценку убытков, которая составила около 13 млрд долл., чем вызвала насмешки страховщиков. Им цифра показалась сильно завышенной. Когда после урагана «Эндрю» стали поступать требования по страховкам, 11 страховых компаний вышли из бизнеса, а остальные участники отрасли начали осознавать ценность моделирования. «Киберураган Эндрю» еще не нанес удар по сфере страхования от киберугроз, но, когда это произойдет, компании, использующие модели, окажутся в гораздо более выгодном положении, чем те, кто опирается на так называемые страховые суждения.

Компания AIR применяет все ту же стохастическую структуру моделирования (рис. Б.11), которой успешно пользовалась при создании моделей катастроф в течение почти 30 лет. Ее проще всего описать на аналогии с моделированием ураганов. Ураганы можно наблюдать, и они хорошо изучены. Мы начинаем с данных о прошедших ураганах, имеющихся в открытом доступе в Национальном центре США по слежению за ураганами и других источниках, а также определяем распределения для различных параметров, таких как ежегодное прогнозируемое число штормов, места вдоль береговой линии, где они произойдут, степень их интенсивности и т. д. Затем с использованием всех этих распределений проводится симуляция по методу Монте-Карло и составляется стохастический «каталог» событий. Каталог содержит 100 000 смоделированных сезонов ураганов, это не предсказания будущего на 100 000 лет вперед, а лишь рассмотрение правдоподобных версий сезона ураганов на следующий год. Что касается киберсферы, то благодаря другим специалистам, работающим в нашей области, у нас есть данные, которые позволяют составлять распределения для количества атак в год, отраслей, на которые они направлены, определять, затрагиваются ли крупные или небольшие компании, а в случае утечки данных – сколько записей украдено. Такие сведения дополняют информацию о подверженном воздействию типе данных, о категориях субъектов, осуществляющих атаки, и о любых последствиях атаки, например были ли данные украдены, остановится ли работа компании, подадут ли на нее в суд. Все эти данные используются для моделирования киберсобытий методом Монте-Карло и создания каталога событий.

Рис. Б.11. Структура моделирования катастроф компании AIR Worldwide

Следующий этап модели – компонент уязвимости. Здесь для определения ущерба используется каталог вместе с информацией о самом риске. Для определения угроз от ветра можно использовать данные вычислительной гидрогазодинамики, тестов в аэродинамических трубах, обследований после катастроф и инженерных исследований. В киберсфере работа ведется с данными, помогающими дифференцировать риски в зависимости от отрасли, размеров компаний, их местоположения и других особенностей. Последним этапом является оценка убытков, в том числе среднегодовые значения, убытки из расчета 1 к 100 и 1 к 250, касающиеся индивидуальных аккаунтов, а также целых портфелей аккаунтов. Для этого необходимы данные об убытках за прошедший период. Мы получаем их от нескольких первичных страховщиков, с которыми сотрудничаем, в обмен на проведение консалтинговых исследований киберрисков и предоставление начальных результатов моделирования. Полученные данные позволяют нам калибровать и проверять сведения об убытках, которые сообщает модель.

Недавние собранные данные о кибератаках, правда всего за несколько лет, эффективно обеспечивают «левое цензурирование», о котором говорит Эндрю Джеквит. Из огромного количества киберсобытий, произошедших в последние годы, следует вывод, что доступных данных не станет меньше. Большие объемы основных киберданных определяют размер и форму аппроксимированных статистических распределений, так же как и в традиционных актуарных методах. Объем данных подобной величины гарантирует, что подобранные параметры достаточно надежны и можно делать выборку из хвостов распределений. Здесь моделирование катастроф расходится с традиционной актуарной практикой. Именно выбор случайных значений из хвоста распределения для симуляции Монте-Карло приводит к появлению экстремальных сценариев, которыми и занимается моделирование катастроф. Мы можем быть уверены в данных хвоста распределения, поскольку его тело было хорошо аппроксимировано. Это решает задачу определения отдельных экстремальных событий в каталоге.

Примечания

1. Verizon Data Breach Investigation Report, 2013, 2014, 2015.

2. Brian M. Bowen et al., “Measuring the Human Factor of Cyber Security,” Homeland Security Affairs 8, supplement 5 (May 2012): 12.

3. Microsoft Security Intelligence Report, 2013, 2014, 2015.

4. Verizon Data Breach Investigation Report, 2013, 2014, 2015.

5. См., например, 2015 Cost of Data Breach Study: Global Analysis by Ponemon Institute and IBM.

6. Другие исследователи также отмечают подобное явление, в частности Джей Якобс, состоявший на тот момент в команде компании Verizon по подготовке отчетов о расследовании утечек, в статье “Analyzing Ponemon Cost of Data Breach” (December 2014) на сайте http://datadrivensecurity.info/blog/posts/2014/Dec/ponemon/.

7. См. Melissa Kirmse and Sam Savage, “Probability Management 2.0,” ORMS Today, October 2014, http://viewer.zmags.com/publication/ad9e976e#/ad9e976e/32.

8. Sam L. Savage, “Distribution Processing and the Arithmetic of Uncertainty,” Savage Analytics Magazine, November/December 2012, http://viewer.zmags.com/publication/90ffcc6b#/90ffcc6b/29.

9. Brian Krebs, “Adobe to Announce Source Code, Customer Data Breach,” Krebs on Security, October 13, 2013, http://krebsonsecurity.com/2013/10/adobe‐to‐announce‐source‐code‐customer‐databreach/

10. Keir Thomas, “Password Use Is All Too Common, Research Shows,” PC World, February 10, 2011, www.pcworld.com/article/219303/password_use_very_common_research_shows.html.

11. Anupam Das et al., “The Tangled Web of Password Reuse,” paper presented at the Network and Distributed System Security Symposium, February 23–26, 2014, www.jbonneau.com/doc/DBCBW14‐NDSStangled_web.pdf.

Примечания

1

М.: Олимп-Бизнес, 2009.

2

Пер. М. Бессараб.

3

Это высказывание часто ошибочно приписывают Марку Твену, хотя он, несомненно, лишь способствовал его популяризации. Сам Твен позаимствовал фразу у одного из политиков XIX века: Бенджамина Дизраэли или Генри Лабушера.

4

Некоторые авторы предпочли бы разделять понятия доверительного интервала, вычисляемого на основе данных, и субъективно оцениваемого интервала. Для еще более четкого разделения они могли бы использовать термины «интервал субъективной уверенности» или «байесовский доверительный интервал». Мы, однако, используем термин «доверительный интервал» для выражения неопределенности независимо от того, выявлена ли эта неопределенность на основе мнения экспертов или анализа объективных данных.

5

Данное тестирование проводилось на выборке из 10 вопросов на человека. Может показаться, что десять – слишком мало для тестирования, но если участники хорошо откалиброваны, так что существует вероятность 90 %, что правильное значение окажется в указанном ими диапазоне, то шанс получить 5 или менее из 10 вопросов с ответами в указанном диапазоне составляет 1 к 611. Другими словами, размер выборки более чем достаточен, для того чтобы выявить уровень самоуверенности большинства профессионалов.

6

На рынках предсказаний многие делают ставки на купоны, за которые выплачиваются деньги, если происходит определенное событие. Рыночная цена купона отражает своего рода оценку вероятности того, что событие сбудется, неважно, идет ли речь о том, кто станет следующим президентом США, получит «Оскар» или выиграет чемпионат мира по футболу. Если по купону будет выплачен один доллар в случае наступления события, а его текущая рыночная цена составляет 25 центов, то рынок ведет себя так, будто вероятность события составляет примерно 25 %. Существуют практические ограничения на использование чего-то подобного в кибербезопасности (кто-то может повлиять на рынок, торгуя купонами на события, которые он впоследствии сам же и вызовет). Однако такие рынки демонстрируют, что одни формы сотрудничества бывают эффективнее других.

7

Некоторые сторонники альтернативной «фреквентистской» интерпретации вероятности считают необходимым различать доверительный интервал и «интервал достоверности», или «интервал доверия». Нам неважно это различие, поскольку мы придерживаемся байесовского взгляда на вероятность. То есть в конечном счете вероятность – это выражение личного состояния неопределенности. Более подробно об этом читайте в разделе «Исключительно философская интерлюдия» данной главы.

8

Пер. Ю. В. Прохорова.

9

Обратите внимание, что это немного отличается от цифр, приведенных в изданиях книги «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе», поскольку мы продолжали собирать сведения (т. е. результаты участников обучения калибровке).

10

Публикуемые министерством здравоохранения данные содержат сведения только о случаях, когда утечка затронула более 500 записей о пациентах.

11

Эти массивы потенциальных результатов можно генерировать с помощью различного доступного программного обеспечения для моделирования, а также в электронных таблицах. Кросс-платформенный стандарт SIPmath некоммерческой организации ProbabilityManagement.org позволяет применять СИПы в разных приложениях.

Content

Дуглас У. Хаббард, Ричард Сирсен
Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Предисловие

Предисловие

Благодарности

Об авторах

Введение

Часть I. Почему для оценки риска в сфере кибербезопасности необходимы более эффективные инструменты измерения

Глава 1. Самая нужная «заплатка» в кибербезопасности

Глобальная поверхность атаки

Ответ на киберугрозу

Глава 2. Руководство по измерениям для сферы кибербезопасности

Концепция измерений

Байесовские измерения: прагматическая концепция для принятия решений

Объект измерений

Методы измерения

Глава 3. Моделируем немедленно!

Введение в практические количественные методы оценки в сфере кибербезопасности

Простая замена «один на один»

Эксперт как инструмент

Вычисляя неопределенность

Визуализация риска

Поддержка решения: рентабельность смягчения последствий

Куда двигаться дальше

Глава 4. Самое важное измерение в области кибербезопасности

Аналитическое плацебо: почему нельзя доверять только мнению

Почему у вас больше данных, чем кажется

Когда алгоритмы превосходят экспертов

Инструменты для повышения эффективности человеческого компонента

Резюме и дальнейшие шаги

Глава 5. Матрицы риска, факторы лжи, заблуждения и другие препятствия, мешающие измерению риска

Изучение местности: опрос специалистов в области кибербезопасности

Какого цвета ваш риск? Общепринятая – и рискованная – матрица рисков

Exsupero Ursus и другие заблуждения

Заключение

Формирование положительного отношения к более эффективным методам

Часть II. Эволюция модели риска кибербезопасности

Глава 6. Разложение на составляющие

Разбор по деталям

Разложение простой модели замены «один на один»

Дополнительные рекомендации по разложению на составляющие: понятность, наблюдаемость, полезность

Трудное разложение на составляющие: ущерб репутации

Заключение

Глава 7. Калиброванные оценки: что вам известно уже сейчас?

Введение в субъективную вероятность

Упражнение в калибровке

Дальнейшее совершенствование калибровки

Концептуальные помехи калибровке

Исключительно философская интерлюдия

Эффект калибровки

Глава 8. Уменьшение неопределенности с помощью байесовских методов

Пример крупной утечки данных

Краткое знакомство с байесовским подходом и теорией вероятности

Применение формулы Байеса к ситуации взлома облачного хранилища

Глава 9. Эффективные методы на основе формулы Байеса

Вычисление частоты с помощью (очень) малого количества точек данных: бета-распределение

Разложение на составляющие вероятностей с несколькими условиями

Дальнейшее снижение неопределенности и когда к нему следует прибегать

Использование имеющихся ресурсов для снижения неопределенности

Завершая разговор о байесовском методе

Часть III. Управление рисками кибербезопасности в организации

Глава 10. На пути к зрелости метрик безопасности

Введение: модель зрелости метрик операционной безопасности

Анализ скудных данных

Функциональные метрики безопасности

Витрины данных безопасности

Предписывающая аналитика

Глава 11. Насколько эффективно взаимодействуют мои вложения в безопасность?

Решение проблем, связанных с БА

Только факты. Что такое размерное моделирование и зачем оно мне нужно?

Пример применения размерного моделирования: повышенная угроза кражи данных

Моделирование процессов работы с людьми

Глава 12. Призыв к действию

Как внедрить управление рисками кибербезопасности

Составление стратегической хартии управления рисками кибербезопасности

Роли и обязанности УРК в организации

Аудит аудита

Что должна сделать экосистема кибербезопасности для вашей поддержки

Удастся ли избежать «Большого взлома»?

Приложения

Приложение А. Избранные распределения вероятности

Приложение Б. Приглашенные авторы

Объединение источников данных для получения информации в киберсфере

Изъян средних значений в кибербезопасности

Взлом паролей

Киберконтрразведка

Как можно применить моделирование катастроф к киберриску

Примечания