より良いOKRでリスクを測定する方法。

私はそれらを真剣に受け止めている企業で客観的かつ重要な結果(OKR)の大ファンになりました。 OKRに適合し、選択したリスクの減少(または増加)を測定する、意見に基づいた方法について説明します。これにより、今後のリスクを軽減するためのエンジニアリング作業を削減または増加するというチームの決定が通知されます。

この方法は、気象学者が天気を予測する方法に似ています。

OKRの詳細については、これを読んで、これを見て、または読んでください。

OKRは、動機付けの目標を表現し、その目標に向かってグループを押し進める測定可能な結果の短いリストにコミットする簡単な方法です。彼らは時々、経営陣からすべての従業員にカスケードします。 OKRは、ハイテク企業と私が協力している多くのセキュリティチームの間で一般的な慣行です。

例えば:

目的:開発者のラップトップから本番環境への認証を改善します。

この目標は悪くありませんが、多くのリスク測定の機会が失われています。

定量化可能な方法で、まれで影響の大きいリスクを軽減します。

通常、これらのタイプのリスクは測定が困難です。

過去のデータ(発生したことはありません)は、将来の情報をほとんど提供しません(発生する可能性はありますか?)。

予測および推定方法を使用すると、過去のシナリオの履歴データが不足している場合でも、将来のシナリオが発生する可能性を測定できます。グループの「不確実性」をリスクの代用として使用し、測定します。予測に関連する認知バイアスを管理します。

目的:「リスクシナリオ」で目的を記述します。

あなたの目的は、シナリオで表現されるリスクを減らすことです。

以下は、リスクを減らすために書かれた前述の目標です。改善の余地を残して書かれています:

目的:開発者のラップトップから本番環境への認証を改善します。

これは必ずしも悪い目的ではありませんが、シナリオとして書き直すことで改善できます。

目的:「第3四半期に、開発者のラップトップから攻撃者が本番にアクセスした」というリスクを軽減します。

似ているようですね。

  • 主な違いは、シナリオが確率的であることです。確率的フレーズを予測することができます。予測はよく研究され、一般的に理解され(例:天気)、定量的であり、不確実性を測定します。

不確実性とは、一連のオプションに肩をすくめたり、それらの1つについて強く感じさせたりする脳内のことです。結局のところ、グループの不確実性は簡単な方法で測定できます。私たちは、専門家の不確実性を、測定の目標の代理にするつもりです。

  • マイナーな違いは、シナリオがエンジニアの創造性に報いることです。

たとえば、プロダクションクレデンシャルを必要とする開発者の数を減らすと、認証が改善されますか?いいえ、もう少しです。しかし、それはリスクを軽減し、主要な結果は修正された目標との互換性が高くなります。

「リスクシナリオ」の目的は、ソリューションを規定するものではありません。単純な予測を設定するだけです。シナリオは、回避すべき将来のイベントとしてリスクを定義するより良い仕事をするかもしれません。

予測可能な優れたシナリオには、脅威、ベクトル、資産、または影響の思慮深い組み合わせが含まれます。特定性を狭めたり広げたりすることで、特定の範囲またはリスクを創造的に決定できます。予測では、具体的な時間枠を決定する必要があります。

主要な結果:マイルストーンまたはメトリックを選択し、予測にコミットします。

まず、簡単なもの。主要な結果は測定可能である必要があります。 Googleの初期の頃、Marisa Meyerは次のように述べています。

「数字がない限り、重要な結果ではありません。」

測定の1つの単純な形式は、2つの成果です。1は完了、0は完了していません。たとえば、「XYZビジネスアプリケーションをシングルサインオンプラットフォームに追加しました」。あなたがそれをした場合、あなたは「1」を取得します!

もう1つは、「Xバグの修正」、「Xインシデントの削減」、「Nエンジニアの雇用」などの定量的指標を選択することです。これらは必要かつ一般的であり、プロジェクトの目標と運用上の指標を表しています。おそらくこれらに慣れているでしょう。彼らも素晴らしい重要な結果を出すことができます。

ただし、シナリオに関連するリスクの減少を実際に測定するわけではありません。むしろ、実行された作業の遅れを示す指標です。この作業により、リスクを軽減する価値が生まれましたが、実際にリスクの減少を測定したことはありません。あなたの努力により、リスクは減少していると単純に思われます。

しかし、いくらですか?実際に増加した場合はどうなりますか?

セキュリティメトリックと確実性の測定値の比較

従来のセキュリティメトリックは、有益な価値があるため非常に便利です。それらは、リスクに対する不確実性を伝えますが、リスクの確率的性質を表すものではなく、特定のシナリオについて持つことができる大きな不確実性を表現しないことがよくあります。

たとえば、過去の脆弱性のカウントや回帰の頻度はリスクを直接表現するものではありませんが、そのデータの結果として関連するシナリオが発生するかどうかに関する不確実性を確実に伝えるのに役立ちます。

これは、個々のメトリックに割り当てる値が一定の流動的であるためです。

特定のメトリックは、最も有益なデータポイントになる可能性があります...何かが置き換えられるまで。私の判断では、古いデータ、またはそのために作成しようとした脆弱なモデルに直面して「おかしい」と叫ぶ新しい情報を聞いた直後に、元のデータを非推奨にします。

それでは、「難しい部分」に行きましょう。これをOKRにしましょう。

これは実際に慣れると本当に簡単です。

測定するように設計されたOKRの例:

前述のように、このOKRを作成して、リスク測定と予測および推定手法との互換性を確保します。

小規模なAWSセキュリティチームのOKRの例を次に示します。

目的:

「第3四半期に本番AWS認証情報が公開された」可能性を減らします。

主な結果:

  1. AWS_SECRET_KEYに言及するコミットは、#security slackに表示されます。
  2. photobackupパイプラインはAWSロールに移動します。
  3. オンコールの検出に向けた完全なSecurity Monkeyアラートパイプライン。
  4. 予測前と予測後、およびCloudTrailハントを完了します。

最初の主要な結果(1〜3)は、議論する必要はありません。これらは単なる工場のエンジニアリング作業であり、必要なものを選択できます。最後の主要な結果(#4)は、今後の重点事項です。

このリスクシナリオを測定するには、予測パネルを使用します。これにより、確率的方法でOKRの基礎となるリスクシナリオを測定する能力が強化されます。

1.作業を開始する前に:「ベースライン」予測。

これが今年の第3四半期のOKRであると仮定しましょう。 6月上旬に、OKRに精通した数人の多様で訓練を受けた個人が、確率論的にシナリオが発生する確率を予測します(確信度)。

参加者は、サル(Monkey)、ユニコーン()、牛()、ペンギン()です。確率的に考えるためにそれらを簡単に調整します(オンライントレーニング)。利用可能なメトリック、モデル、事後分析、コンサルタント監査、またはインフラストラクチャ図にアクセスできます。それはすべて有用であり、彼らの予測を知らせます。

上記の予測では、CloudTrailハントがインシデントを明らかにしないという78%の確実性があります。インシデントが発見される可能性は14%の確実性があり、実際に大きな問題が発生する可能性は6%の確実性があります。

ここで、各カテゴリのパネルからの33%の回答が、文字通り情報や意見を持たないかのように、全体的な不確実性を示していると考えてください。たとえば、シナリオを別の言語で作成することもできます。ここではそうではありません。参加者は、各オプションが他のオプションと等しいとは考えていません。彼らは、環境と起こりうる脅威についての知識を持っているので、事件が起こらない可能性が非常に高いと考えています。

したがって、このパネルは、その時間枠にインシデントが発生する可能性が最も低いという意見を確率論的に表しています。しかし、発見された事件は完全に問題外ではありません。それは他の多くの会社で起こります。彼らはそれが起こる可能性が少しあると信じなければなりません。

実際、パネリスト(Monkey)は、何かが見つかると確信しているようです。

Monkeyがグループとは異なる意見を持っていることは問題ありません。これについては後で説明します。パネルが同意する必要はありません。

2.ここで作業を行い、通常どおりに進行します。

四半期の半ばは、通常どおり目標を達成することに焦点を当てています。仕事をしてください。

目標が述べているように、チームはアラートを作成し、アプリをリファクタリングしてAWSロールを使用し、Security Monkeyをデプロイします。うまくいけば、それらはすべて完了します!

この方法は、日々の仕事には影響しません。測定可能な結果に向けて作業をガイドするだけです。通常の方法でリスクを攻撃します。

3. EOQ。進歩しました!次に、ベースラインと比較します。

四半期の終わりに2つのことを行うことを約束しました。

まず、CloudTrailログを精査して探索し、調査の努力からP0インシデントを排除できるかどうかを確認します。

第二に、次の四半期(Q4)の不確実性を除いて、パネルは再度測定します。

私たちのパネルは新しい知識で武装しています。この四半期の進捗状況とCloudTrailハントの結果により、このシナリオに関する意見が大きく変わります。

チームが他の主要な結果で成功し、違反評価が正常に戻ったと仮定します。

再び予測します。結果は次のとおりです。

これで、パネルの努力に基づいて、パネルがどの程度の確実性を獲得したか、失ったかを観察できます。この例では、私たちの信念は確実性に向かってさらに有利に傾向がありました(33%から)。私たちの仕事はパネルの確実性に影響を与えましたか?このパネルはそう信じています。

この場合、このリスクを取り巻く確実性を改善しました。正しい方向に5%の量的改善があります。

4.データに基づいてリーダーシップを決定します。

これで、効果的な意思決定を行うことができます。

これは、10四半期に1回の割合で違反を予測しているようです。

  • それで十分ですか?
  • それをさらに改善したいのか、それとも他のリスクをスタッフにしたいのか?
  • 許容できるしきい値は何ですか?
  • どの程度の労力とリソースを超える必要がありますか?

なぜこのアプローチなのか?

人間は、さまざまな情報源を処理し、新しい情報をすばやく吸収して意思決定を行うように構築されています。

四半期を通じて、選択したリスクに関する確実性のレベルを変更する情報を間違いなく取得します。

この情報は、実際の作業自体、業界のトレンド、違反、インフラストラクチャの他の領域の脆弱性レポート、私たち自身のエクスプロイト調査、爆弾開示ツイートなど、多くの場所から来ています。

ただし、これらの情報源に対する当社の信頼は動的です。個々の静的な指標に頼ってリスクを表すことはできません。なぜなら、意思決定の価値はすぐに変わるからです。これらのリスクの代理として独自の確実性を使用することができます。これは、測定手段として予測方法を改善するためのガイダンスを増やしながら、測定可能で、よく研究されていることが知られています。

実際、原子力、航空宇宙、環境などの他の業界での確率論的リスク評価では、専門家の獲得が重要な要素です。

それは新しいものではなく、私たちにとって新しいものです。

バイアスのリスクに対する絶縁。

予測が厳しくない場合は危険です。認知バイアスはよく研究されており、それらの発見は頻繁に繰り返される必要があります。悪い予測のリスクにはさまざまな緩和策があります。

調査は、次の場合に予測を改善できることを擁護しています。

  1. パネリストは、確率的かつ偏見について考えるように訓練されています。
  2. パネリストは、バイアスの影響を組み合わせてスムーズにするために協力しています。視点の多様性が重要です!
  3. パネリストは、予測の結果(キャリブレーション)に繰り返し直面しています。 (オンライントレーニング、適切な判断、オープン、信頼度キャリブレーション)
  4. パネリストは、シナリオをより詳細な部分に分解し、それらを理解するために必要な利用可能なデータへの透過的なアクセスを許可されることが推奨されます。
  5. 真の「ブラックスワン」のしっかりした理解。彼らは予測を欺く。
  6. すべてのリスクを予測して軽減しようとせず、避けられない失敗に備えてください。
  7. 昇進と給与をOKRと予測結果から切り離して、従業員のパフォーマンス管理で既に問題となっているサンドバギングを回避します。

パネリストに「考えてみてください」と予測するだけで、悪い結果が得られます。厳密なアプローチでは、測定(会議)のコストが高くなりますが、riskいリスクマトリックススプレッドシートを使用する方法よりもはるかに簡単です。

しかし...私は常に「違反を想定」しているため、これは機能しません!

あなたが侵害されたと仮定することは完全に有効です。私は、どの組織でも、どこかの重大度で、所有しているシステムで何らかの敵対的な活動をしている可能性が非常に高い(99%)と考えています。それが私にとって「違反を想定する」ことの意味です。

ただし、すべてのシステムのすべてのコンポーネントが、常にあらゆる敵によって侵害されていると考えるのは不健康です。合理的な人々は、たとえFUDのスリンガーであっても、これほど深くは入りません。

理性的な深く悲観的な心は、他の人よりも多かれ少なかれ、まだ疑問の余地を残しています。個人の努力がリスクを改善するという信念を持っているなら、確率論的に不確実性の減少を測定できます。悲観主義者は、たとえば、自分の仕事が事態を悪化させるとは考えていません。

要するに、悲観的なベースラインでさえ改善することができ、パネルに悲観主義者が数人いることは実際には非常に良いことです。

リスク推定と予測の未来

多くの四半期にわたって、確率論的手法をさらに強化することができます。 Red Teams、Brierスコア、業界サンプリングを導入して、予測を導きます。データの価値に同意し、変動するのを見ることができます。 「Chatham House」または予測を匿名化して、ピアセキュリティチームと共有できます。

予測結果をモンテカルロシミュレーションに取り込むことができるため、NASA、原子力ライセンス、その他の極度のリスクを理解するサイバーセキュリティ以上の分野から教訓と専門知識を引き出すことができます。

組織がリスク予測の手法を採用する機会はたくさんあります。良い結果を得るために途方もないエネルギーは必要ありません。リスクベースのOKRのように小規模に開始すると、明らかに組織のリスクを低減し、組織を定量的リスクへの道に導くことができます。

結論

OKRは、エンジニアリングチームを導く一般的な方法です。推定および予測手法と互換性のあるOKRを作成すると、リスク削減の進捗状況をより適切に測定できます。

これらの方法は、チームが作業を行う「方法」を妨げるものではなく、結果として変化する可能性のある「量」を測定するだけです。現在、リスクを測定する方法がない場合、定量的な方法は、現在の方法よりも優れているはずです。この戦略はエンジニアリングプラクティスへの影響を最小限に抑えながら、チームをリスク削減の測定可能な割合に合わせます。

参考文献

リスク予測:この方法に関する高レベルのプレゼンテーション。

単純なリスク分析:リスク予測の詳細。

Killing Chicken Little:リスク予測の限界と機会を探る。

セキュリティリスクをシナリオに分解する:リスクを広範なシナリオからより詳細なシナリオにシナリオの階層に分解します。

速くてゆっくり考える:ノーベル賞を受賞した認知のヒューマンエラーに関する研究。主にバイアスの形で。

スーパーフォーキャスト:認知のエラーを軽減し、効果的な予測チームに武器化する方法を研究します。

サイバーセキュリティリスクのすべてを測定する方法:測定方法として予測を防御するための優れた情報源。意思決定における測定の役割を促進する強力な議論。

Ryan McGeehanがMediumのセキュリティについて書いています。