AIによる偏見（バイアス）の助長を防ぐには

2018年秋、ニューヨーク・タイムズは、アルゴリズムを使ってハロウィーンのコスチュームのアイデアを生み出した実験に関する記事を発表しました。その結果は驚くべきもので、「baseball crown（野球ピエロ）」、「cat witch（猫の魔女）」、「king dog（犬の王様）」といった言葉が含まれていました。アルゴリズムはランダムに文字を組み合わせて単語を作り、学習データ内に実在する単語と比較して、一致するものがあった場合にはその単語を残し、別の単語との組み合わせを行いました。

この事例や、より深刻な多くの事例では、アルゴリズムに既存のパターンを提示し、それを再現するよう指示しています。アルゴリズムは単語の意味まで「理解」していたわけではなく、学習したパターンと合致する結果を生成したにすぎません。したがって、学習データ内の単語にスペルミスがあれば、アルゴリズムはそのまま、スペルが間違った単語を出し続けます。学習データに含まれる単語が古くなればアルゴリズムも時代遅れのものになり、学習データに否定的なイメージのある単語があればアルゴリズムも「無礼」になります。

このような負のフィードバックループが、社会に悪影響を及ぼすことを示す例がいくつもあります。

例えば、Amazonは、人材採用の意思決定に役立つ情報をもたらすアルゴリズムを開発し、過去10年間の履歴データを活用していました。しかし、データに使用された10年は、男性がテクノロジー業界の中心に立っていた時代でした。その結果、Amazonのアルゴリズムは女性応募者に対して不当な判断を行ったのです。他にも、米国の刑事司法制度での事例があります。いくつかの州で、黒人の被告人に高いリスクスコアを付けるようなバイアスのかかったアルゴリズムが再犯リスクの予測に使用され、判決に影響を与えました。

問題は、単純なアルゴリズムでは、すべてのデータが不変のものとして扱われることです。こうしたデータには、人の嗜好や収入、生活状況に関するデータまでもが含まれています。そのようなアルゴリズムは人を出自や歴史などといったステレオタイプの枠にはめて振り分け、その結果、差別を生み、それを助長する事態も起こり得ます。このような「負のフィードバックループ」は、社会に悪影響を与える可能性があります。

非営利のシンクタンクであるFuture of Privacy Forum（FPF）は、アルゴリズムが主に次の4タイプの悪影響（すなわち予期せぬ事態）をもたらし得ることを明らかにしました。

1. 機会の喪失：前述したAmazonの例が示しているとおり、バイアスのかかった採用アルゴリズムによって一部のグループに属する人の雇用機会を失う可能性があります。また、同様のバイアスにより、高度教育、福祉制度、医療計画、ビジネスローンなどの機会を失う人もいるかもしれません。
2. 経済的損失：経済的損失の最も一般的な例は、価格差と与信枠です。人種に関するバイアスのかかったアルゴリズムの初期の事例では、アフリカ系アメリカ人男性のジョンソン氏が与信限度額を10,800ドルから3,800ドルへ大幅に減らされました。その理由は、返済履歴に問題のある顧客基盤を抱えている場所で、ジョンソン氏が買い物をしていたためでした。
3. 社会的損失：社会的損失の例には、人々がどのように集団を組織し他者と関わり合うかに影響を与える、確証バイアスやステレオタイプなどの現象があります。身近な例は、Facebookのニュースフィードです。Facebookのニュースフィードはユーザーのオンラインアクティビティに合わせて調整されているので、ユーザーは世の中に対する自らの考えを裏付ける意見を見たり読んだりする可能性が高くなっています。そしていずれは、ユーザーの考えに合ったコンテンツしかおすすめされなくなります。
4. 自由の喪失：すべての中で最も深刻な悪影響は、自由の喪失です。2つ目の例と同様に、人種に関するバイアスのかかったアルゴリズムは、その人種であることだけを理由に、誤った犯罪予測を行う可能性があります。

ほとんどの企業は、このような危害を防止するために尽力しており、実際、バイアスの大多数は意図的なものではなく、過失により偶発的に生じています。しかし、偶然や過失だからと言って許されるものではなく、危害を防止するために、アルゴリズムや関連するAIアプリケーションの計画、設計、評価段階において、次のような質問を自らに投げかける必要があるのです。

1. この機械学習システムを作るのは適切か
   この質問により、アルゴリズムの核心に立ち返り、その目的を考え直すことができます。なぜアルゴリズムを作っているのでしょうか。 誰かを他者より優位に立たせることが目的でしょうか。そうであるなら、それは競争の場として適切でしょうか。アルゴリズムによってどのような問題を解決しようとしているのでしょうか。アルゴリズムのトレーニングに使われる過去のデータに固有のバイアスがある場合、おそらくそのバイアスを強化する結果しか生まれません。
2. この機械学習システムの開発では、どのような包括的かつ総合的な技術的アプローチを取るか
   アルゴリズムの目的を定め、それが適切であることを確認したら、どのような手段で達成するかを考えます。その際、包括的かつ総合的なアルゴリズムを構築し、その状態を維持し続けることができる手段を追求します。
3. 構築した機械学習システムが導く結果は公正か
   この質問により、アルゴリズムのアウトプットを評価します。前述した例のとおり、アルゴリズムが実行しているからといって、意図したとおりに機能しているとは限りません。今はまだ、AI開発の比較的初期の段階であり、機械学習アルゴリズムから出力される結果を常に精査しなければなりません。
4. ここで難しいのは「公正」とは何かを定義することであり、これはAIの倫理の範疇を超えた複雑な問題です。技術的な視点から見ても、「公正性」を定量化するさまざまな方法があり、互いに対立し合っています。アルゴリズムの出力結果が公正であるかを検証するために、開発者はアルゴリズムが出力する結果の影響を受け得るユーザーと協力し、そのアルゴリズムを利用する上での「公正性」の定義を明確にする必要があります。
5. どのような副次的な悪影響があるか
   主な4種類の悪影響のほかにも、アルゴリズムを中長期的に利用した場合にのみ顕在化する悪影響があるかもしれません。例えば、アルゴリズムがデータプライバシーを侵害していないか、 他にどのような用途にアルゴリズムを使用できると考えられるか、その結果が人や社会全体にどのような影響を与えるか。こういった考えは検討を始めたタイミングでは予測の域に留まりますが、開発者は早い段階でこうした副次的な悪影響の問題に取り組み、アルゴリズム開発における技術的以外の側面、すなわち倫理的側面についても考えることが重要です。
6. アルゴリズムの提案やアウトプットが決定論的ではないか
   最後に、この質問は、アルゴリズムが時間の経過とともにどのように変化するかについて述べています。そもそもアルゴリズムは初めに過去のデータを使用するため、パターンの一部が強化される可能性を内包しています。新しいデータから学習するというオプションがない場合、出された結果は決定論的なものとなる危険性をはらんでいます。そのため、この質問を通じて、アルゴリズムの土台となっているメソッドを改善し、アルゴリズムが新たなデータセットから学習したり、微妙な差異を認識したりしていることを確認して、過去の傾向が繰り返されたり、誇張されたりしないようにします。

人が求めたことをアルゴリズムが行っても、それは驚くべきことではありません。なぜなら、アルゴリズムはそのようにプログラムされているからです。

この記事で言及した問題はいずれも、機械学習アルゴリズム自体に起因するものではありません。アルゴリズムと人間社会との関わり方や、そこから生じる意図しない結果が問題となります。そのため、新しいアルゴリズムを開発する際は、倫理的意義を中核に据えることが極めて重要です。

その方法の1つとして、「問題はそれ自体で解決すべき対象ではなく、根本的な原因を示唆するヒントである」と考える公衆衛生分野のガバナンスモデルの活用があります。また、アルゴリズムが過去のパターンを誇張せずに、新しいデータや良質なデータに迅速に順応できるようにするという方法もあります。これは、最新の検索履歴にすばやく順応しておすすめを提示するSpotifyやAmazonのAIが日々行っていることです。

最後に、より倫理的なAIの開発に関係するあらゆる取り組みを成功させるためには、個々の問題とその解決策を特定するための研究が不可欠です。アルゴリズムは個人や社会に悪影響を与えるものではない、ということを示す資料を提示し、幹部の関心を集める必要があります。データプライバシーやサイバーセキュリティが部門レベルの問題から取締役会レベルの重要アジェンダとなったように、AIを利用するすべての企業は、早急に「責任あるAI」のガバナンスに関する検討の優先度を上げなければなりません。