アルゴリズムは不公正をもたらしうる。大切なのは、「数学」に萎縮せず価値判断基準の説明を求めること。
YouTubeは利用者の動画視聴履歴を記録します。年齢や性別を推測し、その人が観たがる動画をおすすめするためです。利用者に長時間YouTubeに滞在し、広告を見て、利益を生んでもらいたいからです。
ほかのウェブサイトでも、利用者がどこの誰かを推測して、適切な情報と広告を表示します。背後にあるのはコンピュータのコードとアルゴリズムです。
このようなコンテンツを最適するアルゴリズムのおかげで現代のネットは便利に使えます。
しかし、そこには危険性もあるとキャシー・オニール(Cathy O’Neil)は警告しています。彼女は“Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy”（邦題『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』）の著者です。
何が問題なのでしょうか？
キャシーの主張の要約
こちらはThe RSAの動画です。
アルゴリズム（コンピュータの計算の方式）は客観的なものだとされています。アルゴリズムはプログラムに書かれた数学的な仕組みだからです。しかし、実際にはアルゴリズムには製作者の意図が入っています。現代のビッグデータやAIのアルゴリズムには、データと、何を成功とみなすかの基準という二つの要素があるからです。
家で料理をすることを例にとりましょう。データは、過去に何を作ったか、手持ちの材料は何か、料理にどれだけの時間をかけられるか、などです。
成功とは何でしょうか？ それを決める権利は料理をする人にあります。母親にとっては子どもが野菜をちゃんと食べたら成功です。でも、子どもにとっての成功は違います（たとえば、お菓子をたくさん食べるなど）。
アルゴリズムはデータを使って、あらかじめ決めた「成功」に到達する手順です。何を成功とみなすかは人ごとに違うので、ここに価値判断が入ります。それぞれのアルゴリズムは作者にとって都合がよいように作られます。だからアルゴリズムは客観的ではありません。
問題なのは、YouTubeや検索エンジンのアルゴリズムの作者と、利用者の「成功」が違うことです。IT企業にとっては利益を生むのが成功です。そのせいで利用者が不利益を被ったり不公正に扱われたりしても彼らは気にしません。
社会にとって重要なアルゴリズムには疑問を呈し、倫理性を求めていかねばなりません。アルゴリズムは客観的だから公正なはずという思い込みは捨てましょう。作者にとって都合がよいようにできているだけなのですから。
ソクラテスのインタビュー
Socrates（ソクラテス・Nikola Danaylov）がポッドキャストSingularity FMで詳しくインタビューしています。
現に生じている不公正の例
インタビューではどんな不公正があるかが挙げられています。
ネット広告企業のデータサイエンティストの仕事は、価値の高い消費者と低い消費者を判別するアルゴリズムを設計することです。要するに金持ちを見つけることです。
これは難しくありません。どの地域からネットに接続しているかはすぐわかります。地域から年収や人種は簡単に推測できます1。それ以外のデータも使えば精度が上がります。
金持ちなら（破産の可能性は低いでしょうから）低い利率で融資します。金持ちなら（健康にお金をかけていて病気になりにくいでしょうから）健康保険料は下がります。貧しい人ならその逆です。
すると、データサイエンティストが作るアルゴリズムは、金持ちに有利な条件を、貧しい人に不利な条件を出します。金持ちをより金持ちに、貧しい人をより貧しくします。これは不平等を拡大します。不平等の拡大は民主主義を危うくします。
データサイエンスの問題
データとアルゴリズム、そしてデータサイエンスの問題も語られています。
アルゴリズムの問題は、何かが失敗していても目には見えないことです。
たとえば、性格テストで職への適性を検査します。しかしその適性は、過去にその職に就いていた人のデータと比較して算出しているだけです。過去のデータが偏っている可能性は大いにあります。職業紹介サイトでは、適性が低いと判断された人にはその職の情報が表示されません。一部の人にはチャンスさえ与えられないのです。これは（本当は適性が高いかもしれない人にチャンスが与えられないので）巨大な損失かもしれません。しかしそれは誰にも見えないのです。それこそがAIの問題です。
また、AIの「成功」の基準が間違っていることも多いと指摘されています。
たとえば統計的に犯罪の発生箇所を予測するモデルがすでに警察では導入されつつあります。このとき、犯罪の発生の予測に成功するとはどのようなことでしょうか？
過去に容疑者を逮捕した状況で、その場所を正しく予測できれば成功です。しかしそれは本当に正しい予測なのでしょうか？
動画では、薬物の使用率はアメリカでは白人と黒人で同じなのに、黒人の方が何倍も逮捕率が高いと指摘されています。そうすると、過去のデータと同じように逮捕しようとすると、人種差別的な運用になってしまいます
AIは未来を予言する水晶玉ではなく、過去の間違いの拡大鏡でしかない、とキャシーは言っています。これも大きな問題です。
そもそもデータサイエンスはサイエンス（科学）ではないとも指摘されています。科学は問いがあって、それに対する答えが検証可能なものです。データサイエンス(AI)のプログラムは普通は公開されないので、どのように動いているのか検証できません。
ファイナンスで金融危機の原因になった金融商品も、すごい数学に基づいていると宣伝されていたけれど、弱い統計的な証拠しかなかったと批判しています。
数学破壊兵器の定義
データサイエンス・AI・アルゴリズム・コードはどれも数学に基づいています。問題は数学ではなく、数学に対する人々の態度だ、とキャシーは言います。
金融危機のときに「数学的に構築された」金融商品のせいで退職金を失った人がいました。危機以前に、その金融商品については「これは数学に基づいているので」としか説明されず、人々も数学の権威で疑問を封じられていました。
数学は権威となり、数学は畏怖されています。人々は数学を信じることを強制され、数学は人々を黙って従わせる道具になっています。ほとんど宗教だ、とキャシーは言います。疑うことが許されないからです。
だからこれは数学破壊兵器（weapons of math destruction「数学破壊兵器」はweapons of mass destruction「大量破壊兵器」のもじり）だとキャシーは言います。
数学破壊兵器の定義は、1. 社会において重要な様々な意志決定に使われること、2. 秘密にされていること、3. 不公正で、破壊的な間違いを起こすことです。誰にどのような職を紹介するか、誰にどれだけの利率を求めるかを決めているアルゴリズムは数学破壊兵器です。それは、1. 人々の人生に影響する重要な決定を下し、2. 計算の根拠は示されず、3. 不公正だからです。
AI=数学破壊兵器は効率的な道具です。一瞬で多くの人々に職を紹介したり利率を提示したりできます。けれども、不公正です。きわめて効率的に不公正をもたらすのです。
SNSの有害さ
ソクラテスが水を向けて、話はSNSの有害さに及んでいます。
数学や物理で博士号をとった頭のいい人々が行くのがヘッジファンドやGoogle/Facebookばかりなのは悲しいことだ、とソクラテスは言います。不況の原因になるような金融商品やクリック広告を作るなんて、と。
彼はさらに、SNS（特にInstagram）は人間の感情をハックし不安感をあおる、そのせいで知り合いが二人も亡くなった、と言っています。SNSは利用者ができるだけ多くの時間を費やすようにデザインされているから有害だ、とも言います2。ソクラテスはSNSのデザインも数学破壊兵器の一つだろうと言い、キャシーも同意しています。
それでソクラテスはInstagramのアカウントを消したそうです。キャシーは元からアカウントを持っていないとのこと。
データサイエンティストはいかにあるべきか？
データでアルゴリズムを設計するデータサイエンティストはいかにあるべきなのでしょうか？
キャシーは、問題はデータサイエンティストではなく、企業だと言います。データサイエンティストの一人一人は善良で、キャシーの講演でこれが深刻な問題だとわかってくれるそうです。でも、株主価値の最大化が必要だと上司に言われると逆らえません。悲しいのは悪人でなくても悪事に荷担してしまうことです。
ヒポクラテスの誓い1がデータサイエンティストにも必要だとキャシーは言います。その中には、「自分の仕事が不法でないかを確認することも仕事の一部である」という条項が含まれるべきだ、と言います。内部告発も奨励されるべきだと語っています。
顔認識アルゴリズムが、白人男性の顔は正しく認識できるが黒人女性の顔認識は失敗しやすいことが報道されていました。
学習に使ったデータが白人男性の顔写真ばかりだったからです。開発者はそれを理解し、なぜなのかを考えるべきだったとキャシーは指摘しています。
数学を理解している技術者は数学の権威で人々を黙らせるのではなく、自分のアルゴリズムの背後にある成功の基準・価値判断を明らかにしてオープンに議論するべきだ、とキャシーは言っています。
彼女の出発点
キャシーはハーバード大で数学の博士号をとり、大学で教鞭を執ったあと、ヘッジファンドのクオンツに転じました。もっと社会と関わりたかったからだと言います。数学はアートなので、社会との関わりは薄いのです。先日、久しぶりに代数幾何の学会へ出かけて、そのとき自分の昔の研究を使って研究している人がいて涙が出そうになったけれど……と語っています。
自分のいる金融業界の作り出した数学的な道具が世界金融危機を引き起こしたのを目の当たりにし、もっと社会によい意味で関わりたいと思い、また転職しました。
子どものころ、明白なる使命3とネイティブアメリカンの虐殺の歴史を学び、何が正しいのかについて疑問を感じたのが原点だったと語っています。何が正しく何が正しくないのかについて議論し、全員が合意できるのは数学だけだったから数学を専門に選んだそうです。
合意の難しい倫理を避けて数学に進んだのに、最終的に倫理に辿り着いたのは面白い、とソクラテスは評しています。
キャシーは“The Shame Machine”という本を2021年に出すそうです。“Social mechanism of shame”についての本だそうです。
アルゴリズム的不正はどこへ
本サイトは以前にYouTubeのアルゴリズム的不正をシリーズ記事でお伝えしました。
YouTuberたちは、YouTubeが動画のおすすめを不当に操作していると訴えていました。YouTubeは広告主の受けがよくなるように操作していたのです。これはキャシーが指摘しているのと同じ問題です。YouTubeにとっての成功はYouTuberにとっては不公正でした。
YouTubeやそのほかのSNSが利用者にとってよい方向に変わっていく道筋は、まだ見えません。
【2020年1月9日】題名を変更しました。
