世界初のチャットボットを作った人物 ジョセフ・ワイゼンバウムは、かつてこう云ったそうです。
『AIの危険性は、機械の思考が人間じみてくる事よりも、人間の思考が機械じみてくる事にある。』
先日、NHKのBS世界のドキュメンタリーで、2023年にオランダで制作された原題”The Cost of A.I.”を、『生成AIの正体 シリコンバレーが触れたがらない代償』のタイトルで放送されました。多分、見られていない人の方が多いのではないでしょうか。
アメリカのビッグ・テックであるGoogleは1500億ドルを、Microsoftは1000億ドルを、生成AIとデータセンターに投資すると表明しました。そしてアメリカ、イギリスに続く第三の拠点として日本を選び、数千億円を掛けて日本語対応とデータセンターの建設を行うと表明しました。新聞やテレビのニュース記事は、AIも後塵を拝している日本にとって、巻き返しの千載一遇のチャンスと好意的に捉えていました。一人の読者、或いは視聴者である私も、同様に良いニュースと感じていました。
しかし、このドキュメンタリーを観て、私は冷や水を浴びせられました。
私がどんな冷や水を浴びせられたか、ドキュメンタリーの内容をメモしたテキストで感じて頂きたく思います。
the ininvisible 表にでないもの
第一の語り部
メディア研究者で批判的な視点で『地図のないものごとの地図を作る』アーティスト
ヴラダン・ヨーラー
「シリコンバレーの企業は、アルゴリズムやデータセンターなど、表に出さないものは全てクラウドと呼ぶ傾向にあります。これ以上ない軽い言葉です。このクラウドの中でAIにプロンプト（指示、或いは質問、依頼）を与えると、何もないところから生まれ出たかのように結果が現れます。」
「世間でAIと呼ばれる仕組みは、基本的にアルゴリズムとデータに基づいて機能します。大量のデータを処理し、パターンを識別する能力を持っています。但し、AIは何も知りません。物事を知る能力は備えてはいないのです。データの集合体、データセットの中のデータを統計的に反映しているだけに過ぎません。」
Q シリコンバレーの企業が隠したがるもの、彼ら自身のAIを使って可視化したらどうなるでしょうか
「（演算チップの基板となる）シリコンの主要な原料となるのが珪砂と呼ばれる砂です。世界で使われる珪砂のおよそ７割が中国の新疆ウイグル地区にある珪砂鉱山で生産されている。新疆ウイグル地区では珪砂採掘のため強制労働が行われているという報告がある。労働者たちは人里離れた収容所にいるという。それでもAIは彼らの姿を難なく描き出します。」
Q どうしてAIは望み通りの画像を生成できるのでしょうか
「第一段階は、大量のデータを集めるところから始まります。AIに学習させるためのデータセットにするのです。
第二段階は、データの分類です。例えば樹木の画像を生成するAIを作るとします。そのためには何千種類の木の画像を読み込まなければなりません。
そこで必要となるのが、画像を一枚一枚分類する生身の人間です。これは木だ、これは違う、これは何々の種類の木だ、という風にね。裏方の仕事ですが、集中力を要求されます。
こうして整理・分類された何千種類の画像データを基にして樹木の画像を生成するための統計的な仕組みを作り出します。
生成されるのは画像と云うより多次元の統計的な空間です。言い換えるならハルシネーション（Hallucination 幻覚 AIが誤った情報や架空のデータを生成する現象）です。統計が作り出す幻と云えます。」
humanity 人間
第二の語り部
ドイツ ワインゼンバウム研究所
AIの陰で働く人々の労働環境に関する研究を行う社会学者、コンピュータ研究者
ミラグロス・ミセリ
「AIの訓練を行うには、大量のデータが必要です。しかし、分類されていないバラバラのデータを読み込むことはできません。そのためデータの分類を人が手作業で行っていると聞いたのです。驚いた私は知り合いに訊ねました。誰がそんなことをしているのって、すると相手はこんな反応を見せたんです。
確かに、実際に作業している人がいるんだよね。誰がやっているなんて考えたことなかったよって。」
「(「チャットGPT」のようなAIを機能させるには人間が必要？)間違いなく必要です。AIがデータから自動的に学ぶ機械学習も、人間が準備しなければ機能しません。」
コンテンツ・モデレーター 仮名オマル・モーとの音声会話
『コンテンツ・モデレーターの仕事をしています。勤務先は、外部委託の会社です。オマル・モーとは仮の名前です。仕事について公の場で話せば、職を失う事になります。』
Q コンテンツ・モデレーターとは何をする仕事でしょうか？
『たとえばSNSに、ユーザーからの投稿がありますよね。その投稿が「不快なコンテンツ」かどうか私たちがチェックして管理しています。警察みたいなものです。』
Q 不快なコンテンツとはどんなものですか？
『例えば法律に違反するもの、いじめやヘイトスピーチなど。もっとキツいものだと自殺とか児童ポルノとか、テロリストが人の頭を切り落としているような映像もあります。』
Q コンテンツ・モデレーターの仕事はAIとどう関係があるのですか？
『私たちが分類したデータをAIに学習させるのです。データが細かく分類されていると、その分、AIの判断能力も向上します。』
AIにデータを読み込ませるには幾つかの方法があります。
一つは、社内でやってしまうこと。様々なアルゴリズムを設計し、AIを開発するのと同じ場所で行う方法です。でも、こういうケースはさほど多くはありません。
よくあるやり方はアウトソーシング、つまり社外にいる専門の請負業者にそっくり業務委託してしまう方法です。
『私が働く（アウトソーシング）会社には、千名ほどの従業員がいます。学生やドイツ語を話せない人も多く、彼らにとっては慣れ親しんだ言語や英語を使って働ける良い仕事です。
この職を失うと、みんな困ると思います。ドイツでの滞在許可を取り消されるかもしれませんから。』
Q ドイツのパスポートを持っていなくてビザを発給されて滞在している人の割合はどれくらいですか？
『80％か、それ以上でしょうね。私も正確にはわかりません。』
AI関連の企業は、人間の労働者が居ること事態、公にしたがりません。データを処理する労働者の存在を開示せず、彼らがどこでどんな条件の下、どれくらいの報酬で雇われているのかも語ろうとはしないのです。
Q 先ほど、非常に暴力的コンテンツを見ることもあると仰っていましたが、精神的な負担を感じた場合、どの様な心理的サポートを受けることは出来ますか？
『私たちはコンテンツの種類を選べません。ランダムに表示されます。運が悪いと、一日中、首吊り自殺の映像を見続けるハメになる。』
Q 気分が悪くなった時にはどうするのですか？ 仕事を中断したり、持ち場を離れたりするのでしょうか？
『休憩を取ることはできます。必要なだけ取れと言われますが、仕事の効率は下げられない。目標を達成し、生産性を維持しなければなりません。会社は従業員のメンタルヘルスなど気に掛けてもいないのです。』
彼ら（コンテンツ・モデレーター）は、どんな場合でも発注した顧客の望み通りに行動するよう訓練を受けます。仕事に就いたその日から叩き込まれるのです。ここでは目にしたコンテンツについて、実際のところ何を感じても、どう思っても、どう考えても、どの様に整理分類しても、攻撃的だと思っても、社会に対して有害なものだと思っても、倫理的に間違っていると思っても、顧客を満足させる事以外にすべき事はないとね。そうしなければ委託を打ち切られて仕事が出来なくなりますから。
Q 先ほど仰ったような不快なコンテンツに直面する事で感じたストレスに対処し、乗り越えるためにあなた方コンテンツ・モデレーターはどんな手段を取っていますか？
『多くの人は休憩を取って、気持ちを切り替えています。私は誰かがリストカットしている映像を見ても何とも思いません。映画の残酷な場面よりも、そういう映像の方に慣れてしまった。大きな事件としては、同じ会社の従業員で先日、自殺した人がいました。』
Q ちょっと待って、あなたの同僚が自殺したんですか？
『はい、「自殺とコンテンツは無関係」と、会社からのメールには書かれていました。でもその人は、福利厚生の部署に何度も接触を試みていました。しかし、まともな助けを得られず、不快なコンテンツを見て、結局、自殺しました。』
最先端のAIを開発している企業にとっては、聞こえの良い話ではありませんよね。我が社の提供する素晴らしいAIは、（たとえば）時給数ドルにも満たない報酬で働くケニアの労働者たちによって訓練されています、なんて。
最近、チャットポットを訓練したのはシリアの労働者たちです。戦禍にまみれた町で暮らしながら、出来高払いで働いています。月末までに幾ら稼げるのか分からないし、苦しみの声を世間に届ける手段もありません。
誰もこう云うことを表沙汰にしたがらないんです。
発注元の企業は、彼らが搾取されていることを否定できませんし、認識もしています。知らなかったと言っても信じることは出来ません。一定の期日までに技術的な課題にクリアすることばかりに夢中になって、データを処理する労働者たちの不安定な立場など気にもしないのです。彼らのことは置き去りです。
the dataset データセット
ヴラダン・ヨーラー
「最新世代のAIを支えていくのは、コンテンツを分類する労働者の血と汗と涙だけではなく、さらに大量のデータです。」
Q それらをどこから調達するのでしょうか？
「すべての本の目録を作ることが図書館の重要な仕事、私はこういう場を一種のデータセンターだと考えています。」
Q AIとはどんな関係が？
「ここに並んでいるのは、目録カードの引き出しです。見て下さい。これがメタデータです。メタデータとは、画像であれば「猫の写真」「樹木の絵」など。」
Q ファイルを開かなくても中身が分かる説明書きのこと？
「そうです。図書目録と同じ様にデータの中身を説明するデータのことを、メタデータと呼びます。メタデータの規格を統一しておれば、統計を取ることができます。メタデータの分析が可能になると、様々な処理を自動化できるのです。そのように考えると、図書館の大きさとは私たちが検索し参照できるデータの大きさだと見なすことができます。
例えばGooglebooksのような書籍の検索サービスを想像してみて下さい。ユーザーは、求めている情報をこうした図書館の建物に所蔵されている本の中から探し出すことになるのです。」
「そこで浮かぶのは、これまでどんな人物が図書館のような情報の保管庫を作ることが出来たのか、という問題です。
できるだけ沢山の記録を残してきた国ほど、情報の世界でも良いポジションを占めています。AIに学習できるデータが豊富ですからね。」
Q どんなAIも、データが多いほどより正確な答えを出せる？
「持っているデータが多ければ多いほど、精密な判断が出きるようになります。重要なのはデータの中身です。集めたデータの映像や画像や音声の内容によって、世界の見え方が変わります。AIの行う自動処理のプロセスが、自ずと決まってしまうのです。」
「シリコンバレーの大企業は、できうる限り集められれば集められるだけのデータを集めています。狩りをする、と表現しても良いかもしれません。」
「しかし、こうしたデータの中身はどうなっているのでしょう。
もしも自分自身のクローン或いはデジタルコピーが完成して、私の代わりに活動できるようになったら、ある疑問が湧いてきます。
テクノロジーで再現できてしまう「私」とは何なのでしょうか？
誰もがクローンを作りたがったらどうなるのでしょう？」
「AIの開発が始まって以来、コンピューターの処理能力は向上し続けてきました。18ヶ月ごとに倍増するケース、さらにこの数年は、半年ごとというこれまでにない速度で倍増しているのです。企業は、AIやコンピューターに投資する金額をどんどん増やしています。」
Q チップ一つの価格は？
「一つでおよそ一万ドルです。厳密な取引価格は分かりませんが、一万ドル前後です。25000個使用するので、すべて購入するとするとおよそ二億五千万ドル掛かります。」
Q 一つのAIを動かすためだけに？
「そうです。」
Q たとえばチャットGPT5など次世代のAIには何が必要なのでしょうか。
「チャットGPTはバージョンアップする度に計算の能力が100倍に増えていることが分かります。計算能力が100倍に増えれば、開発コストも大体100倍ほどになります。それを金額にして考えてみればざっと見積もっても何億ドルもの出費となるでしょう。
そこまで出せるプレーヤーはそう多くはありません。その上、開発用の設備が揃っていて大規模なデータセンターにもアクセスできる、そんな企業はMicrosoft、Google、Amazon、Appleなど、ごく一部の限られたところだけです。
より多くの力と、より多くの資金と、より多くの処理能力が必要になるのであれば、とてつもなく重要な疑問が湧きます。これを作れるのは誰なのか、という問いです。
誰が作るかという問いは、このツールの所有者は誰になるのか、と問うことでもあります。基本的には、必要とされるツールの所有者が、その後のゲームを支配することになるのです。」
「実際に、学習中のAIが実際に何を学んでいるのか明確に知ることは出来ません。内部の動きは見えないのです。AIを学習させるコードを書いている人間にも分かりません。
少なくとも私の知る限り、こういう動作をさせるためには、こういうデータが必要だという厳密な理論はありません。闇雲に大量のデータを与えては、どうなっているのかよくわからないけれど、上手く行ったからまあ良いか、と見なしているんです。」
Q まだ因果関係が分かっていない？
「そうです。（まるで魔法の機械みたい）種も仕掛けも謎のままです。」
「今のところ、こうした大規模AIシステムの中で何が起きているのか、まともな説明はありません。いわゆる、ブラックボックスです。指示を入力してから結果が出てくるまでの処理過程を、誰も詳らかに説明することが出来ないのです。
ブラックボックス、その内部で何が起きているのかを正確に知るプログラマーがいない状況で、AIの性能を上げるには、より多くのデータを集めるしかありません。
例えば、対話型のAI、チャットGPTの最新版では、学習期間におよそ一兆の単語が使われています。書籍やウィキペディア、品質の高いニュースの発信元や科学的文献などから調達しています。文学のような長文の素材も重要視されます。機械学習に携わる人々は、質の良いデータセットを構築するために、こういうものを優先してきました。」
Q 質の良くないデータセットの場合は？
「ネット上に転がっている文字データを中心に使います。ソーシャルメディアへの書き込みやつぶやき、メッセージアプリで交わされる短い会話。」
「AIを開発している企業は後五年もたたないうちに、人類が生み出したデータの大部分を収集し尽くしてしまう筈です。」
Q つまり質の高いデータが枯渇してしまう？
「それは間違いないと思います。私たちは従来手に入れてきたものよりもずっと質の高いデータを訓練で使いたがると思いますから。」
Q ではAIが生成する大量のデータはどうなるのですか？ 画像もあれば、テキストもあります。これらもAIが学習するデータセットの一部となっていくのでしょうか？
「その可能性はあります。人間が書いた文章の代用品として、AIが機械学習したものをAIの教材として使うことになったとしても、私は驚きません
何かの対策を施さなくては、この一二年で私たちの世界はコンピューターが生成したコンテンツに完全に汚染されてしまうでしょう。
理論上は、あと数年で機械が作ったコンテンツの量が、人間が生み出したコンテンツの量を超えます。統計学を駆使した高度なシステムがガラクタを作るために生み出されている。オートメーションて偽情報を量産しているのです。
その上、私たち人間はこの状況を招いた企業に、情報の真偽を自動で見極める手段の開発まで求めている。全く逆の仕事をする二つのシステムを作れって言っているのです。一方で情報を作り出し、もう一方で情報を修正させようとしているのです。これは大きな間違いの基になると思うのです。」
「AIが作り出す世界に生きることとは、平均値を追い求める凡庸な世界に生きること。私たちはそれを望んでいるのでしょうか？何がそして誰が私たちの未来を選ぶのでしょう。」
「私たちが向かっているのは、平均値を理想とする世界です。統計的に見れば進歩なのかもしれませんが、微粒子は皆失われていきます。文化や社会における微粒子とは、私たちのことです。それぞれに立場や考えの異なる人々、ひとりひとりが個性的な微粒子です。しかし、AIのような統計に基づくシステムは、凡庸であることへと傾いていくのです。」
「一つだけ、確かなことがあります。
AIは雲の滴でも魔法の箱でもありません。血と汗と貴重な金属を費やして作られるものなのです。
AIが作り出すコンテンツは統計によって導き出された幻覚のようなものです。その事に気付けばむしろ興味深く感じられます。真実ではないと言うことを理解することが大切ではないでしょうか。」
コモン・クロール ネット上のデータを蓄積し、無料で提供する非営利団体
第三の語り部
認知科学者
アベバ・ビリャネ
「いかなるAIにとってもデータセットは必要不可欠なものです。大規模なデータセットが無ければ、AIは作れません。それほど重要な存在であるにもかかわらず、データの中身や出所について注意を払う人が決して多くないのが現状です。
実際、AIに読み込ませるデータセットの質は、悪くて当たり前と考えるのが普通になっています。基準がとても低いのです。」
「データセットの質をチェックするために、どんなキーワードがどんなデータと結びつけられているか、検索して記録に残しています。
私がこれまでに検索したのは、こんなキーワードです。
アフリカ系、アジア系、Aで始まる英単語、黒人の中年女性、痩せている、小さい、テロリスト、スカートの中の盗撮、白人至上主義･･･」
「人的によるデータの収集は、とても効率が悪いのです。手当たり次第に集めたデータを一生懸命分類したり、有害な内容を取り除いたり、AIが読み込めるデータにするまで、時間と手間が掛かります。
しかし、ここ二年ほどで状況は変わりました。
人を使ってデータセットを作るのではなく、コモン・クロールの自動化システムで自動的に収集されたデータを使うのが主流になったのです。」
「AIが生成する回答は、データセットが大きいほど賢くて興味深いものとなる。その事に気づいた開発者たちは皆、コモン・クロールが提供する自動的に収集した強大なデータセットを使うようになりました。」
「コモン・クロールはアメリカの非営利団体です。ウェブサイトを毎日自動的に巡回し、データを集めて大量に蓄積するので、日を追うごとにデータが増えていきます。」
「データセットには深く根付いたステレオタイプが現れていることがあります。例えば、美しいという言葉の多くは、裸の女性の画像データと紐付けられています。検索するとポルノサイトの画像が大量に出てくるのです。
一方、ハンサムと言う言葉で検索するとスーツを着た白人男性の画像が出てきます。
こういうステレオタイプの認識がデータセットにどれだけ染み付いているのか調べているのです。」
「インターネットの大部分は、暗い路地裏のような場所なんです。私にとってインターネットは、みんなの考えが反映された場所と云うよりも、人々が有害廃棄物を垂れ流す場所に見えます。
だからこそ、ネットには適切なセーフガードや有害なものをフィルタリングする仕組みが必要なのです。インターネットは全人類の考えを反映したもので、データはそこから引っ張ってくればいい。そんな安易な考えは危険だと思います。インターネットは問題だらけなんです、でも残念なことに何十億もの人々が関わるデータを手に入れられる場所は、インターネットの他にはありません。そこが問題なんです。」
「AIに学習させる際、こうしたステレオタイプのデータを使用すると、こんな風にステレオタイプの回答をするAIが出来てしまいます。」
如何でしょうか。
冒頭のジョセフ・ワイゼンバウムの言葉
『AIの危険性は、機械の思考が人間じみてくる事よりも、人間の思考が機械じみてくる事にある。』が、現実に起こっている、進んでいる、という言い知れぬ恐怖を覚えます。
もっというなら、ホロコーストの時代を生き抜いたユダヤ人の政治哲学者ハンナ・アーレントが、アドルフ・アイヒマン、ユダヤ人を最終処分場であるアウシュビッツなどの絶滅収容所に輸送する陣頭指揮を執ったナチスの役人の裁判を傍証し、こんなにも凡庸な男が、組織の指示に機械の一歯車となって、600万人ものユダヤ人の大量虐殺の指揮をしたことに、人間の深い闇を感じ、『悪の凡庸』という言葉を残しましたが、その『悪の凡庸』が、ここにも現れている、と感じます。
この数年でAIの進歩は凄まじいものがあります。
初期のものとしてはGoogle検索です。知りたい事をプロンプトにテキストで入力すれば、知りたい情報の所在が、優先順位の高い順からリストで示されました。これでも途方もなく有り難かったですが、今では、音声や画像で問い掛ければ、回答を返してくれます。
さらに生成AIともなれば、問いや指示に対して、まるで人間の様に、記憶した情報から問いや指示に沿う回答を生成し、回答としてテキストや音声、画像、動画を、リアルタイムで返すまでになりました。まさにリアルタイムなコミュニケーションが可能になったということです。
この世の中には、あらゆる場所で、私たちをサポートしてくれるヘルプデスクが存在します。それらに置き換わって、リアルな人間の姿をモニターに映した生成AIが、24時間、どんなヘルプにも、温容に、丁寧に、正確に、対応してくれる様になるのです。
しかし、映し出される人間が、自分の家族であったり、友人であったり、信頼している人、超有名人であったりしたら、見慣れている表情、聞き馴染んでいる声で話しかけられたら、私たちは本人と疑う手段は、ほぼ皆無となり、本人と信頼しきって会話をすることになるでしょう。もうけ話を持ちかけられたり、助けを求められたり、内緒事を話してしまったり･･･、そう、現在、私たちを苦しめる詐欺行為の深刻度が更に増す事になるのは間違いないことです。
そしてもう一つ、いまやOECDの中でも貧困率が高い国となった、そしてOECDの中でも依然として識字率の高い日本人が、コンテンツ・モデレーターの仕事に従事させられる未来を想像すると、さらにぞっとする絵が浮かんできます。
AIが作り出す空間にバーチャル・リアリティーの空間があります。バーチャル・リアリティーが作り出す空間を多様性のある、自由で民主的、平等な世界と捉える向きがありますが、AIになにがしらの指向性が隠れていたら、私たちは知らず知らずの内にAIに感化されることになります。現実とバーチャル・リアリティーとのギャップに苦しんだり、現実への怒りや憎しみが募ることも容易に想像できます。コンテンツ・モデレーターもそれと同じ苦しみを味わうことになると思います。
私たちは、どう避けられるのか。また、古来からの日本人が紡いできたコンテンツが奪われ、AIが生成する偽コンテンツに汚染されない為に、どうすればよいのか。
途方もない難問が、すぐ目の前に迫っていることを実感させられました。
まず、私たちができる事とは、知る事、知ろうとする事、だと思います。
それを強く私は、主張したいと思います。
