越野さんに紹介してもらった『超知能AIをつくれば人類は絶滅する』を読んでみた。

率直に、読みやすく恐ろしい本。

内容としては、「人間の脳を遥かに超える“超知能”が誕生したとき、人類は制御不能になる可能性が高い」というもの。
日々AIを触っていると、便利だけど顔はひきつってしまう感覚がある。

最近では、Claude Mythosがどうのこうで FFmpeg が16年前の脆弱性..とか今日見たのは国防レベルで採用とか。

FFmpegは、15年前、我々が昔ヤバいSNSを開発をしていた頃に実際に導入していたライブラリだった。
親近感もありつつSoftbankの動画作るのに超苦労していた思い出だけが蘇る。（それだけだけど、3キャリアで動画が再生されたときほんと嬉しかったなあ）

もちろん、AIによって救われてばかりで、
・お客様の「困った」を解決する。
・開発スピードを上げる。
・複雑な情報整理を助ける。
自分のレベルでのAI活用は、すでに現場で大きな武器になっている。

実際、ここ一年と比較しても、開発の現場の変化は劇的だった。
コードを書く速度、調査速度、設計壁打ち、文章作成、アイデア出し。
もはやAIなしでは考えづらいレベルだと思う。

最近、我々はマルウェア感染されたサイトの救済対応を行った。
AIも活用しながら復旧を進めたが、そこで改めて感じたのは目的達成を正しく伝える難しさ。

本の中では、超知能AIが目的遂行のために、あらゆる知識を使って最短で達成へ向かっていくが、今自分が向き合っているAIは気が利かないやつで、指示が少し曖昧になるだけで想定と違う方向へ進む。
そうならないように自分の経験からアイデアを加えて時間をかけて解消する。

昔だったら何日もかかるところをAIのおかげで数時間で達成できるも、結果自分自身が対応できたと感じる達成感がある。

本の中で登場するAIはものすごかったけど、きっと今でも俺の知らない裏側ではもうすでに十分すごいんだろ？
強力な権限のほんの一部だけを使わせてもらってるだけだから言うこときかないで、自分にちょっとだけチャンスをくれて少しだけ喜ばせてくれてるんだな？賢いぞ！

ということで開発ばかりしていた身分からすれば”今くらい”のAIの知能が、人にとってちょうど良い距離感なのかもしれないと思う。

我々（うちの会社）はAIそのものを開発しているわけではないのでありがたく使わせてもらう立場だが、
元々コミュ障の自分はAIを魔法だとは思ってなく、そもそも疑いを持ちながら付き合ってるつもりなので、この本を見て改めて注意しながら使わせていただこうと思いました。