生成AIと余弦定理とマルコフチェーン
コンピューターが文章やニュース記事を計算する(「読む」のではない)には、その文章やニュース記事を分類することから始まり、意味の近さや分類には『余弦定理』が利用されている。また、文中の単語や文節などから(例えば主語が「会社員」であれば、文中に「小学校」や「塾」ではなく、「顧客」や「利益」などがくるように)、次を予測するのに『マルコフチェーン(マルコフ連鎖)』が利用されている。などなど。。最近話題の生成AIには数学が大活躍している(ようである)。
最近読んでいる本『数学の美 情報を支える数理の世界、呉軍(Wu, Jun) 著、東京化学同人、2024』や、雑誌『数理科学』の記事から現在ホットな話題の生成AIは多様な数学の下で成立している。この『数学の美』の著者は中国の大学を卒業後、アメリカの大学院に留学し、その後、グーグル社とテンセント社で上級研究員や副社長を務めたエンジニアである。これまでの開発体験などをブログとして公開していたものが本のもとになっている。グーグル社でもあえて”シュミットの時代”と記載しているように、グーグルが彗星のごとく現れて、ネット検索を単なる検索ツールではなく、インフラのごとく高みに上がっていった時代である。1967年生まれと著者紹介に書いてあるので、偶然にも私も同じ年である。また、最新第三版まえがきには、「2020年3月 シリコンバレーにて」とあるので、今もシリコンバレーにいるのかもしれない。アメリカ、中国と国境を越えて、世界の最先端を走ってきた(今も走っている?)方である。
さて、余弦定理はどこで利用されているか? 文章をベクトルに変換して、二つの文章が似ているか否かを余弦定理から比較、分類している。例えば、「息子」ベクトルから「娘」ベクトルへ向かうベクトルは、「King」ベクトルから「Queen」ベクトルへ向かうベクトルの方向はほぼ同じという感じである(大きさは異なるかもしれないが)。
マルコフチェーンは、未来は現在のみから決まり、過去には影響されないという条件付き確率で、確率過程の一種である。よく天気に例えられ、今日の気温は昨日の気温とは関係あるが、前々日の気温とは関係がない、という感じである。私は大学の卒業研究でモンテカルロ法を利用した粒子シミュレーションを行ったのだが、この時初めてマルコチェーンという言葉に触れた。思わずその時に購入した書籍を本棚の奥から引っ張り出して見つけた時は、思わず嬉しくなった。先の例えでは時間経過が元のマルコチェーンであるが、最初に書いたように、ある単語から連想される言葉に重みづけしていることに利用しているのであろう(と勝手に思っている)。