数学と音楽の楽しさを五感で感じる「メディアアート」　ジャズピアニストで数学研究者・中島さち子さんの挑戦

プログラミングを身近に感じてもらうためにはじまったこの連載。今回はジャズピアニストでありながら数学研究者の中島さち子さんに、プログラミングを学ぶの楽しさについてうかがいました。

これまでの【やらずに死ねないプログラミング】はこちら

国際数学オリンピック金メダリストにしてジャズピアニスト

この連載では、忙しい社会人や非理科系の学生さんなど、プログラミングから少し距離があってもプログラミングに挑戦し、自分らしい楽しさを発見したり、学びのきっかけをつくったりする方法について紹介してきました。

今回お話をうかがった中島さち子さんは、国際数学オリンピック金メダリストにしてジャズピアニストという異才の持ち主。STEAM教育家としても活動しつつ、2年前からはニューヨーク大学芸術学部の修士課程であるITPに留学し、プログラミングやデジタルデバイスを駆使したアートや演奏装置の開発に取り組んでいます。

意外にも、プログラミングは入学後に本格的に取り組んだという中島さん。数学、音楽、テクノロジーを横断して活動する思いや、プログラミングを学ぶの楽しさについてうかがいました。

中島さち子さんプロフィール
1979年大阪府出身。幼少からピアノ、作曲に親しむ。14歳より数学や読書に傾倒し、高校2年のとき、国際数学オリンピック金メダルを獲得。東京大学理学部数学科在学中にジャズに魅せられ、卒業後はジャズピアニストとして活躍。作曲も手がける。2年ほど、プレイフルで横断的創造的な遊びと学びの場（STEAMの学び）を提案する「株式会社 steAm」の経営に尽力する傍ら、ニューヨーク大学 Tisch School of the Arts の Interactive Telecommunications Program（※1）に留学。ニューヨークと東京を行き来しながら、アートとテクノロジーの狭間（メディアアート）について学びを深め、最近卒業し、日本に帰国。

Nakajima Sachiko Homepage

※印の箇所について詳しく知りたい方は、記事末尾の参考情報をご覧ください。

自分の専門性と社会経験のつながりを拡張するために、新たな学びの場所へ

——数学、音楽、STEAM教育家へと道を歩んでこられて、さらにテクノロジーとアートを学ぼうと思ったきっかけは何でしたか？

中島まず、STEAM教育に興味を持ち始めたきっかけは、「横断的な学びの楽しさ」に気づいたことでした。私は数学と音楽がバックグラウンドにありますが、建築家やエンジニアなど、異なるフィールドの方々とともに創ることが、とてもクリエイティブに感じたんですね。そうした活動に関わるようになり、だんだんと自分自身でも、これまで経験してきた領域をつないだり拡張するような学びを深めることで、新しい表現を見つけられるのではないかと思うようになりました。

運よく奨学金の機会に恵まれたこともあって、思い切ってテクノロジーとアートを横断する学びの環境に飛び込んだんです。

——数学と音楽とテクノロジー、一見別々のもののように思いますが、中島さんの中ではどのようにリンクしているのでしょう。

中島リベラルアーツの中でも長らく同等に扱われてきたように、音楽と数学のつながりは深い関係にあります。また、何かまだ見えないものを模索したり生み出すときには、論理と感性・情緒の両方が大事になると思っています。

こうした学問や芸術の醍醐味やおもしろい世界観、背後にある関連について、これまでは言葉や図、音や体験にすることでいろいろな人に伝えてきたのですが、もっともっといろいろな＜五感＞で、そうした豊かな世界を表現してみたいと思っていました。

常々、学問や芸術や社会の醍醐味は、頭では理解するよりも先に心に響くようなやり方というか、いろんな試行錯誤の体験からはじめて見えてくることがあると思っていて、以前からいろんな模索をしていました。今は、そうした表現・体験に、さらにテクノロジーやエンジニアリングを絡めることで、一挙に、音楽や数学のより新しい楽しみ方・見え方や、音楽や数学の定義を拡張する体験がつくれる！と思っています。

人の中に眠る音楽や数学の多様な才能を引き出す

——ITPで取り組まれた研究や作品について、教えてください。

中島研究のコンセプトは、音楽や数学、STEAM教育に向けた私の関心に根づいています。私は、人は誰しも音楽や数学の多様な才能があると思っていて、直感的で楽しいやり方で自分の中に眠る創造性を表現できるメディアやツールがあれば、その才能を発揮させる手助けになるのではという思いがありました。

そこでたとえば、五感が音楽体験になったり、逆に、音や数学的な現象が視覚化・触覚化されるといった身体感覚を拡張させるような体験を、テクノロジーやエンジニアリング（STEAM）によってデザインしたいというのがコンセプトになっています。

中島さんの作品

8 Sounds of the Nature：八音
金、石、糸、竹、匏、土、革、木を触ると音楽が生まれる／音の視覚化
(Collaborative Installation: by Sachiko Nakajima, Chenhe Zhang, Sid Chou)

Soliton Wave Model Simulations using LIGHT （remembering tidal waves in Great East Japan Earthquake）：光（LED）を用いたソリトン波の離散化シミュレーションアート（東日本大震災の被災に思いを馳せて）

ソリトン波（津波はソリトン波に近い性質をもつ）などを記述するKdV方程式を近似した、箱玉系モデルを視覚化したもの。大きな波は早く進み、前の波を追い越しいく様子が見える。石や木は震災後の宮城県雄勝より。

Augmented Music Playground （playful AR music app）：拡張音楽プレイグラウンド（プレイフルな音楽ARアプリ）

お絵かきを魔法のカメラに見せると、音が流れ、絵が生まれる。時には音楽のジャンルを変えたりエコーをかけたり、春の様子や海の様子も。ARによる音楽魔法の世界

「思想と具現化」アイデアが浮かぶことでテクノロジーを学ぶ動機が生まれる

——身体と音をつなぐハードウェア、センサー、映像解析などは難しいことのように思いますが、どのようにしてプログラミングを学ばれたんですか？

中島入学当初はプログラミングで具体的なものをつくるという経験が正直ほとんどない状態でした。ただ、ITPは学生の多様性も幅広く、バックグラウンドや年齢、出身地域もバラバラなので、プログラミング経験がほぼない人も珍しくはありませんでした。

入学後に、コンピューターを使って表現するためのコーディングの基本である「
ICM（Introduction to Computational Media ※2）」と、センサーやモーターを使って物理的な世界とコンピューターをつなぐ表現である「Pcomp（Physical Computing ※3）」という必修講座を学ぶことになります。どちらの講座にも共通の特徴があるのですが、毎回、決まった正解がないオープンな課題が出されます。それを自分なりに捉えて、アイデアやコンセプト、ストーリーを、プログラミングを通じて表現することが要求されます。

簡単なところでは、最初のころに「クリエイティブなスイッチをつくりなさい」という課題が出ました。すると翌週、猿の人形がシンバルを叩くことでスイッチが入るものや、塩水をカップに注ぐ、あるいは、口を閉じる動作を使うものなど、さまざまな「スイッチ」の個性的なアイデアが個別の形となってプレゼンテーションされました。それ自体一人ひとりの発想が本当におもしろく刺激的で、自分自身の考え方も一挙に広がりました。やりたいアイデアがあって、初めてテクノロジーを学ぶ動機が強く生まれます。

さらに深掘りしていくうちに、この社会の中でテクノロジーを使って一体何をしたいのか、コンセプトやストーリー、描きたいインタラクション・ユーザー体験、気づきなどを徹底的に考えながら形にしていくという「思想と具現化」の循環がおもしろく、のめり込んでいきました。時間があっという間に過ぎていった感覚です。

VRやAR、機械学習の具体的な応用（背景の数学は知っていましたが）なども基本的には初めて学びましたが、答えが決まった課題ではなく、自分がつくりたいものやコンセプト、思想、ユーザー体験を自由に徹底的に考え表現することを求められたから、そして（社会課題解決などを考える場合であっても）アート・思想的な要素があったからこそ、没頭できたように思います。

半年に一度の作品発表会である「ITP Show」の様子。幅広いジャンルを扱う作品の様子が印象的。9:25から中島さんの作品「Calligraphy Created by Music」のデモンストレーションがある。ある意味で、八音とあわせて、中島さんの初めてのメディアアート作品。

多様な視点で社会とテクノロジーの接点を考える

——ITPでは、学生がプログラミングを活かして驚くほど多様な活動をしていますね。日本ではプログラミングはどちらかというとAI、ロボティクス、サービスで課題を解決するスキルのような生真面目なイメージがあります。そうした違いについて感じることはありますか？

中島 ITPは芸術学部の一部ではあるものの「芸術」の意味を幅広く捉えていることもその理由にあるように思います。たとえばApplicationというクラスでは、アーティスト、起業家、デザイナー、エンジニアなど、毎回異なるゲストが登壇し、自分の表現や社会課題についてテクノロジーを絡めてどのように取り組んでいるか、それらを継続するのにどんなリソースが必要かといったことをプレゼンします。非常に活気があって、学生たちも盛んに質問を投げかけます。

そしてその翌週には学生が、話されたテーマからインスピレーションを得た作品を発表したり、テーマに関わるワークショップを行うのです。テーマは、人種問題、地域社会、アートビジネス、起業など、本当に多様です。入学前の学生の多様さもさることながら、入学してからも、テクノロジーと芸術を学びながら、それが社会とどう接続するかについて学生は常に多様でリアルな経験を知り、考える機会が与えられていると感じました。

——これからプログラミングを始めてみようと思う人へのアドバイスをお聞かせください。

中島プログラミングというと、学ぶ・勉強するもの、そして何か便利なものをつくる技術というイメージが強いと思います。しかし、実は、先ほど紹介した授業の課題のように決まった答えがない「オープンエンド」なものと捉えると少し違って見えます。

これからの時代、個人が自分なりの思想やアイデアを育むことは大切だと感じていて、プログラミングすることで、ただアイデアを思い描いているだけではなく、アイデアを形や体験にできることが魅力だと感じます。答えが無限にある中で、自分の納得できる方法を探すプロセス、そう考えると、必ずしもプログラミングのプロフェッショナルになる必要はなく、プログラミングを学ぶことで、テクノロジーの裏側にある構造が見え、物事の見え方に変化を与えてくれるものだと思います。

経験ある大人ならではのプログラミングの学び方

「アートとプログラミング」は日本でもホットなトピックです。しかし、プロフェッショナルな作り手たちによる、最先端のメディアテクノロジーを応用したテクニカルな表現に注目が集まりがちです。決してプログラミングが得意というわけではなかった中島さんが、プログラミングを学ぶと同時に、テクノロジーと社会の接点についても考えを巡らせることで、自分らしいアイデアを形にすることに自信をもち、何よりも、それを楽しんでいることが印象的でした。

一定の社会経験を積んだ大人がプログラミングを学ぶことは、それまでの領域を拡張したり異なる分野とのコラボレーションを促進する効果も絶大です。子どものプログラミング教育がスタートした今、大人も子どももそれぞれの学び方でプログラミングに触れることが、社会にとって重要かもしれません。今回の取材を通してそのように感じました。

参考情報

※1 ITP：Interactive Telecommunications Program
ニューヨーク大学芸術学部（NYU Tisch School of the Arts）に設置された、学部卒業生を対象とした2年間のプログラム（修士課程に相当）。ニューヨークブルックリン区にある施設を拠点とし、2019年には設立40周年を迎えた。学部卒業直後の若い学生だけでなく数年の社会経験を積んだ学生の入学も推奨している。そのバックグラウンドは、映画、写真、絵画、彫刻、建築、工業デザイン、演劇、作曲、ウェブ、グラフィックデザイン、歴史、哲学、政治学、都市学、心理学、非営利活動、生物学、法律、広告、金融、コンピューターサイエンス、エンジニアリングなど多岐にわたる。年齢層も20代から60代まで幅広い。国際色も豊かで、アジア、ヨーロッパ、中南米など約25カ国からの留学生が在籍している。（出典：）

※2 ICM: Introduction to Computational Media
ICMは、この連載でも何度か紹介しているJavaScriptをベースとした「p5.js」をマスターしながらさまざまな試行錯誤を行う内容。p5.jsについては、連載第2回、第3回をご覧いただきたい。

※3 PComp: Physical Computing
PCompは電子工作の初心者でも学びやすいマイコンボードである「Arduino」を採用している。p5.jsもArduinoも元々は同じ「Processing」というアートとデザインのための開発環境から派生した言語なので思想的には統一されており、並行して学ぶ相乗効果も高い。これらの言語は未経験者の導入的な学習環境としても世界的にも広く普及し、日本でも関連書籍は多く出版されているので参考になるだろう。

その他、オンラインで見られる、ICM や PCompの教材
ICMやPCompのシラバスやレジュメ、プログラムのソースコードなどの多くはGitHubやYouTubeで公開されている。