- 127
- 63 828
DBSJ最強データベース講義
เข้าร่วมเมื่อ 15 ก.ย. 2020
日本データベース学会（DBSJ）が取り組む 「最強データベース講義プロジェクト」 は、データベース関連分野の幅広いトピックについて第一人者として最先端の研究をリードされている教授陣による講義動画を無償で提供しています。
参照：本プロジェクトの開催趣旨（by 喜連川先生） th-cam.com/video/oA2bg0qUiUA/w-d-xo.html
本プロジェクトでは、リアルタイムなオンライン講義として公開収録したものを再編集し、後日講義動画として提供します。 講義動画は、個人でのご聴講に加えて大学での講義など機関の利用もウェルカムです。 その際には、DBSJにもご連絡頂けますと幸いです。
難易度をハッシュタグで設定しています
#最強DB講義_エントリ 学部教養レベル
#最強DB講義_ベーシック 情報系学部3年レベル
#最強DB講義_アドバンスト 情報系大学院生レベル
参照：本プロジェクトの開催趣旨（by 喜連川先生） th-cam.com/video/oA2bg0qUiUA/w-d-xo.html
本プロジェクトでは、リアルタイムなオンライン講義として公開収録したものを再編集し、後日講義動画として提供します。 講義動画は、個人でのご聴講に加えて大学での講義など機関の利用もウェルカムです。 その際には、DBSJにもご連絡頂けますと幸いです。
難易度をハッシュタグで設定しています
#最強DB講義_エントリ 学部教養レベル
#最強DB講義_ベーシック 情報系学部3年レベル
#最強DB講義_アドバンスト 情報系大学院生レベル
[DEIM2024 tutorial] LLMの嘘：ハルシネーション解説
講師：
三島惇也，北村拓斗，桑原悠希，高橋巧実，鈴木優（岐阜大学）
概要：
Llama2やGPT4をはじめとするLLM(Large Language Model)が登場し，パラダイムシフトが起きた．ChatGPTやGitHub copiloteをはじめとするLLMを用いたサービスを利用する人が増えてきた．LLMは様々なタスクで高い性能を示すが，LLMは嘘（ハルシーネーション）を生成することもある．本チュートリアルでは，LLMのハルシネーションに焦点を当てる．LLMの構築方法からハルシネーション解消に向けたアプローチまでを解説する．少しでもLLMをわかって（わかった気になって）くれると嬉しい．また，本チュートリアルは学生が主導して行う．今回の試みが将来的に，学生によるチュートリアル発表が行われる契機となり，本研究会の発展や学生間の交流につながることを我々は期待している．
詳細・資料等：
confit.atlas.jp/guide/event/deim2024/static/tutorial#tu-d-2
三島惇也，北村拓斗，桑原悠希，高橋巧実，鈴木優（岐阜大学）
概要：
Llama2やGPT4をはじめとするLLM(Large Language Model)が登場し，パラダイムシフトが起きた．ChatGPTやGitHub copiloteをはじめとするLLMを用いたサービスを利用する人が増えてきた．LLMは様々なタスクで高い性能を示すが，LLMは嘘（ハルシーネーション）を生成することもある．本チュートリアルでは，LLMのハルシネーションに焦点を当てる．LLMの構築方法からハルシネーション解消に向けたアプローチまでを解説する．少しでもLLMをわかって（わかった気になって）くれると嬉しい．また，本チュートリアルは学生が主導して行う．今回の試みが将来的に，学生によるチュートリアル発表が行われる契機となり，本研究会の発展や学生間の交流につながることを我々は期待している．
詳細・資料等：
confit.atlas.jp/guide/event/deim2024/static/tutorial#tu-d-2
มุมมอง: 512
วีดีโอ
![[DEIM2024 tutorial] 連合学習のすゝめ。](http://i.ytimg.com/vi/EIQR1RI5Gks/mqdefault.jpg)
![[DEIM2024 tutorial] 連合学習のすゝめ。](/img/tr.png)
[DEIM2024 tutorial] 連合学習のすゝめ。
มุมมอง 4957 หลายเดือนก่อน
講師： 佐々木 勇和（大阪大学），西尾 理志（東京工業大学），Seng Pei Liew（LINEヤフー），Yang Cao（北海道大学），鈴木 雄太（トヨタ自動車） 概要： 連合学習は各クライアントが保持するデータをサーバと共有せずに，学習済みモデルを共有することで，高精度なモデルを構築する分散型の学習アプローチである．プライバシの保護および通信量の削減が可能であるため，研究開発だけではなく実際のサービスに既に応用されている．本チュートリアルでは，連合学習の重要性や研究の面白さを伝え，多くの学生や研究者に連合学習を浸透させることを目的とする．背景や概要を説明した後に，データ不均一性，プライバシ，および通信効率とった様々な観点から行われている手法を紹介する．さらに，各個人がもつようなモバイルデバイスへの応用と各企業や組織がもつようなデータサイロへの応用を紹介する．最後に，我々が考えて...
![[DEIM2024 tutorial] 大規模言語モデルに基づく検索モデル](http://i.ytimg.com/vi/S3C-n52O3RA/mqdefault.jpg)
[DEIM2024 tutorial] 大規模言語モデルに基づく検索モデル
มุมมอง 2457 หลายเดือนก่อน
講師： 加藤 誠，阿部 健也，薄羽 皐太（筑波大学） 概要： BERTやGPTなどの大規模言語モデルに基づく検索モデルは、様々なテストコレクションにおいて優れた性能を発揮し、2023年時点において多くの注目を集めている。2019年から2023年現在までに提案された検索モデルは70を超え、大規模言語モデルの情報検索への適用は、実サービスにおいても一般的なものとなっている。本チュートリアルでは、大規模言語モデルを利用した検索モデルを、Linが提案する概念フレームワークに従って整理し、代表的な検索モデルについて紹介する。また、我々がTRECやNTCIRなどのアドホック検索タスクに参加してきた経験に基づいて、学習データや学習方法、代表的なモデルの挙動など、より実践的な内容についても説明する。 チュートリアルの構成としては以下を予定している。 1. 情報検索モデルの概念フレームワーク 2. 教...
![[DEIM2024 tutorial] OSSデータベースの開発コミュニティに参加しよう！](http://i.ytimg.com/vi/LGEwWEUap4c/mqdefault.jpg)
[DEIM2024 tutorial] OSSデータベースの開発コミュニティに参加しよう！
มุมมอง 3027 หลายเดือนก่อน
講師： 藤井 雅雄，加藤 慎也（株式会社NTTデータグループ） 概要： オープンソースソフトウェア（OSS）のリレーショナルデータベース管理システムであるPostgreSQLは、世界中の開発者が協力して開発され、多くの企業や組織で利用されています。また、開発においては学術研究の成果が様々に活用されています。本チュートリアルでは、OSSやPostgreSQLの基本を解説し、PostgreSQL開発コミュニティへの参加方法に焦点を当てます。 具体的には、PostgreSQLのバグの調査からコミュニティへの報告、修正パッチの投稿方法について解説します。また、ライブコーディングを通じて、簡単な機能の実装、コンパイル、実行を実演します。さらに、今までにNTTデータグループが開発したPostgreSQLの機能を説明し、最後にアカデミックなデータベースの研究とPostgreSQLの関連についても紹...
![[DEIM2024 tutorial] 統計的形状分析による経済データ分析](http://i.ytimg.com/vi/ej0sETEsDrA/mqdefault.jpg)
[DEIM2024 tutorial] 統計的形状分析による経済データ分析
มุมมอง 1717 หลายเดือนก่อน
講師： 白田由香利（学習院大学） 概要： データ散布図をひとつの形状(shape, formation)とみなすことで，データ集合の時系列変化は形状のフォーメーション変化(deformation)として表現可能となる．この変化は非線形であり，従来定量的計測が困難であったが，統計的形状分析により，主成分ごとに変化を測定可能となった．統計的形状分析は，生物学的進化（骨格の変化など）の計測手段としてMardia達がセオリーを開発した．しかし我々のチームでは経済経営データに対して適応してきた．例えば，国のGDP成長率と貧困レベルの散布図の時系列変化分析などである．本講義では，経済データによる応用を説明した後，数学的セオリーを説明する．形状は，センタリングおよびスケーリングを行い，preshapeに変換する．Preshapeの形状空間はリーマン多様体としてみなすことができ，形状間の距離はリーマ...
![[DEIM2024 tutorial] 高次元空間の最近傍探索 (Approximate Nearest Neighbor Search in High-dimensional Space)](http://i.ytimg.com/vi/1k2t4jzx2i4/mqdefault.jpg)
[DEIM2024 tutorial] 高次元空間の最近傍探索 (Approximate Nearest Neighbor Search in High-dimensional Space)
มุมมอง 1677 หลายเดือนก่อน
講師：Kejing Lu (名古屋大学) 概要： ビッグデータの時代では多くのアプリケーションで大規模なデータセットを扱う必要があるが，その際に必ず直面する問題が最近傍探索問題（NNS）である．この問題は非常に基本的であり，データマイニング，画像検索，推薦システムなど，ほとんど全てのアプリケーションに現れる．特に近年，人工知能・機械学習の分野で注目されている「ベクトル検索」もNNSに深く関連する．この問題を解くことは，特に高次元空間においては非常に困難である．そのため，近似最近傍探索問題（ANNS）が注目されている．このチュートリアルでは，ANNS問題の包括的な紹介を行う．チュートリアルは以下の3つの部分からなる． 第1部では，ANNSの背景と，高次元空間におけるその難しさについて述べる．この問題の目的は極めて理解しやすいが，以下の2つの理由により，この問題を実際に解くことは容易では...
![[DEIM2024 tutorial] LLMと音声理解・生成の最新動向](http://i.ytimg.com/vi/UFtnyYDe3oA/mqdefault.jpg)
[DEIM2024 tutorial] LLMと音声理解・生成の最新動向
มุมมอง 4547 หลายเดือนก่อน
講師： 西田京介，安藤厚志（NTT 人間情報研究所） 概要： ChatGPTの登場以降、LLMをベースとした汎用人工知能（AGI）の実現が現実味を帯びつつある。OpenAIのGPT-4は、言語理解・生成の高度な能力に加えて視覚入力の処理も可能となり、一部のタスクでは平均的なヒトを超える能力を既に実現している。さらに、GoogleのGeminiは、言語と視覚に加えて音声に対する学習も組み込むことで、ヒトとAIの共生社会に革命的な進化をもたらす可能性を秘めている。このチュートリアルでは、大規模言語モデル（Large Language Model; LLM）および、LLMのマルチモーダル拡張における音声の理解と生成の分野に着目する。前半では、LLMの基本から最新の進展について詳しく解説し、後半ではLLM関連技術が音声理解・生成に与えた影響やLLMを活用したマルチモーダルなアプローチについて...
![[DEIM2024 tutorial] クラウド環境で駆動する生成系AIの最先端](http://i.ytimg.com/vi/kdzuyPgwBVw/mqdefault.jpg)
[DEIM2024 tutorial] クラウド環境で駆動する生成系AIの最先端
มุมมอง 1187 หลายเดือนก่อน
講師：杉村 勇馬(株式会社G-gen CTO)，山本 紘暉(クラスメソッド株式会社 新規事業部 生成AIチーム)，遠藤 雅樹（職業能力開発総合大学校／WorldSkills クラウドコンピューティング職種エキスパート），横山 昌平(東京都立大学／クラウド技術者養成協会) 概要： ChatGPTを始めとした生成AIの話題で持ちきりの一年でした。データ工学や情報マネジメントの研究コミュニティーにおいても、生成AIを使う研究が多数出てきています。膨大な計算リソースとデータを準備し独自のAIモデルを構築する事もできますが、クラウド環境を使えば、容易に生成AIを活用する事ができます。皆さんの研究にすぐに利活用できるように、本チュートリアルではAWSとGoogle Cloudの二つの環境において、生成AIを使う方法を伝授します。対象とする技術レベルは情報系の大学生・大学院生です。また、チュートリ...
ScalarDBにおける様々な拡張と性能特性（グローバルトランザクションを実現する技術 by 山田浩之 Part5）
มุมมอง 1337 หลายเดือนก่อน
グローバルトランザクションを実現する技術 再生リスト th-cam.com/play/PL_VdUcCLzEklbCdhPX0ZcJsEJseGcZp5C.html 講義概要 データのサイロ化やマイクロサービス化に伴い、複数の異種のデータベースを分散して管理するケースが少なからず見られます。本講義では、そのような分散したデータベースを一つのデータベースに見せる技術であるグローバルトランザクションについて、分散トランザクションマネージャであるScalarDBのアプローチをベースに説明します。 #最強db講義 #最強db講義ベーシック 0:00 タイトル 0:20 TrueTime等の信頼できるクロックへの依存を排除 2:23 トランザクションをStrict Serializableへ 5:35 性能最適化 7:40 製品化への取り組み: トランザクション一貫性を保持したバックアッ...
ScalarDBの概要とトランザクションプロトコル（グローバルトランザクションを実現する技術 by 山田浩之 Part3）
มุมมอง 1057 หลายเดือนก่อน
グローバルトランザクションを実現する技術 再生リスト th-cam.com/play/PL_VdUcCLzEklbCdhPX0ZcJsEJseGcZp5C.html 講義概要 データのサイロ化やマイクロサービス化に伴い、複数の異種のデータベースを分散して管理するケースが少なからず見られます。本講義では、そのような分散したデータベースを一つのデータベースに見せる技術であるグローバルトランザクションについて、分散トランザクションマネージャであるScalarDBのアプローチをベースに説明します。 #最強db講義 #最強db講義ベーシック 0:00 タイトル 0:20 ScalarDB概要 0:32 ScalarDB: グローバルトランザクションを実現するミドルウェア 1:32 ScalarDBの技術的選択 2:44 ScalarDBアーキテクチャ 3:55 ScalarDBのトランザ...
ScalarDBにおけるトランザクションの挙動（グローバルトランザクションを実現する技術 by 山田浩之 Part4）
มุมมอง 697 หลายเดือนก่อน
グローバルトランザクションを実現する技術 再生リスト th-cam.com/play/PL_VdUcCLzEklbCdhPX0ZcJsEJseGcZp5C.html 講義概要 データのサイロ化やマイクロサービス化に伴い、複数の異種のデータベースを分散して管理するケースが少なからず見られます。本講義では、そのような分散したデータベースを一つのデータベースに見せる技術であるグローバルトランザクションについて、分散トランザクションマネージャであるScalarDBのアプローチをベースに説明します。 #最強db講義 #最強db講義ベーシック 0:00 タイトル 0:20 トランザクションの挙動‐実行フェーズ 2:45 トランザクションの挙動‐Prepareフェーズ 5:23 トランザクションの挙動‐Commitフェーズ1 6:26 トランザクションの挙動‐Commitフェーズ2 7:11...
グローバルトランザクションの動機と効果（グローバルトランザクションを実現する技術 by 山田浩之 Part2）
มุมมอง 867 หลายเดือนก่อน
グローバルトランザクションを実現する技術 再生リスト th-cam.com/play/PL_VdUcCLzEklbCdhPX0ZcJsEJseGcZp5C.html 講義概要 データのサイロ化やマイクロサービス化に伴い、複数の異種のデータベースを分散して管理するケースが少なからず見られます。本講義では、そのような分散したデータベースを一つのデータベースに見せる技術であるグローバルトランザクションについて、分散トランザクションマネージャであるScalarDBのアプローチをベースに説明します。 #最強db講義 #最強db講義ベーシック 0:00 タイトル 0:20 グローバルトランザクションの動機 3:18 グローバルトランザクションの効果 3:54 グローバルトランザクションに関する研究の流れ 8:50 グローバルトランザクションを選択する技術的な選択肢 13:46 次回予告
グローバルトランザクションとは（グローバルトランザクションを実現する技術 by 山田浩之 Part1）
มุมมอง 1057 หลายเดือนก่อน
グローバルトランザクションを実現する技術 再生リスト th-cam.com/play/PL_VdUcCLzEklbCdhPX0ZcJsEJseGcZp5C.html 講義概要 データのサイロ化やマイクロサービス化に伴い、複数の異種のデータベースを分散して管理するケースが少なからず見られます。本講義では、そのような分散したデータベースを一つのデータベースに見せる技術であるグローバルトランザクションについて、分散トランザクションマネージャであるScalarDBのアプローチをベースに説明します。 #最強db講義 #最強db講義ベーシック 0:00 タイトル 0:20 グローバルトランザクションを実現する技術（タイトル） 0:35 自己紹介 1:33 本日の流れ 2:51 グローバルトランザクション概要 3:16 トランザクションとは 4:25 ACID 6:24 グローバルトランザク...
GFRC: 対話システムへの拡張（検索・対話システムの公平性を評価する by 酒井哲也 Part3）
มุมมอง 357 หลายเดือนก่อน
検索・対話システムの公平性を評価する 再生リスト th-cam.com/play/PL_VdUcCLzEkky4Kxpzw0p2COLvwT0k47j.html 講義概要 大規模言語モデル時代には様々な社会問題が付随します。 本講義では特に、システムが社会にもたらしうる「不公平さ」を扱う研究トピックとして、検索エンジンや対話システムを「グループフェアネス」の観点から評価する方法について説明します。これは例えば、「情報検索の研究者を教えて」というユーザの質問への回答として、システムがオジサン研究者ばかりを出力することを防ぐものです。このようなシステムは「女性や若者は研究者になれない」という偏見をユーザに植え付けてしまう可能性があるためです。国際会議NTCIRで進めていグループフェアネスのタスク、および今後の展望についても述べます。 #最強db講義 #最強db講義ベーシック 0:0...
NTCIR-17 FairWeb-1タスク（検索・対話システムの公平性を評価する by 酒井哲也 Part2）
มุมมอง 417 หลายเดือนก่อน
検索・対話システムの公平性を評価する 再生リスト th-cam.com/play/PL_VdUcCLzEkky4Kxpzw0p2COLvwT0k47j.html 講義概要 大規模言語モデル時代には様々な社会問題が付随します。 本講義では特に、システムが社会にもたらしうる「不公平さ」を扱う研究トピックとして、検索エンジンや対話システムを「グループフェアネス」の観点から評価する方法について説明します。これは例えば、「情報検索の研究者を教えて」というユーザの質問への回答として、システムがオジサン研究者ばかりを出力することを防ぐものです。このようなシステムは「女性や若者は研究者になれない」という偏見をユーザに植え付けてしまう可能性があるためです。国際会議NTCIRで進めていグループフェアネスのタスク、および今後の展望についても述べます。 #最強db講義 #最強db講義ベーシック 0:0...
検索結果のGFRによる評価とダイバージェンス（検索・対話システムの公平性を評価する by 酒井哲也 Part1）
มุมมอง 797 หลายเดือนก่อน
検索結果のGFRによる評価とダイバージェンス（検索・対話システムの公平性を評価する by 酒井哲也 Part1）
不動産テックの健全な発展に必要なこと（最強DB講義「住まい探しの利便性向上にデータベース・情報アクセス技術が果たした役割」by 清田陽司 Part4）
มุมมอง 12010 หลายเดือนก่อน
不動産テックの健全な発展に必要なこと（最強DB講義「住まい探しの利便性向上にデータベース・情報アクセス技術が果たした役割」by 清田陽司 Part4）
可視化（あたらしいSQLのかたち ～仮説の生成と解釈～ by 石川博 Part4）
มุมมอง 5910 หลายเดือนก่อน
可視化（あたらしいSQLのかたち ～仮説の生成と解釈～ by 石川博 Part4）
モデルに依存する解釈説明方法（あたらしいSQLのかたち ～仮説の生成と解釈～ by 石川博 Part3）
มุมมอง 3710 หลายเดือนก่อน
モデルに依存する解釈説明方法（あたらしいSQLのかたち ～仮説の生成と解釈～ by 石川博 Part3）
モデル生成の説明／モデルに依存しない解釈説明方法（あたらしいSQLのかたち ～仮説の生成と解釈～ by 石川博 Part2）
มุมมอง 4910 หลายเดือนก่อน
モデル生成の説明／モデルに依存しない解釈説明方法（あたらしいSQLのかたち ～仮説の生成と解釈～ by 石川博 Part2）
仮説と解釈／解釈説明の構造とモデル（あたらしいSQLのかたち ～仮説の生成と解釈～ by 石川博 Part1）
มุมมอง 7710 หลายเดือนก่อน
仮説と解釈／解釈説明の構造とモデル（あたらしいSQLのかたち ～仮説の生成と解釈～ by 石川博 Part1）
集団ダイナミクスと回転ダイナミクス／カルシウムイメージング（神経活動データ解析の基礎 by 手塚太郎 Part3）
มุมมอง 9410 หลายเดือนก่อน
集団ダイナミクスと回転ダイナミクス／カルシウムイメージング（神経活動データ解析の基礎 by 手塚太郎 Part3）
スパイク・ソーティング（神経活動データ解析の基礎 by 手塚太郎 Part2）
มุมมอง 7810 หลายเดือนก่อน
スパイク・ソーティング（神経活動データ解析の基礎 by 手塚太郎 Part2）
神経科学で扱うデータ（神経活動データ解析の基礎 by 手塚太郎 Part1）
มุมมอง 10310 หลายเดือนก่อน
神経科学で扱うデータ（神経活動データ解析の基礎 by 手塚太郎 Part1）
カーネルの導入（機械学習で関係を予測する～組合せ特徴・ランダム特徴の活用～ by 小山聡 Part2）
มุมมอง 8010 หลายเดือนก่อน
カーネルの導入（機械学習で関係を予測する～組合せ特徴・ランダム特徴の活用～ by 小山聡 Part2）
ランダム特徴の導入（機械学習で関係を予測する～組合せ特徴・ランダム特徴の活用～ by 小山聡 Part3）
มุมมอง 4110 หลายเดือนก่อน
ランダム特徴の導入（機械学習で関係を予測する～組合せ特徴・ランダム特徴の活用～ by 小山聡 Part3）
関係予測への組み合わせ特徴の導入（機械学習で関係を予測する～組合せ特徴・ランダム特徴の活用～ by 小山聡 Part1）
มุมมอง 7210 หลายเดือนก่อน
関係予測への組み合わせ特徴の導入（機械学習で関係を予測する～組合せ特徴・ランダム特徴の活用～ by 小山聡 Part1）
データ転送の解析研究例（後半）（ネットワークトラフィックデータ解析 by 小口正人 Part9）
มุมมอง 3510 หลายเดือนก่อน
データ転送の解析研究例（後半）（ネットワークトラフィックデータ解析 by 小口正人 Part9）
データ転送の解析研究例（前半）（ネットワークトラフィックデータ解析 by 小口正人 Part8）
มุมมอง 4810 หลายเดือนก่อน
データ転送の解析研究例（前半）（ネットワークトラフィックデータ解析 by 小口正人 Part8）
データ転送における輻輳制御（ネットワークトラフィックデータ解析 by 小口正人 Part7）
มุมมอง 5810 หลายเดือนก่อน
データ転送における輻輳制御（ネットワークトラフィックデータ解析 by 小口正人 Part7）
済
すばらしい授業でした。こういった授業をオンラインで学ぶ場はあるのでしょうか？ 受講を検討したいです。
いつも楽しく視聴させていただいております 本動画のPart3はupされないのでしょうか
素晴らしい試みをありがとうございます。勉強させていただきます。
送信側と受信側の図は、非常に分かりずらい例だと思います。パケットのやり取りを行う際は、通常サーバ側とクライアント側で表現した方が良いと思います。そうすると、最小のコネクションの要求、つまり、SYNビットは送信側ではなく受信側（Client）が送るであろうということになります。なぜ、送信側が最初のSYNを送るのでしょうか？そんなことがあったら、用の中のネットワークは大変なことになりますようね。
ありがたいなこの動画
16:54 ここf : u → R^d の誤植ですかね？
最高です！
勉強させていただきます。よろしくお願いします。
勉強させて頂きます。
最強すぎて流石に誰もついていけてないの泣ける
「Webを支える技術」という本を読む中でXanaduがとても気になり検索したところこちらの動画へたどり着きました。すごく分かりやすい講義をありがとうございます。
ありがとうございます。とても参考になりました。
音を少し大きくしてくれる大変助かります。お願いします
参考資料： 最古のクラウドソーシング tripandtravelblog.com/the-oldest-advertisement-in-the-world-found-in-thebes-egypt-did-you-know-that/ ヒューマンコンピュテーション A.M.TURING, I. -- COMPUTING MACHINERY AND INTELLIGENCE, Mind, Volume LIX, Issue 236, October 1950, pp. 433-460 reCAPTHA, www.google.com/recaptcha ヒューマン・イン・ザ・ループ（AIと人間の協働） Justin Cheng and Michael S. Bernstein. Flock: Hybrid crowd-machine learning classifiers. In Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing, CSCW ’15, pp. 600-611, New York, NY, USA, 2015. ACM.