山際 宏明 (やまぎわ ひろあき)
山際宏明です．SB Intuitions株式会社 でリサーチサイエンティストをしています．
研究の興味
言語モデルの開発，言語モデルのためのデータ，言語モデルにおける内部機序の解釈可能性プロフィール
Google Scholar | 𝕏 | GitHub | CV連絡先
職歴
- リサーチサイエンティスト SB Intuitions株式会社 2026年4月1日 – 現在
- 助教 京都大学 2025年4月1日 – 2026年3月31日 2025年度：システム科学通論II（後期水曜日3限），数理工学セミナー（後期金曜日2限）
学歴
- 博士課程 (情報学) 京都大学大学院情報学研究科 2022 – 2025 指導教員: 下平英寿 教授
- 修士課程 (情報学) 京都大学大学院情報学研究科 2020 – 2022 指導教員: 下平英寿 教授
- 学士課程 (理学) 京都大学理学部数理科学系 2015 – 2020 指導教員: 中野直人 特定講師（当時）
査読付き論文
(*) denotes equal contribution.
2026
- See Every Block Once: Variance-Reduced Post-Training for Masked Diffusion Language Models. In Proceedings of the 15th International Joint Conference on Natural Language Processing and the 5th Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics (AACL-IJCNLP 2026), pp. 5836–5857, 2026.
- Measuring Affinity between Attention-Head Weight Subspaces via the Projection Kernel. In Proceedings of the 2026 Conference on Empirical Methods in Natural Language Processing (EMNLP 2026), pp. 34591–34660, 2026.
- Length and Meaning for Language Model Maps. In Proceedings of the 2026 Conference on Empirical Methods in Natural Language Processing (EMNLP 2026), pp. 34472–34487, 2026.
- Domain Mixture Design via Log-Likelihood Differences for Aligning Language Models with a Target Model. In Findings of the Association for Computational Linguistics: EMNLP 2026, pp. 30483–30499, 2026.
- Establishing a Scale for Kullback–Leibler Divergence in Language Models Across Various Settings. In Findings of the Association for Computational Linguistics: ACL 2026, pp. 23223–23248, 2026.
2025
- Likelihood Variance as Text Importance for Resampling Texts to Map Language Models. In Findings of the Association for Computational Linguistics: EMNLP 2025, pp. 9453–9465, 2025.
- Mapping 1,000+ Language Models via the Log-Likelihood Vector. 2025. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025), pp. 32983–33038, 2025. 🏆Outstanding Paper Award (26/8360)
- Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025), pp. 15913–15933, 2025.
- Predicting drug-gene relations via analogy tasks with word embeddings. Scientific Reports 15, 17240, 2025.
- Norm of Mean Contextualized Embeddings Determines their Variance. In Proceedings of the 31st International Conference on Computational Linguistics (COLING 2025), pp. 7778–7808, 2025.
- Revisiting Cosine Similarity via Normalized ICA-transformed Embeddings. In Proceedings of the 31st International Conference on Computational Linguistics (COLING 2025), pp. 7423–7452, 2025.
2024
- Understanding Higher-Order Correlations Among Semantic Components in Embeddings. In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2883–2899, 2024.
- Axis Tour: Word Tour Determines the Order of Axes in ICA-transformed Embeddings. In Findings of the Association for Computational Linguistics: EMNLP 2024, pp. 477–506, 2024.
- Shimo Lab at "Discharge Me!": Discharge Summarization by Prompt-Driven Concatenation of Electronic Health Record Sections. In Proceedings of the 23rd Workshop on Biomedical Natural Language Processing, pp. 645–657, 2024.
- Zero-Shot Edge Detection with SCESAME: Spectral Clustering-based Ensemble for Segment Anything Model Estimation. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2024) Workshops, pp. 541–551, 2024.
2023
- Discovering Universal Geometry in Embeddings with ICA. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4647–4675, 2023.
- Improving word mover's distance by leveraging self-attention matrix. In Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 11160–11183, 2023.
Preprints
-
J-tau: A Fully Localized Japanese Benchmark for Tool-Agent-User Interaction.
arXiv 2026.
-
業務での成果
- Sarashina3.2 mini thinking 2026 プロジェクトメンバーとして参加．SB Intuitions が開発した国産 LLM の思考モデル． 国産LLM Sarashina3.2 mini thinking の紹介，SB Intuitions TECH BLOG
トーク・招待講演
2025
- 埋め込み空間にみる単語分布とモデル地図. 第20回言語処理若手シンポジウム (YANS2025), 招待ポスター, 2025年9月19日.
国内会議（査読なし）
2025
- 対数尤度ベクトルによるKLダイバージェンスの推定と言語モデルの地図. 2025年度統計関連学会連合大会, 2025年9月10日.
- 不均衡最適輸送を用いた意味変化検出. 言語処理学会第31回年次大会 (NLP2025), 2025年3月13日. 🏆委員特別賞 (32/726)
2024
- 不均衡最適輸送を用いた意味変化検出. 第19回YANSシンポジウム (YANS2024), 2024年9月5日. 🏆奨励賞 (23/187)
- 独立成分分析を用いた埋め込みの分布の普遍的な形状の発見と成分間に残る高次相関の解釈. 2024年度統計関連学会連合大会, 2024年9月3日.
- 依存関係の大きさは意味の関連性を表す. 言語処理学会第30回年次大会 (NLP2024), 2024年3月13日.
- 独立成分分析は埋め込み空間の普遍的な幾何学的形状を明らかにする. 京都大学第18回ICTイノベーション, 2024年2月21日. 🏆優秀研究賞 (大学院情報学研究科 システム科学コース) (1/8)
2023
- 独立成分に基づく埋め込み表現の解釈と普遍的形状の解明. 第26回情報論的学習理論ワークショップ (IBIS 2023), 2023年10月31日. 🏆学生優秀プレゼンテーション賞
- 高性能な文類似度を用いた事前学習モデルの対照学習. NLP若手の会 第18回シンポジウム (YANS 2023), 2023年08月31日.
- 内部表現の幾何に基づく言語モデルの解釈. NLP若手の会 第18回シンポジウム (YANS 2023), 2023年8月31日. 🏆奨励賞
- 生物学的パスウェイを用いたBioConceptVecにおけるアナロジータスク. 第50回IBISML研究会 (NC共催, BIO・MPS連催), 2023年6月30日.
2022
- Self-Attention 行列を用いた最適輸送距離に基づく言い換え識別. 2022年度統計関連学会連合大会, 2022年9月4日.
2021
- BERTのパラメータを用いた最適輸送距離に基づく言い換え識別の性能評価. 第24回情報論的学習理論ワークショップ (IBIS 2021), 2021年11月10日.
- Self-AttentionとFused Gromov–Wasserstein距離に基づく文類似度計算 . 第16回YANSシンポジウム (YANS2021), 2021年8月31日.
競争的資金
- 研究活動スタート支援 2025年8月 – 2026年3月 日本学術振興会 研究費 100 万円 / 年
- 京都大学大学院教育支援機構SPRINGプログラム 2024年4月 – 2025年3月 京都大学大学院教育支援機構 18 万円 / 月 + 研究費 40 万円 / 年
- 科学技術イノベーション創出に向けた大学フェローシップ創設事業 2022年4月 – 2024年3月 京都大学大学院教育支援機構 15 万円 / 月 + 研究費 30 万円 / 年
受賞歴
- 京都大学第18回ICTイノベーション 優秀研究賞 2024年2月21日 京都大学大学院情報学研究科 独立成分分析は埋め込み空間の普遍的な幾何学的形状を明らかにする
研究活動
査読
2026
2025
- Mechanistic Interpretability Workshop at NeurIPS 2025
- ACL Rolling Review
- ACL 2025 Student Research Workshop
- Natural Language Processing （2024年に "Natural Language Engineering" から名称変更）
- The 31st International Conference on Computational Linguistics (COLING 2025)
2024
活動
Kaggle
2021 年に Kaggle Competitions Expert になりました. Kaggle のプロフィールは こちら から確認できます.