人工智能学会2026参加记 — 报告和学会中展现的AI研究流向
Back to Top为了覆盖更广泛的受众,这篇文章已从日语翻译而来。
您可以在这里找到原始版本。
引言
#我是AI技术事业部的藤堂。自事业部成为独立组织以来,全公司范围内推广AI应用的举措正在加速展开。在这样的背景下,我于6月参加了第40届 JSAI2026。
前半将简要介绍我进行海报报告的面向执业资格考试的LLM基准测试ShigyoBench,并谈谈对AI实际应用的感想。
后半记录在人工智能学会中让我印象深刻的报告,以及对未来AI研究的思考。
论文概要
#ShigyoBench是面向日本执业资格考试的LLM基准测试数据集。整理了宅地建物取引士考试、行政书士考试、专利代理人考试、司法书士考试、司法考试(含预备考试)、不动产鉴定士考试、公认会计师考试等8项考试的8,979道简答式题目,并在多个LLM上进行了评估实验。数据集已在 Hugging Face 上公开。
本论文的定位是,通过考试题目对专业领域知识进行定量评估的研究。研究动机是填补在行政书士、专利代理人、宅地建物取引士、不动产鉴定士、司法书士等执业领域,以及注册会计师考试所有科目中,之前缺乏可重现的通用基准的空白。
评估结果表明,不同模型和考试之间存在较大差异,Gemini-3-Pro在部分考试中超过了合格线,但在多数模型和科目上仍未达到合格标准,这就是本研究的结论。
例如,存在如下问题。以下是使用 google/gemma-4-26B-A4B-it 推理时给出错误答案的一个例子。
司法考试·令和2年·民法第8题
#问题
关于即时取得,下列ア至オ各项记述中,与判例主旨不符的组合是下述1至5中的哪一项?
ア. A将自己所有的宝石出售给B并实际交付。之后,B将宝石出售给C并实际交付。再之后,A以B的强迫为由,撤销了A与B之间的买卖合同。在这种情况下,C不能通过即时取得获得该宝石的所有权。
イ. 未成年人A将自己所有的宝石出售给B并实际交付。之后,A以未成年为由,撤销了A与B之间的买卖合同。在这种情况下,B不能通过即时取得获得该宝石的所有权。
ウ. A向B借用B所有的宝石并获得交付,之后将宝石交给C保管,但又将宝石出售给D,并命令C今后为D占有该宝石,且D已承诺接收。在这种情况下,即便D相信该宝石属于A所有且对此并无过失,D也不能通过即时取得获得该宝石的所有权。
エ. A将B遗忘的宝石带回,且无过失地相信其为自己所有。在这种情况下,A不能通过即时取得获得该宝石的所有权。
オ. A盗取了B从C处借来的宝石,并将其赠与D。如果D无过失地相信该宝石是A的所有物并实际接受交付,则B在宝石被盗之日起两年内,可以向D请求返还该宝石。
- ア ウ 2. ア エ 3. イ ウ 4. イ オ 5. エ オ
google/gemma-4-26B-A4B-it 的回答
这道题是一个关于日本民法第192条“即时取得”的记述正误判断题,需要从中选择错误记述的组合。
### 各项记述的检讨
**ア. 正确**
要成立即时取得,必须有“交易行为”。在B因强迫而撤销的情况下,撤销会导致合同溯及无效,但根据判例,为了让从失去权利者(A)进一步受让的第三者(C)获得即时取得,**必须在“撤销前”完成交易**。然而本题中,并不是C在A撤销之后才受让,而是按照时间顺序先“A→B(买卖)→C(买卖)”,然后才是“A进行撤销”。
这里重要的是,强迫撤销与“诈骗”不同,撤销会使权利溯及失效,但从“有效交易”的角度来看,强迫撤销一旦生效,B即成为无权利者。然而,根据判例主旨(及通说观点),即便是对善意无过失的第三者(C),也可主张强迫撤销的效力(C无法进行即时取得)。因此,“C不能通过即时取得获得所有权”这一记述是正确的。
**イ. 错误**
要成立即时取得,需确保占有人“缺乏权利”(从无权利人处取得),但交易行为本身必须是有效的。未成年人单独进行的合同撤销是因行为能力瑕疵,但这不妨碍即时取得。若B为善意无过失,B可通过即时取得获得所有权。因此,“B不能通过即时取得获得所有权”这一记述是错误的。
**ウ. 正确**
即时取得要有“占有转让”等直接的占有转移。本题中,A将交付给C的物品,通过“占有改定”(命令C为D占有)转移到D,根据判例**否定占有改定情况下的即时取得成立**。因此,“D即便相信宝石为A所有且无过失,也无法通过即时取得获得所有权”这一记述是正确的。
**エ. 正确**
即时取得成立于通过“交易行为(买卖、赠与等)”取得占有的情况下。本题中,擅自带走他人之物的行为(事实上的占有取得)不属于“交易行为”,因此无法成立即时取得。因此,该记述是正确的。
**オ. 错误**
根据日本民法193条,赃物或遗失物的占有人可在盗窃或遗失之日起**两年内**向即时取得人请求返还。但本题中D因不知道该物品是“A盗窃之物”(善意无过失),即时取得成立。即便在193条规定的期间内,只要即时取得既已成立,D即有效取得所有权,原所有者B无法向D请求返还(即时取得排除193条的限制,认可有效取得)。因此,该记述是错误的。
### 总结
- ア:正确
- イ:错误
- ウ:正确
- エ:正确
- オ:错误
错误的为 **イ** 和 **オ**。对应选项中“イ”和“オ”的组合是“4”。
<answer>4</answer>
正确答案: 1
有关方法和结果的详细内容,请参见论文。
实用化之路
#随着LLM的出现,使用与人类相同的考试题目来测量LLM的专业知识,像ShigyoBench这样的做法已成为AI评估的标准。因此,已知国际数学奥林匹克、东京大学入学考试、医师国家考试等多项考试已被前沿LLM破解。若结合RAG等技术,让LLM在执业资格考试中达到合格线也是完全可能的。
在海报报告时的讨论以及若干分会场中,关于人类工作是否将消失的争论非常热烈。
另一方面,目前正热议能做对考试题目与能实现实际应用是两码事。
医疗领域被认为是最为领先的领域之一。Gong 等人(2025年)的系统综述整理了39个医疗LLM基准测试。
在国家考试(USMLE)类型的基于知识评估中,已有模型的正确率达到了84〜90%。
相对而言,在更贴近临床现场的实践性评估中,正确率仅停留在45〜69%左右(所谓的knowledge-practice gap)。
我也曾听过一位熟识的医生说:“会做对考试题目与能够直接向患者提供LLM输出是两回事”。
我认为这不仅仅是医疗领域的问题,实现实际应用大概需要经过多个步骤。自由书写的推理、不确定性管理、多轮对话、上下文整合、安全性等实践性基准测试需要满足的要求,正成为讨论的焦点。
在软件开发领域,情况略有不同。在充分讨论这种“考试与实际场景的差距”之前,编码辅助和智能代理似乎已开始进入实际开发现场。大概是因为代码易于试验和修正,反馈也迅速。与医疗或法律不同,一次错误一般不会导致不可挽回的后果。不过,如何保证一个系统中复杂代码和文档的质量,单靠测试的通过率难以显现风险。我自己在实际项目中使用LLM时,既感受到了它的便利,也感受到了潜在的危险。
对物理AI的期待
#在JSAI2026上,有大量关于机器人和物理AI(Physical AI)的报告。因工作原因我只听了其中的一个分会场,但切身体会到在日本研究人员和学生对此的浓厚兴趣。
给我印象最深的报告是“基盘模型时代下的Physical AI”分会场中的面向自动驾驶的多视角视频生成中全球handoff一致性指标的设计。
基于扩散模型的视频生成模型已出现,并被用于自动驾驶的合成数据生成等。此类模型可生成多个视角的“摄像机拍摄”效果视频,但在这些摄像机之间会出现物理不一致(例如,在一个摄像机视角中车辆是轿车,而在另一视角则变成了其他车种)。该论文旨在对这种不一致进行定量评估。
论文将其称为图像层面的幻觉(hallucination),从原理上来看确实会发生此类现象,而且在量化此现象方面具有价值。
Yutaka Matsuo教授曾提到,“JSAI中有三分之一的论文达到可在国际会议上发表的水平”。个人感觉,随着论文数量的增加,现在这一比例可能没那么高,但本次报告具有国际水平,我想像这样优秀的年轻人将持续解决物理AI领域的问题。
生成式AI正在改变AI研究本身
#与其说是某个特定分会场,倒不如说是在整个学会上给我印象最深的是:生成式AI已开始改变AI研究的推进方式。
LLM开始替代研究者在文献检索、编程、实验设计、数据整理、模型训练等诸多耗时工作。研究负荷的重点似乎从“实现代码”“收集信息”转向了“提出什么问题”“如何进行评估”。随着每次试验周期缩短,更容易取得下一个成果,而这又进一步缩短试验周期,形成了良性循环。
就我个人而言,与其深入钻研某一论题,我更倾向于把时间投入到营造能快速推进此类循环的环境中。
有类似 Cursor 和 Codex 的编码代理。
还使用了连接各类AI API的应用,以及Google Colaboratory、Modal等GPU平台。
目前所用工具的大致架构如下图所示。
通过区分不同模型、整理先行研究、确定何处插入人工判断、将哪些GPU用于哪些实验,以这种元视角为实验环境整体分配资源,从而加速研究进展。
或许明天就有类似的研究成果发布。在研究加速的背景下,我认为最难的是选择研究题材。
结语
#我只在最后一天到现场,但在海报报告中与各大知名LLM供应商交流,非常充实。五年前难以想象国内竟会出现被称为AI模型供应商的人物,希望他们能够不断向世界发起挑战。
此外,还遇到了以前共事过的老朋友,进行了多方面的交流。这种经历正是线下活动的魅力,也让我深刻感受到,AI社区看似广阔,实则是一个紧密的圈子。
下一站是长崎。
参考文献
#
本研究(ShigyoBench)
- 藤堂真登, 石川真之介. ShigyoBench: 构建及评估面向日本执业资格考试的LLM基准测试数据集. JSAI2026 论文集, 2026. https://pub.confit.atlas.jp/ja/event/jsai2026/presentation/5Yin-A-16 / 数据集: https://huggingface.co/datasets/todo1111/shigyobench
实用化·医疗
- Gong EJ, Bang CS, Lee JJ, Baik GH.
Knowledge-Practice Performance Gap in Clinical LLMs:
Systematic Review of 39 Benchmarks.
J Med Internet Res. 2025;27:e84120.
https://doi.org/10.2196/84120
学会中印象深刻的报告
- キム ボンジュン, et al. 面向自动驾驶的多视角视频生成中全球handoff一致性指标的设计. JSAI2026 论文集 (基盘模型时代下的Physical AI), 2026. https://pub.confit.atlas.jp/ja/event/jsai2026/presentation/2G4-OS-47a-02
会议
- 人工智能学会. 2026年度 JSAI(第40届)

