博士 副教授 集成电路与智能系统系

曹健,理学博士,北京大学软件与微电子学院副教授,主要从事人工智能终端应用与软硬件协同设计方法的研究工作,具体研究方向包括:嵌入式人工智能、具身智能、智能工厂及软硬件协同应用开发。主持及参与科研项目20余项,项目来源包括科技部重点研发计划、教育部产学合作协同育人项目及产教融合企业合作项目等。在包括AAAI、IJCAI、ACM MM在内的本领域期刊和会议上发表学术论文60余篇,获发明专利授权20余项。讲授的课程《人工智能实践:TensorFlow笔记》教育部认定为国家级一流本科课程,已有百万人次学习。

实验室主页:aipku.cn

个人简历

1999.09-2003.07  在北京理工大学电子工程系 获通信工程工学学士学位

2004.09-2007.01  在北京大学软件与微电子学院 获软件工程硕士学位

2012.09-2017.01  在北京大学信息科学技术学院 获微电子学与固体电子学理学博士学位

2007.01-               在北京大学软件与微电子学院担任助教、讲师、副教授

研究方向

具身智能(Embodied AI
针对智能感知场景,实现计算机视觉模型设计与VLA神经网络模型优化,搭建端侧具身智能软硬件系统,设计AI协作机器人,推动具身智能工程落地。

智能工厂( AI + IC
将人工智能方法,应用到集成电路领域,提高芯片生产制造的效率与良率。通过数据驱动建模、自动化决策、预测性优化,实现 “降本、增效、提质”。

车规芯片(产教融合)
依托北大产教融合平台,与业界资深IC设计工程师共同研发国产车规级芯片(电源芯片、信号链芯片)。

讲授课程

1.《人工智能实践》(研究生秋季课)

          课程主要讲授Tensorflow2.0框架、全连接网络、CNN、RNN的设计实现方法,分析人工智能分类与预测的经典案例,实现图像识别和数据预测,帮助学生入门人工智能领域。

          中国大学MOOC   https://www.icourse163.org/course/PKU-1002536002

2.FPGA设计》(研究生春季课)

          首先,串讲Verilog语法和FPGA用法。带领学生使用Verilog语言设计一款7指令集CPU并部署到FPGA中。随后,指导学生编写汇编程序控制CPU实现数学逻辑运算和外设操作。通过课程学习,学生可以掌握FPGA开发流程和设计方法。

3.软硬件协同设计方法》(研究生春季课)

          带领学生使用软硬件协同设计方法实现一款具备图像识别功能的智能系统。课程串讲基于人工神经网络的图像分类算法,对功能模块进行软硬件划分,在ARM处理器中实现视觉数据输入与显示器输出,在逻辑单元中实现神经网络前向推理加速。


学术论文

1.       Tianhao Fu#, Xinxin Xu#, Weichen Xu, Jue Chen, Ruilong Ren, Bowen Deng, Xinyu Zhao, Jian Cao*, Xixin Cao;Two Heads Are Better than One: Distilling Large LanguageModel Features into Small Models with FeatureDecomposition and Mixture;the 40th AAAI Conference on Artificial Intelligence (AAAI);2026.CCF A

2.      Shuo Feng#, Mingkai Liu#, Jingyi Zhong, Guang Chen, Yi Zhong, Zilin Wang, Chenglong Zou, Xiaoxin Cui, Jian Cao*, Yuan Wang*; PAICar : A prototype of embodied neuromorphic intelligent robot platform; SCIENCE CHINA Information Sciences; 2025. JCR一区)

3.       Ruilong Ren, Xinyu Zhao, Weichen Xu, Jian Cao*, Xinxin Xu, Xing Zhang; A survey of language-grounded multimodal 3D scene understanding; Knowledge-Based Systems; Volume 321; 2025.JCR一区)

4.      Xinyu Zhao, Weichen Xu, Jan Cao*, Tianhao Fu, Ruilong Ren, Xing Zhang; Human-Inspired Situated Question Answering with Large Language Models; IEEE International Conference on Multimedia and Expo (ICME); 2025. (CCF B)

5.       Weichen Xu#, Tianhao Fu#, Jian Cao*, Xinyu Zhao, Xinxin Xu, Xixin Cao, Xing Zhang; Mutual information-driven self-supervised point cloud pre-training; Knowledge-Based Systems; Volume 307; 2025.JCR一区)

6.      Weichen Xu, Jian Cao*, Tianhao Fu, Ruilong Ren, Zicong Hu, Xixin Cao, Xing Zhang; Point Cloud Reconstruction Is Insufficient to Learn 3D Representations; Proceedings of the 32nd ACM International Conference on Multimedia(ACM MM); 2024.CCF A

7.       Weichen Xu#, Jian Cao#*, Tianhao Fu, Awen Bai, Ruilong Ren, Zicong Hu, Xixin Cao, Xing* Zhang; J-MAE: Jigsaw Meets Masked Autoencoders in X-Ray Security Inspection; IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP); 2024.CCF B

8.      Yu Qian #, Xiaoshuang Li#, Jian Cao#*, Jie Zhang, Hufei Li, Jue Chen; Boosting Pruned Networks with Linear Over-Parameterization; ICASSP 2024 – 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP); 2024.CCF B

9.      Weichen Xu#, Xinxin Xu#, Tianhao Fu, Jian Cao*, Xiaoyang Xu, Yuetian Huang, Xixin Cao, Xing Zhang *; SweepMM: A High-Quality Multimodal Dataset for Sweeping Robots in Home Scenarios for Vision-Language Model; ICASSP 2024 – 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP); 2024.CCF B

10.   Bingsen Wang#, Jian Cao#*, Jue Chen, Shuo Feng, and Yuan Wang*; A New ANN-SNN Conversion Method with High Accuracy, Low Latency and Good Robustness; International Joint Conference on Artificial Intelligence (IJCAI); 2023.CCF A

11.    Hongyi Yao, Pu Li, Jian Cao*, Xiangcheng Liu, Chenying Xie, Bingzhang Wang; RAPQ: Rescuing Accuracy for Power-of-two Low-bit Post-training Quantization; International Joint Conference on Artificial Intelligence (IJCAI); 2022.CCF A

12.    Yuan Zhang, Jian Cao*, Ling Zhang, Xiangcheng Liu, Zhiyi Wang, Feng Ling, Weiqian Chen; A free lunch from ViT: adaptive attention multi-scale fusion Transformer for fine-grained visual recognition; IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP); 2022.CCF B)

 


授权专利

1.   曹健;徐伟辰;赵新宇;曹喜信;张兴,点云数据的特征提取方法、设备、存储介质及程序产品,授权公告日:2025.12.09,专利号:ZL 2024113450113

2.   曹健;闫俊彤;王源;冯硕,一种基于脉冲神经网络的物体运动趋势感知方法和系统,授权公告日:2025.09.09,专利号:ZL 2023102358797

3.   曹健;谢晨莹,一种用于机械臂的正多棱柱检测方法,授权公告日:2025.08.19,专利号:ZL 2023100098297

4.   曹健;陈光;张兴;王源;钟毅,基于脑电图通道内和通道间特征混合的癫痫发作预测方法,授权公告日:2025.05.30,专利号:ZL 2024111927880

5.   曹健;刘晟荣;王源;陈玮乾;徐鹏涛,数据通信方法及系统、脉冲神经网络运算系统,授权公告日:2024.04.23,专利号:ZL2022102005536

6.   曹健;陈玮乾;王源;张兴;刘晟荣;徐鹏涛,基于目标检测的模型转换方法、装置、设备及存储介质,授权公告日:2024.04.23,专利号:ZL2022102010479

7.   曹健;戴镇原;原浩强;夏立超;赵东宇,模型优化部署方法、系统、设备及存储介质,授权公告日:2024.04.16,专利号:ZL2021102483232

8.   曹健;夏立超;戴镇原;原浩强;赵东宇,目标检测的处理方法、装置及设备,授权公告日:2024.04.16,专利号:ZL2021102527635

9.   曹健;王炫;王源;钟毅;陈光,一种基于PYNQ的脉冲神经网络芯片数据通信方法及系统,授权公告日:2024.04.16,专利号:ZL2023100502755

10.  曹健;马清川;王源;张兆彤;钟毅,一种数据通信系统及SoC芯片,授权公告日:2024.04.09,专利号:ZL2023100518414

11.  曹健;杨辰涛;王源;丁亚伟;陈光,一种基于异步握手协议的跨时钟域通信传输方法及系统,授权公告日:2024.04.09,专利号:ZL2023101190854

12.  曹健;原浩强;戴镇原;赵东宇;夏立超,目标检测方法、装置及设备,授权公告日:2022.12.23,专利号:ZL202110251087X

社会服务
  1. CCF嵌入式系统专业委员会委员

  2. 中国计算机学会会员,ACM会员

招收电子与通信工程、集成电路工程硕士研究生,项目可支撑本科生、硕士生毕业设计。