USTC Summer School 2021 Day1

引言

本次课程的内容涵盖几何建模、三维视觉、深度几何学习、城市大场景建模、点云处理、角色动画、3D打印、虚拟现实 、仿真、渲染、图形系统设计等内容,内容丰富和前沿,是了解计算机图形学前沿和未来方向的非常难得的机会。

《计算机图形学前沿进展》(课程编号:001M06)为中国科学技术大学暑期学期的课程。课程由数学科学学院中科大图形与几何计算实验室(GCL)陈仁杰老师刘利刚老师及国内外学者共同授课。本年度课程的主题为 “3D几何感知与建模、仿真和绘制” 。

课程安排

“计图”深度学习框架及其应用

主讲人

胡事民, 清华大学计算机科学与技术系教授,主要研究方向为计算机图形学、虚拟现实、智能信息处理和系统软件等。在ACM TOG/SIGGRAPH、IEEE TPAMI、IEEE TVCG、IEEE TIP、CAD、 IEEE CVPR等重要刊物和国际会议上发表论文100余篇。现为中国计算机学会副理事长,国家自然科学基金委创新研究群体学术带头人,并担任Computational Visual Media主编和CAD、Computer & Graphics和中国科学等多个期刊编委。

梁盾,现为清华大学计算机系博士后, 博士毕业于清华大学计算机系计算机图形学实验室,深度学习框架“Jittor”的核心成员,研究方向为计算机图形学,深度学习,高性能计算。近年来在中国科学信息科学、CVPR、TOG等重要会议期刊上发表文章,曾获国际超算比赛冠军。

简介

胡事民老师和梁盾博士共同讲授《“计图”深度学习框架及其应用》课程。深度学习框架是现代人工智能算法开发和应用的软件基础支撑,自主可控的深度学习框架是推动中国人工智能更好发展的必然要求。计图(Jittor)是国内首个由高校研制和开源的深度学习框架。Jittor框架创新地使用了元算子融合和动态编译技术,并提出“统一计算图”的思想,使得在多种任务性能上超越国外主流平台。

胡事民老师讲授了课程的第一部分,报告题目是《深度学习框架Jittor的创新与实践》。首先,胡事民老师介绍了Jittor框架的多项创新技术和最新进展。Jittor将神经网络计算所需的基本算子归纳总结,提出元算子(18个)和算子融合的概念。另外,Jittor创新地采用了统一计算图。

然后,胡事民老师介绍了基于Jittor框架的图形学研究,包括基于Jittor构建的从点云、网格到隐式场的深度几何学习体系。

梁盾博士讲授了课程的第二部分,报告题目是《零基础入门计图深度学习框架》。

之后,梁盾博士系统介绍了Jittor框架的功能和使用技巧,包括安装、模型库的使用、多机多卡、内存优化、可视化工具、模型迁移等。Jittor支持从Pytorch代码一键转换,且目前支持的骨干网络和Pytorch保持一致。

深度几何学习的表示

主讲人

高林博士,现为中国科学院计算技术研究所博士生导师/副研究员, 研究方向为智能计算机图形学、深度几何学习等。他毕业于清华大学,获得工学博士学位(导师:胡事民教授),曾在德国亚琛工业大学进行公派访问研究(合作导师:Leif Kobbelt 教授)。在ACM SIGGRAPH\TOG、IEEE TVCG、IEEE CVPR,ICCV等国际知名期刊会议上发表论文40余篇。他曾获得亚洲图形学青年学者奖(Asia Graphics YoungResearcher Award)、中国计算机学会科学技术奖技术发明一等奖、CCF-腾讯犀牛鸟基金卓越奖等,并入选英国皇家学会牛顿高级学者。

简介

高林老师的报告题目是《深度几何学习的表示》。

高林老师首先介绍了深度几何学习的背景,然后详细介绍了各种深度几何学习的几何表示方法,以及相应的深度学习方法。针对三维物体的分割和识别,介绍了点云分割识别网络PointNet、VV-Net以及网格分割和识别网络LaplaceNet以及MeshCNN;针对三维模型的分析,介绍了三维模型对称性分析的研究工作SymmetryNet和PRS-Net; 针对三维深度生成模型,介绍了针对三维物体的深度生成模型3D-GAN、Adaptive O-CNN、SDM-NET以及DSG-NET等。

最后,高林老师介绍了最新的深度几何学习和重建相结合的研究工作,包括基于几何先验的神经渲染场重建,智能人脸画板和智能人脸编辑等。

三维视觉:过去、现在与未来

主讲人

刘烨斌,清华大学长聘副教授。分别于2002年和2009年在北京邮电大学、清华大学自动化系获得工学学士和工学博士学位。主要研究方向为三维视觉。发表PAMI/ SIGGRAPH/CVPR/ICCV等论文近50篇,其中CVPR/ICCV口头报告论文9篇。担任CVPR2021及ICCV 2021 Area Chair,SIGGRAPHAsia 2019, SIGGRAPH Asia 2020 Committee Member。任中国图象图形学会三维视觉专委会副主任,人工智能学会人机融合智能专委会副秘书长。获2012年国家技术发明一等奖(排名3),2013年度清华大学学术新人奖,2015年国家自然科学基金优秀青年基金,2019年中国电子学会技术发明一等奖(排名1)。

简介

刘烨斌老师的课程题目是《三维视觉:过去、现在与未来》。计算机视觉是使用计算机及相关设备对生物视觉的一种模拟,是人工智能领域的一个重要部分,其研究目标是使计算机具有感知和理解现实三维视觉世界的能力。

首先,刘烨斌老师介绍了三维视觉在场景重建和机器人等领域的应用需求,回顾了三维视觉的发展历史。然后,刘烨斌老师介绍了他在三维视觉领域的前沿研究成果,并分析了计算机视觉研究从二维视觉到三维视觉的发展趋势以及其技术融合的必然性。

最后,刘烨斌老师展示了若干潜在的创新用户体验,推演未来三维视觉的前沿研究方向。

点云智能处理与重建

主讲人

刘玉身,清华大学软件学院副教授,博士生导师。主要研究方向为三维计算机视觉、点云智能处理、三维重建、建筑信息模型(BIM)。主持多项国家自然科学基金及国家重点研发计划课题,参编国家标准3项。作为第一或通讯作者,近年来在TIP、TPAMI、CVPR、ICCV、NeurIPS、ICML、ACM MM、AAAI、IJCAI等CCF A类期刊和会议发表论文20多篇。担任IJCAI、AAAI、ACMMultimedia、ICLR等多个国际会议SPC/PC、以及多个国际期刊编委和Guest Editor。获得Advanced EngineeringInformatics (CCF B类)高被引研究奖、第16届土木与建筑工程计算国际会议(ICCCBE2016)最佳学生报告奖等,CAD/Graphics 2005最佳学生论文奖。

简介

刘玉身老师的课程题目是《点云智能处理与重建》。点云智能处理是计算机图形学、三维计算机视觉领域中的研究热点。刘玉身老师主要介绍近两年三维点云智能处理与重建的相关技术。

报告分为三部分。第一部分是数据驱动的三维点云特征表示学习、分割、形状补全方法,为下游分类、识别、重建等应用提供数据增强,重点介绍了三个最新工作。

第二部分是三维点云的隐式重建,实现高质量的三维模型生成,详细介绍了一种三维点云的隐式重建方法 NeuralPull。

第三部分介绍了一个最新提出的细粒度(Fine-grained)三维模型分类数据集FG3D及相应的算法FG3D-Net。