NVIDIA DGX系列加速工程计算全流程

2019-9-6

    用 NVIDIA DGX 系列加速地球科学研究，南京大学基于 GPU 矩阵计算法和三维接触算法实现高性能离散元软件 MatDEM 开发和加速

案例简介

•  南京大学地球科学与工程学院使用 DGX Station 构建一个面向岩土体大规模离散元软件的加速平台。

•  本案例中通过 DGX Station 实现了对整个离散元 MatDEM 软件的加速，通过模拟滑坡、边坡、离散元试验、岩石破坏、动力作用、多场耦合和工程应用多种场景实现 MatDEM 软件加速，提高了 MatDEM 几十倍的运行效率。

•  本案例主要应用到 DGX 系列（DGX-1、DGX-Station）和岩土体大规模离散元 MatDEM 软件构建一体化离散矩阵计算平台。

背景

    南京大学，简称“南大”， MatDEM 采用创新的 GPU 矩阵计算法和三维接触算法，实现了每秒 1500 万次三维单元运动计算（二维 4000 万），计算单元数和计算速度达到了国外商业软件的 30 倍以上（300 万三维单元，1000 万二维单元）。软件实现了自动堆积建模，分层赋材料，节理面和荷载设置，丰富的后处理功能和二次开发等。研究生通过简单学习即可完成地质和岩土工程大规模离散元模拟。

    目前，MatDEM 软件主要包括以下两大模块：

    A 系统模块 

    1）主程序。运行二次开发代码和查看模拟参数；

    2）后处理。自动生成各类场图，过程曲线和模拟动画；

    3）材料。自动训练具有特定力学性质的离散元材料。

    B 应用模块

    包含各类地质和岩土工程问题的建模示例，可修改示例二次开发代码建立新的数值模型。其中滑坡示例和离散元试验室示例已形成窗口界面。随着 MatDEM 的发展，将不断增加新的模块，满足各类复杂工程应用需求。

挑战

    目前在资源与地球科学研究方向 主要有以下几大挑战：

•  软件开发：目前已有商业化的岩土离散元软件，大多数基于 CPU 进行计算，商业化软件效率低，计算能力有限，无法进行大规模计算，需要开发新的软件架构进行多维运动力学计算。

•  算法：通过 GPU 矩阵算法和三维接触算法，完成大规模场景模拟和数据分析，实现大规模岩土体离散元数据建模及分析。

•  计算能力：需要支持数百万三维单元的运动计算和计算加速，但 CPU 处理数十万单元就达到计算的瓶颈。大部分国外商业化软件基于 CPU 颗粒度计算都受到 CPU 性能瓶颈的影响，而 GPU 可以在处理百万单元时，达到每秒千万次单元运动的计算能力，甚至更高。GPU 在百万级颗粒度上的计算能力更胜一筹，也可以进行多卡并行计算提供更高的计算能力。

•  运维管理：大多数离散元软件基于 CPU 设备开发设计，很少采用 GPU 进行计算。因此软件开发人员要求具备 GPU 相关知识和技术能力，能够熟悉 GPU 架构和计算方式，便于提高 GPU 运行效率。

方案

1、采用 DGX-Station，把 DGX-Station 用于离散元软件 MatDEM 的研发和加速。DGX 系列可更快的加速多维运动计算。高性能离散元软件 MatDEM 是通过三维颗粒离散元计算进行模型创建和分析，要求能够快速完成模型创建和数据分析。可以加速研究成果输出和研究创新。

2、极大地缩短模型场景分析时间，采用 GPU 的矩阵乘加计算可以快速完成模型创建和成果输出。基于 DGX 系列中的 NVlink V100 的高计算能力和大显存的特征，可以高效的帮助科研人员完成岩土体相关场景的模拟和分析。

3、采用 GPU 的强大计算能力，MatDEM 软件可以充分利用 DGX station 内部的 GPU 资源进行高性能三维离散元计算。可以快速构建三维和二维运动力学模型，实现更高质量的数据模拟展示和分析。提供比 CPU 高达数十倍的计算能力，使 MatDEM 离散元软件可以处理每秒千万级次数以上单元运动的计算能力。

目前，公司计划将 DGX Station 和 MatDEM 离散元软件封装成一体化解决方案，帮助科研人员进行资源和地球科学研究的快速进行科学研究，减少设备搭建和软件部署成本，帮助使用 MatDEM 软件的科研人员降低学习成本，快速进行研究成果输出。

收益

使用了 DGX 系类（DGX-1、DGX Station），极大程度上满足了科研人员进行科学研究的流程化操作，缩短流程化时间，提高流程化效率。

NVlink V100 所带来的性能，无论从显存还是计算能力方面，都是 Tesla 同类型 GPU 中的佼佼者，采用 NVlink V100 加速三维运动计算的过程，可以在短时间内获取到模拟结果，加快 MatDEM 软件运行效率。

使用 DGX Station 平台，让运维人员无需考虑硬件及组网问题，而且 DGX Station 采用液体冷却技术，可以把 DGX Station 放置在科研人员办公环境和机房环境，开箱即用，无需考虑设备空间占用情况和软件部署等问题。

影响

使用了 DGX Station，极大地提升了科研计算速度，进一步提升了平台的用户体验，为科研人员提供一体化的软硬件平台。

DGX 系类加速资源和地球科学的研究，将 MatDEM 离散元软件提升了数十倍甚至近百倍的效率，满足了处理海量数据的需求，间接地提高了用户的策略研究效率，将策略研究时间由原来的 1 个多小时缩短到几分钟以内，极大地减少了时间成本，更利科研人员的成果输出。

DGX Station 对整个 GPU 资源的管理，可以更快让科研人员进入到自己的研发领域中，无需考虑运维和软件部署，可以令研发人员更专注于自己的研究方向，更高效的得出研发成果。