|
Q1:在黑客松比赛过程中，发现两台Server通过直连DPU相互ping时，首包时延很长的特点。这显著不同于普通网卡（ARP应答即可），推测与DPU片载的Open vSwitch有关,后来在实验室中重复，现象也相同。那么在ping的首包过程中，经历了哪些过程？ A：简单讲就是跟踪数据流的第一个数据包和后续连续的数据包，第一个数据包会被OVS检查流表是否有此数据流的规则，如果没有就会添加规则，并转发数据包到目的地，并将流表卸载到eSwitch，后续的数据包就不会经过 OVS，而是被eSwitch直接按流表转发。详情可去b站搜索视频：“在 BlueField DPU 上实现OVS DPDK”。
Q2:NVIDIA Bluefield -2最多支持多少个roce v2 QP并发呢？ BlueField-2 芯片集成了 ConnectX-6 Dx ，理论上支持任意数量的QP没有限制，活跃QP信息会缓存在芯片内部cache中.
Q3:在DPU上开启了应用识别，之后在Host用Tcpreplay做重放，但结果发现Bluefield无法完成，抓包发现只有udp包，具体原因是什么呢？ A：可能是未在 DPU 和 Host 都启用应用识别，识别结果会记录在一个.csv文件中；也可能是链路发现还没有完成，没有应用的网络包通过DPU。
Q4：如何获得这以下两项技术的支持？ 技术1：connect x6-dx roce programmable congestion control； 技术2：snap on bf-2。 A：目前都不是免费的，如果已经买了DPU可以找相应的销售对接技术支持。
Q5:运行过程中出现了相关参数： doca_application_recognition -a 0000:03:00.0,class=regex -a auxiliary:mlx5_core.sf.4,sft_en=1 -a auxiliary:mlx5_core.sf.5,sft_en=1 -- [application_flags] 其中sft_en 这个参数是什么意思呢？
Q6:请问大家知道Bluefield 2使用Gen3x16接口和Gen4x16接口速度有差异吗，影响大不大？ A: pcie Gen3是 8GT/s，PCIe Gen4是16GT/s，也就是PCIe Gen4 x 4相当于PCIe3 x 8的带宽，16对16的话就是差一倍带宽；PCIe Gen3可以折算支持100Gb/s，但不能支持200Gb/s，如果网络吞吐量大，Gen4/Gen5肯定是最佳选择。
Q7:请问一下，如果宿主机和DPU上的arm同时向远端发出流量，会占用同一部分PCIE带宽吗？ A: 不会占用 Q8：请问一下bluefield3 dpu上datapath 加速器中的16核256线程和16个arm核指的是同一个东西吗？Bluefield2上有这个数据路径加速器吗？那这个加速器是什么类型的特殊处理器啊？asic吗？还是np？ A：不是同一个东西，Bluefield2上没有这个数据路径加速器，加速器类型：RISCV Q9：编程时外来的数据包转发给arm核还是转发给主机是e switch决定的还是pcie switch决定的？ 还可以看一下这个视频，可以比较直观的看到 OVS的卸载过程 https://www.bilibili.com/video/BV1fF411M7xy/?spm_id_from=333.999.0.0，卸载的逻辑就是根据eSwitch的规则表，eSwitch查表，如果是数据流的第一个数据包，就要先发给 Arm确定转发规则，后续的数据流的数据包就按照规则表里的规则转发。
Q10:想在 DPU 的 Soc 里执行 DMA 操作，doca_pci_bdf 应该选择什么？
Q11:请问主机上的DOCA应该怎么卸载？ A:升级内核以后一般需要重装ofed，DOCA是装在DPU上的。主机上装ofed即可。
Q12:在尝试跑DOCA的示例"URL-Filter"这个项目的时候，编译这些示例项目时，一直都遇到一个编译错误，应如何解决？ A:可以在export之后ldconfig，之后ldconfig -p ｜grep argp。
Q13:NVIDIA BlueField 显示的product name 是 SOC 是1代还是2代? A:建议您从型号上来判断，一代的是MBF1开头，二代是MBF2开头
Q14:NVIDIA DPU中国黑客松竞赛的训练营可以旁听吗？ A:训练营是开放的，所有感兴趣的小伙伴都可以报名参加。
Q15:NVIDIA BlueField-2 DPU压缩和解压缩功能指的是什么呢？ A:指的是数据块的压缩和解压缩，类似gzip。另外，就是DPU芯片里集成了压缩和解压缩的处理器，可以高速处理。
Q16:CX6上使用mlnxqos正常，但用NVIDIA Bluefield-2DPU时命令不生效，请问原因？ A:BlueField DPU需要按照 DPU方式安装软件，和ConnectX并不完全一样，DPU需要在ARM上安装操作系统。
Q17:现在DPU支持P4了吗？ A:在发布的 DOCA 1.3 的 DOCA Service 中显示支持 P4 Runtime。
Q18:NVIDIA DOCA目前开源了吗？ A: DOCA分为两块，如 DOCA Driver中的 DPDK和SPDK本身就是开源软件，而DOCA 库 API 是Open License，随着成为 OPI创始成员，后续会有更多贡献在 OPI项目中，您可以关注Github上的OPI。
Q19:如图所示，流量会匹配所有规则然后转发到规则对应的队列；还是流量会先对应队列，然后只匹配队列对应的规则？ 数据包流量进来会经过多个pipe，形成pipeline，在Flow Pipe里可以是Match，Monitor，Modify和Forward。 Q20:运行中entry和queue的对应关系是怎样的？ A: Queue是一一对应硬件内核的，要多内核处理，就是把不同 Entry 创建在不同的Queue 逻辑里
Q21: DPU和GPU结合使用的话，编译的toolchain是怎样的？ 进入BF-X mode 之后，GPU对CPU host 不可见，具体可见下图 Q22:运行ipmitool 这个命令对硬件有要求吗？ 具体运行程序如下：sudo ipmitool power cycle Could not open device at /dev/ipmi0 or /dev/ipmi/0 or /dev/ipmidev/0: No such file or directory A:您的 DPU 卡上不带 BMC。具体可参考：
Q23:BlueField-X的是融合卡，卡上有一颗GPU和一颗DPU.具体怎么用这两个芯片呢？ A:以用在一些边缘场景，比如5G加速和分布式
Q24:融合卡上的GPU是被卡上的ArmCPU接管吗？ A:有两种模式，标准模式，GPU和DPU分开运作，一种BF- X，主机不可见GPU
Q25: NVIDIA BlueField-2 DPU与普通网卡的主要区别？ A：NVIDIA BlueField-2 DPU支持运行用于x86主机的应用程序、支持独立的Shell环境、支持运行不同的操作模式。
Q26: NVIDIA BlueField-2 DPU中RXP的应用场景有哪些？ A：包括入侵检测和预防、有状态防火墙、负载均衡、深度数据包检测DPI、应用程序识别、存储搜索等。
Q27: NVIDIA BlueField-3 DPU的突破有哪些？ A：NVIDIA BlueField-3 DPU是用于数据中心网络、存储和安全的400Gbps处理器，包括400GB连接、可编程计算、零信任安全、可组合存储等突破。
Q28:NVIDIA BlueField-2 DPU里面是ARM+cx6吗？ A：NVIDIA BlueField-2 DPU集成了ARM CPU和Connectx-6 DX网卡，以及其他硬件加速器。
Q29: Ovs offload跟test pmd的原理是相同的吗？ A: Ovs kernel通过tc卸载流，ovs dpdk通过rte flow卸载流.
Q30:运行中能offload多少条flow？下发flow速率可以参考ovs flow下发的速率吗？ A：使用software steering的流插入速度是每秒几十万条，使用hardware steering的插入速度可以到每秒上百万条；通过rte flow下发流比ovs dpdk下发快很多，因为ovs dpdk在插入流时需要做流验证（revalidation），在卸载时要将ovs数据流转换成rte flow流。
Q31：DPU除了数据中心的应用场景，还有哪些应用场景呢？ A：从部署的角度，主要是应用在云计算、核心数据中心和边缘计算
Q32：在DOCA目录下的application中，都使用的是rte_eth_rx_burst来接收包，但是下图所示的循环里的log却从来没有输出过，请问是什么原因？ 
A：运行的时候要设定日志等级，如果日志等级开满，可换成printf再做尝试。 关联Q：是否由于offload的问题？（现在走的是doca的cx offload，需把offload关了才能进dpdk的rx和tx） A：由于打的并非dns流量，所以会出现上述问题。 关联Q：请问只有dns流量会上cpu处理，其他的流量直接就在cx上hardware处理掉了吗？ A:是的，可以在宿主机上ping一个域名做尝试。您没有用RegEx来识别DNS 流量，发送的数据包被当作非DNS数据包处理了。 关联Q：请问是rte_rx在什么情况下会收到包？如果在dns_filter里只有dns包能收到的话，DOCA_FLOW_FWD_RSS这个fwd类型就是用来送包上arm的dpdk的吗？ A：可参考：2.15. Logging Management Define functions for internal and external logging management To add DOCA internal logging compile with "-D DOCA_LOGGING_ALLOW_DLOG" 及Will generate debug log for development purposes. To show the logs define DOCA_LOGGING_ALLOW_DLOG in the compilation variables. This will not effect performance if compiled without DOCA_LOGGING_ALLOW_DLOG, as it will be removed by the compiler. 需要先打开允许Debug Log，然后编译才会输入 Log，否则编译时会去除 Debug Log的输出。可参考这个 API 的说明：
Q33：请问是所有包都会被rte_eth_rx_burst收到吗？手头并没有dpu如何解决？ A：rte_eth_rx_burst 是在 DPDK 中针对以太网设备接收队列中输入数据包的。 另外，手头没有 DPU，可以注册DOCA早期开发者计划，然后申请卓越中心提供的本地免费开发环境使用机时。
Q34：请问物理上DDR是多少（主频3200MHz，位宽64bit）？实际能跑到的可用DRR占比是否有超过50%？ A：DDR4跑到满频率，单通道 32GB/s左右。
Q35：把dpdk的生成包的代码copy过来，但是在allocate packet时会segmentaion fault，请问这和DOCA之前可能隐式的生成过mempool有关吗？ A：该问题应是在分配池子的时候用了和DOCA隐式分配一样的池子名，可尝试修改池子名。
Q36：之前正常使用100g qsfp28 dac连的bf2和intel的交换机，而把intel交换机换成了华为ce6800系列交换机，dac不能用了，请问这种情况应该如何解决？ A：换华为交换机的兼容线即可，如果有老版本的固件，刷完了也可能会解决这个问题。 Q37:所有流量都必须通过DPA吗？ A:不是必须的，缺省都不必通过。 Q38：请问有 Bluefield3的产品文档吗？这个产品需要什么样的pcie插槽？ A：BlueField-3 DPU 中文产品手册如下： pcie插槽可参考文档： Q39:请问 NVIDIA BlueField SNAP and virtio-blk SNAP Documentation该文档如何获得？ A：SNAP 需要单独购买许可。
Q40：Bluefield-2配备什么型号的服务器？未来Bluefield-3又会用什么型号？ A：在服务器型号上没有特定的推荐，可根据需求和预算来选，选定特定型号的 BlueField DPU 后，要看它的硬件安装要求。如果想选择 NVIDIA OEM 合作伙伴出品的服务器，可以看戴尔、联想、浪潮的品牌服务器。
Q41: DOCA里FLOW_FWD_RSS用的默认哈希字段是什么？怎么设置hash字段呢？
Q42：DPU没有使用，却一直高温报警，请问是什么问题？ A：可以尝试拆开机器检测温度，检查是否真的过热，有可能是因为后台程序被占用。
Q43:是否有一个stepbystep的操作指南，能把OpenStack的计算节点的网络ovs卸载和存储卸载测试环境搭出来呢？ A:如果您是NVIDIA DPU的客户或合作伙伴，您需要联系您对应的NVIDIA销售和系统架构工程师以获得帮助
Q44:按照以下教程，想安装一下doca1.5.1，结果mst 启动不了了, 请问是什么情况？ A:这是由于旧版本卸载不完全导致的。
Q45:请问什么软件可以测cps吗？
Q46:请问DOCA 什么时候出python版本？
Q47:在BlueField2中运行flow sample下的flow aging例子时，报错了cannot create hws action since hws is not supported。请问应该怎么查看有关hws的支持呢？
Q48:目前Host端BF2的驱动始终无法加载，仅能通过OOB访问ARM系统，想问下这个问题如何解决呢？ 问题详情：按照https://docs.nvidia.com/doca/sdk/installation-guide-for-linux/index.html#upgrading-firmware 指示的步骤做完 Upgrading Firmware后，DPU ARM端Driver is the owner是“not supported”，重启Host端后，发现mlx5_core模块探测设备的时候出了问题。 A:从Host，sudo lspci ｜grep -i Blue，可以看到DPU卡的话，验证一下rshim是否active，再查看一下 DPU运行模式，运行模式要DPU mode，然后检查rshim的IP是否和DPU在一个网段。 关联Q：如何确定DPU运行模式呢？ A：在您看的SDK 文档右上角搜索 DPU mode，有一个 DPU Operation Mode的文档。
A：您的DPU不支持 InfiniBand 网络，ibv_devinfo 是显示 InfiniBand 连接设备的，可能是因为这个原因不显示设备信息。 关联Q：请问在DPU里的ARM是可以看到RoCE设备的，但在HOST端就什么都看不到，这是什么情况呢？ 关联Q：ibv_get_device_list 这个Verb没有返回任何设备，请问如何解决？ Q50:请问Netronome/芯启源的Agilio系列有无恢复出厂设置的方式？ A：暂无回复
以下为GTC23 NVIDIA高性能加速网络中文专场的相关问题： Q51:NVIDIA BlueField DPU 的可编程性体现在哪里？ A：从最新量产的 NVIDIA BlueFIeld-3 DPU 来看，它具有三大可编程组件，即 16 核 A78 ARM CPU、16核256线程数据路径加速器（DPA）和加速可编程Pipeline。同 DOCA 2.0 软件开发套件来对这些可编程组件进行编程，比如软件定义网络的控制平面、IO密集型的应用和高性能数据包处理应用程序。 Q52:云原生超级计算架构能带来那些优势？ A：1. 网络成为了计算单元 2. 在云上实现了裸金属的性能，在多个高性能任务并行运行的时候能保证每个任务的性能 3. 通过DPU实现了业务和基础设施的分离 4. 数据中心更安全，面向零信任 Q53:高性能 HPC/AI 超级云架构有那些新特征？ A：高性能HPC/AI超级云的主要架构就是利用DPU实现业务平面和基础设施平面的分离，消除基础设施操作对于业务性能和安全性的影响；将管理网和业务网分离，管理网采用传统的以太网络，业务网采用高性能的网络，实现管理和业务的双重高效性；利用新的网络计算技术，是网络成为计算单元，增强数据中心的算力。 Q54: DPA和PCC是什么关系？ A：PCC运行在DPA上 Q55:在GPU集群中BlueField-3如何应用？ A：目前在GPU集群中的BF3主要用来做管理网和存储网，通过DPU可以接入管理网络对整个GPU集群进行管理，通过BF3可以运行存储框架在DPU上，不需要主机CPU来运行存储框架，也可以用来运行NVMe SNAP来模拟NVMe存储，运行NFS和其它文件系统的模拟器来模拟文件存储等。 (edited) Q56: DPU卸载通讯是否能同时支持IB网络和RoCE网络？ A:现在的实现是在IB网络上，理论上通信和计算的重叠是可以支持IB RDMA和RoCE的 Q57：百度智能云DPU高性能网络的技术趋势有哪些？ A:通过将计算、网络、存储卸载，实现资源统一池化，打平计算产品底层的硬件差异，为用户提供更好的算力灵活性和云基础架构特性，同时随着DPU的升级迭代优化网络吞吐并且进一步降低CPU负载，支持用户的大规模组网和高速网络的需求场景 Q58:BlueField-3中的16个ARM核，可以处理哪些业务? A:通常来说是处理网络卸载的运算，也可以定制化的把自己的应用程序放在上面，如有的客户运行的相关管理和探针应用，和GPU联合的相关A.I推理、训练任务协作等。随着网络带宽来到400Gb/s，16核心ARM处理器非常有必要。 Q59: DOCA开发环境使用时间和身份有限制吗？ A:卓越中心的申请，需要您提交自身的使用计划，由我们合作伙伴评估授权您使用时间。DOCA中国开发者社区注册用户，可以免费使用一定时间，具体需要评估。 Q60: DPU直接进行rdma操作有样例程序吗？ A:有样例程序，可以和OSU大学的MVAPICH-2_DPU联想，或者在UCC代码中获得参考样例。 Q61:NDR高性能网络产品提到了不少的加速特性和高性能机制，如果从chatGPT对网络的需求角度来看，哪些方面的特性正好可以回答类似的问题或者满足需求？ A：ChatGPT的训练和推理是两个应用方向。在训练部分，基于云原生的HPC-AI系统和网络特性，如刚才说的SHARP，NVIDIA InfiniBand网络都可以极大的加速训练效率，帮助GPU更快的完成大语言模型训练。在推理方面除了上述性能优势外，采用了DPU的网络还具有租户隔离和相关网络卸载优势，方便类似Microsoft Azure和New Bing这样提供GPT推理的服务更多用户。 Q62:BlueField系列在中国发货量有多大？ A:在中国的具体发货量不方便透露，但已经广泛的应用于 CSP 和 CRISP 领域，后续 NVIDIA BlueField-3 DPU 和 InfiniBand 网络都将是生成式 AI、数据计算和元宇宙的基础高性能网络，会广泛的应用于各行各业的云数据中心和高性能计算中心中。 Q63:接收端DPU怎么知道数据已经接收完毕从而代答ack给发送端的？ A:Ack是由DPU上的网卡来完成的，completion是由DPU的CPU来获取的。接收端的最后一个Ack回复代表最后一个packet已经到达了。发送端的DPU收到这个Ack后就知道操作完成了。 Q64:Bluefield3 什么时候能够购买到？ A：如果您对 NVIDIA BlueField-3 DPU 有需求，请联系我们的销售人员或中国的合作伙伴进行订购，订购后可以查看交付时间。 Q65:构建基于DOCA的边缘计算，有实际案例吗？ A:在边缘计算方面，比如 DOCA 可以卸载5G UPF，来提升边缘应用性能，同时降低耗电量，且每台服务器能支持2.5倍的用户。 Q66:Red Hat OpenShift 与 NVIDIA BlueField DPU 的双集群网络设计有给Kubernetes混合云带来那些好处？ A:主要有两方面的好处，第一是安全性，第二是效率。 安全性：基础设施的控制面和应用程序负载分别部署在两个kubernetes集群里，通过基础设施集群可以控制应用程序的网络部署和拓扑 效率： 基础设施的网络处理可以通过内核卸载到DPU的SmartNIC上，提升整体的网络吞吐和效率 Q67:VMware vSphere Distributed Services Engine在企业混合云架构中的功能和优势有哪些？ A:首先，VMware整体解决方案是全面拥抱混合云架构的，例如VMware Cloud整体解决方案、TKG整体架构等。在此基础上，vSphere Distributed Services Engine在架构和实现上是全面兼容上述提到的企业混合云架构的。这就使得工作负载可以在上述不同的云之间可以无缝迁移，同时在已经部署了Nvidia DPU和vSphere DSE技术的平台上获得理想的加速效果。 Q68: DPA 有ARM的编程性那么通用吗? A:有了 DOCA 软件框架中的驱动、库、文档、示例程序等资源，可以让开发者体验基于行业标准 API 的统一、开放的开发环境，并具有更好的通用性和兼容性。 Q69:太行DPU会应用到文心一言业务中吗？ A:会的，现在已经在使用了 Q70: DOCA和K8S可以有几种关系，是包含关系还是并行？ A:没有直接的关系。DOCA是一个SDK，K8S是系统的容器仲裁工具。DOCA可以运行在容器环境中。 Q71：host到DPU的主机带宽提升了吗？有MMIO的支持了吗？ A:主机与DPU之间的带宽主要取决于 PCIe，NVIDIA BlueField-3 DPU 采用 PCIe 5.0 接口标准，最大会比上一代提升 4 倍的带宽。 Q72: DOCA 即支持CX系列也支持BF系列，两者有什么差别？有什么应用是只能在BF上卸载的吗？这方面有没有说明？ A:ConnectX系列智能网卡可以支持DOCA中的网络卸载能力，如RDMA，DPDK等特性，但是没有更多的编程性。 DPU则拥有ARM和DPA环境，可以自主编程。 如在和GPU合作的相关解决方案Morpheus中，GPU负责推理，DPU负责相关流量方向的分析和运算，两者协同提供了网络流量威胁预测的解决方案。 普通智能网卡无法独立处理，需要CPU介入，占用资源。 Q73:NVIDIA的以太网交换机是三层交换机吗？支持BGP吗？ A:可以支持二层和三层交换，支持BGP。 Q74:multi-tenant性能隔离实现的大概原理和用到的产品特性是什么？ A：性能隔离主要是通过DPU和InfiniBand交换机的协调工作，在多个任务共享同一张网络的时候，通过NVIDIA网络的动态路由技术、流控技术和拥塞控制技术来规避多流量并发时的干扰。这是几十年来在多任务共享网络时一直想解决的问题，在NVIDIA InfiniBand网络上第一次实现了。 Q75:client端可以安装dpu吗？怎么通过dpu来降低client的功耗的？ A:NVIDIA BlueField DPU 需要部署在数据中心服务器中。从能效方面，NVIDIA BlueField DPU 可以卸载数据中心基础设施工作负载，提供高性能的网络，同时释放了服务器 CPU 核心，提升服务器的效率，实现用更少的服务器支撑相同工作负载，从而减少服务器的购买成本和电力成本，并减少配电、冷却、机架空间等投入，会综合节省客户的总体拥有成本。 Q76:NVIDIA BlueField的优势是什么？ A：除了性能方面的大幅提升，NVIDIA BlueField DPU 还可以释放 CPU 核心，所以可以使用更少的服务器就可以完成同等的工作负载，也可以使用同等数量的服务器完成更多的工作负载，同时 NVIDIA BlueField DPU 还可以提供更好的安全性，是构建零信任安全的基础，可将安全策略延伸至服务器内。 Q77: DOCA支持DPDK吗？ A： DPDK 是 DOCA 软件框架中的一部分，属于 DOCA 驱动。而且 DOCA 基于 DPDK 还抽象了 DOCA Flow 库，方便开发者快速构建 flow 相关的应用程序或服务。 Q78：有人遇到过编译的时候这个符号找不到的情况吗？（问题详情：动态链接的时候Host调用doca_comm_channel_ep_connect找不到这个符号，且调用这个的时候会报错） A:sample编译的时候要加几个额外的参数才能编译，直接用meson编译不了。链接的问题是链接库的顺序有点问题。 Q79：（NVIDIA MBF2H332A-AEEOT BlueField-2 P-Series DPU 25GbE Crypto Enabled ）这个卡说支持regex,但是未注明支持dpi,dpi是所有卡默认都支持吗？ A: DPI没限制，DPI会用到RegEx。 Q80:如何在BlueField上配置trex？ Q81:有没有遇到过BlueField插上开不开机的情况 ？（详情：卡在初始化界面，拔了BlueField卡之后，机器就又好了） A:可以多等一下 等进系统后，给DPU刷BFB 应该就不会出现这个问题了。
| 
