Tesla 4卡 如何并行进行深度学习

环境是：Ubuntu18 + Cuda 10.1 + CuDnn 7.6 + TensorFlow-gpu 1.13.1
四卡物理上是交火连接，这样可以逻辑上看成一张卡运行吗？
本来TensorFlow多卡训练，代码需要改动较大，是否物理上交火后，我们代码只需要默认指定一张卡就行？