HIP Reduction：从正确性到 profiling 问题

Reduction 的答案小，过程却有很多边界

Reduction把许多输入结合成一个结果，例如1到6求和得到21。并行做法可以先让每组求局部和，再把局部和相加。这样计算图改变了：原本的一条长链变成多条短链和一次合并。整数没有溢出时容易比较精确结果；浮点加法的结合顺序改变后，低位结果可能变化，需要独立制定误差合同。

例一把六个数分成容量四的两组，第一组得到10，第二组只有5、6，得到11，再合并为21。最后一组不足四个元素时不能随意读取两个额外位置。对于求和，可以把无效位置视为加法单位元零；最大值等其他操作则需要相应单位元及类型边界，不能一律补零。

Block 内的树不等于全局同步

HIP中常见做法让线程先累积局部结果，再在block内通过共享存储或适合的跨lane原语合并。若使用共享存储，读写阶段之间需要正确同步。某些线程因越界直接return，而其他线程进入要求全组参与的barrier，会破坏同步合同。更稳妥的初学设计是无效线程贡献单位元，仍参加必要同步。

多个block不能靠普通block barrier完成全局同步。可以先把部分结果写出，随后启动下一轮kernel，或使用适合问题与设备的库及协议。独立组的执行顺序不应假定为编号递增。本章的C++分组循环只是算法分解模型，并没有验证任何HIP设备同步代码。

从“快了”变成具体问题

假设一个程序的输入复制、kernel、输出复制分别用四、二、一单位时间，端到端总长七。把kernel优化到一单位，端到端变成六，而不是三点五。例二用这种明确给定的假设说明优化上限。真实计时还可能包含初始化、分配、提交、等待和额外验证，必须先给测量区间命名。

因此先收集trace：哪段时间最长，是否反复分配，是否每个小任务都回读，是否存在空闲间隙。随后才用counter研究具体kernel的访存、指令或资源情况。Counter名字与可用性依设备及版本而异，不要把某张卡的计数器列表当所有AMD产品的共同接口。

# 公开rocprofv3用法示意；本章未在GPU或SDK环境执行。
rocprofv3 --hip-trace --kernel-trace --memory-copy-trace -- ./reduction

命令展示要收集哪类活动，不承诺这台电脑已经安装工具或具备兼容设备。运行前应查匹配版本的帮助和硬件支持。Trace本身也可能带来额外开销；详细profiling运行与正式benchmark可以分别保存，避免把诊断成本混入最终性能结论。

一个优化只回答一个假设

例如假设小规模输入受提交成本限制，可以比较批处理与逐次调用；假设大规模受数据移动限制，可以检查字节量及有效带宽；假设block资源过多降低并发，则检查对应资源报告。任何假设都先保留正确baseline，再只改变相关因素，并重新运行边界、随机和数值测试。

最终报告应说明输入规模、类型、算法版本、构建flags、设备、软件版本、预热、重复样本和测量范围。CPU逻辑模型通过只证明算法例子；没有真实GPU运行不能通过GPU correctness或measurement gate。学习profiling最先要练会提出可证伪问题，而不是编造一张漂亮的speedup表。

// Original CPU teaching model; not a device simulator or benchmark.
#include <iostream>
#include <vector>
#include <algorithm>
#include <numeric>
#include <stdexcept>

void require(bool ok) { if (!ok) throw std::runtime_error("model check failed"); }

int main() {
 const std::vector<int> a{1,2,3,4,5,6}; std::vector<int> partial;
 for(std::size_t start=0;start<a.size();start+=4) {
  int sum=0; for(std::size_t i=start;i<std::min(start+4,a.size());++i) sum+=a[i];
  partial.push_back(sum);
 }
 const int result=std::accumulate(partial.begin(),partial.end(),0);
 require(result==std::accumulate(a.begin(),a.end(),0) && partial==std::vector<int>({10,11}));
 std::cout<<"partials="<<partial[0]<<' '<<partial[1]<<" sum="<<result<<'\n';
}

clang++ -std=c++20 -Wall -Wextra -Wpedantic -Werror -pthread 36-a.cpp -o example && ./example

partials=10 11 sum=21

// Original CPU teaching model; not a device simulator or benchmark.
#include <iostream>
#include <stdexcept>

void require(bool ok) { if (!ok) throw std::runtime_error("model check failed"); }

int main() {
 const int upload=4, download=1, old_kernel=2, new_kernel=1;
 const int before=upload+old_kernel+download, after=upload+new_kernel+download;
 require(before==7 && after==6);
 std::cout<<"before="<<before<<" after="<<after<<" saved="<<(before-after)<<'\n';
}

clang++ -std=c++20 -Wall -Wextra -Wpedantic -Werror -pthread 36-b.cpp -o example && ./example

before=7 after=6 saved=1