CROSS JOIN on My Learning Notes

【工作杂谈_20260806】多维分析与数据建模: CROSS JOIN 实战：灵活生成多维聚合组合

Thu, 06 Aug 2026 22:17:08 +0800

1、CROSS JOIN简介

CROSS JOIN 返回两表的笛卡尔积：左表的每一行都会与右表的每一行组合。本例两表各有 3 行，因此返回 3 \times 3 = 9 行；NULL 不参与匹配判断，也不会阻止组合。

连接 Hive 数据库，创建示例表并填充数据：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


create table orders(
user_id string,
amount double
)
row format delimited fields terminated by '\t'
stored as textfile;

insert into orders values
('1',100),
(NULL,200),
('3',300);

create table users(
user_id string,
user_name string
)
row format delimited fields terminated by '\t'
stored as textfile;

insert into users values
('1','Alice'),
('2','Bob'),
(NULL,'Charlie');

select * from orders;
select * from users;

orders

user_id	amount
1	100
NULL	200
3	300

users

user_id	user_name
1	Alice
2	Bob
NULL	Charlie

1
2
3


SELECT *
FROM orders o
CROSS JOIN users u;

结果：

user_id	amount	user_id	user_name
1	100.0	1	Alice
1	100.0	2	Bob
1	100.0	NULL	Charlie
NULL	200.0	1	Alice
NULL	200.0	2	Bob
NULL	200.0	NULL	Charlie
3	300.0	1	Alice
3	300.0	2	Bob
3	300.0	NULL	Charlie

SQL 在没有 ORDER BY 时不保证结果顺序，表格中的顺序仅用于展示。

2、大数据下的应用场景

2.1 引入分组聚合函数

假设SourceTable表的记录如下，其中的Col1, Col2,Col3,Col4, Col5 对应了我们关注的5个统计维度

PartnerID	BrandID	ContentID	Col1	Col2	Col3	Col4	Col5	UserMUID
P1	B1	C1	Video	10	App	CN	Sports	U1
P1	B1	C1	Video	30	Web	CN	Finace	U1
P1	B1	C1	Artical	20	App	CN	Finace	U2
P1	B1	C1	Artical	10	App	CN	Sports	U1

如果想探究Col1与用户的关系，那么就需要计算在不同的Col1值下 User的数量，也就是下面的sql

1
2
3


select Col1,Count(distinct UserMUID)
from SourceTable
group by Col1

同理如果想探究Col2, cols3, col4 col5与用户的关系，那么就需要计算在不同的Col2, cols3, col4 col5值下 User的数量，也就是下面的sql

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


select Col2,Count(distinct UserMUID)
from SourceTable
group by Col2

select Col3,Count(distinct UserMUID)
from SourceTable
group by Col3

select Col4,Count(distinct UserMUID)
from SourceTable
group by Col4

select Col5,Count(distinct UserMUID)
from SourceTable
group by Col5

现在问题变得更复杂，如果想探究Col1, Col2的组合与用户的关系，那么就需要写重新sql进行计算

回想一下数学种的统计知识，已知Col1, Col2, cols3, col4 col5这5个维度是互不干扰的，且每个维度的值都不为空，那么其所有的组合就是对5个位置的独立选择，这5个空位分别有两个值可选：存在/不存在。最后会得到2的5次方=32共32种组合

那么如果我们想全面地分析维度与用户数量的关系，就应该得到32个类似上面的sql。很显然这种做法很蠢，是白白浪费代码和时间，属于是在时间和空间上都不讨巧的笨蛋做法。

所以早在1996年就有人提出了更加优秀的解决办法：分组聚合函数

使用分组聚合函数ROLLUP / CUBE / GROUPING SETS可以用一个sql直接生成上面32种维度的聚合结果指定维度的组合，

2.1.1 大数据领域 OLAP 分组扩展引入时间线

时间点事件

1996 Gray 等学者在论文中提出 CUBE 概念

1999–2002 SQL:1999 标准正式纳入 ROLLUP / CUBE / GROUPING SETS

~2012–2013 Hive 0.10.0 引入 GROUPING SETS、CUBE、ROLLUP(Hadoop 生态最早原生支持)

2015 年中 Spark 1.4.0 在 DataFrame API 中引入 CUBE 算子

2015 年底 Spark 1.6 补齐 rollup()，DataFrame API 多维聚合能力完整

2016 PostgreSQL 9.5 才支持 CUBE / ROLLUP / GROUPING SETS

2017 Hive 2.3.0 对齐标准 SQL 的 GROUPING 语义

时间点	事件
1996	Gray 等学者在论文中提出 CUBE 概念
1999–2002	SQL:1999 标准正式纳入 ROLLUP / CUBE / GROUPING SETS
~2012–2013	Hive 0.10.0 引入 GROUPING SETS、CUBE、ROLLUP(Hadoop 生态最早原生支持)
2015 年中	Spark 1.4.0 在 DataFrame API 中引入 CUBE 算子
2015 年底	Spark 1.6 补齐 rollup()，DataFrame API 多维聚合能力完整
2016	PostgreSQL 9.5 才支持 CUBE / ROLLUP / GROUPING SETS
2017	Hive 2.3.0 对齐标准 SQL 的 GROUPING 语义

由于这篇文章不是为了介绍分组聚合函数的，所以对三个关键字不熟悉或者感兴趣的同学可以看我这篇文章：HIVE高级分组聚合的 GROUPING SETS / ROLL UP / CUBE 关键字

2.2 引入CROSS JOIN搭配辅助表

当想一次SQL跑出多种维度组合的聚合结果时，很容易想到 HIVE高级分组聚合的 GROUPING SETS / ROLL UP / CUBE 关键字

但是有些情况还不够灵活：

如果5个维度之间不存在递进关系，就不能使用ROLL UP
5个维度完全组合会得到2^5次方=32共32种维度组合，但如果某些组合不想要了，就不能使用 CUBE（CUBE是自动按照维度计算全组合的）
假设只需其中30种的维度组合，全部都在GROUPING SETS 中一个个声明也很麻烦。而且如果维度从5个变为6个，那么代码又要重新修改。

此时如果将维度组合显示记录在一个辅助表DimensionCombinations，就可以避免上面的问题：

从数学的角度看，这5个维度的组合就是5个可重复的独立选择，这5个空位分别有两个值可选：不聚合/聚合，分别可以抽象成0/255

0 是一个“保留原始维度值”的控制标记。
255 是一个“将该维度替换为 All”的控制标记。

那么事先将这些组合写入0/255的辅助表中，再和业务表执行 CROSS JOIN就自然可以得出所有维度的组合。当想去掉某些维度的聚合时，只需要将列值置为0则不会进入聚合阶段。

这里的做法我觉得很类似用空间换时间的算法，我们提前将表进行膨胀组合，就省去了后面多次按照不同维度的聚合。

下面以完整的32个组合的辅助表DimensionCombinations为例，讲下具体怎么使用

维度1	维度2	维度3	维度4	维度5
0	0	0	0	0
0	0	0	0	255
0	0	0	255	0
0	0	255	0	0
0	255	0	0	0
…	…	…	…	…
255	255	255	255	255

当一条记录如下，其中的Col1, Col2,Col3,Col4, Col5 对应了我们关注的5个数据维度，分别对应辅助表DimensionCombinations 会进行组合的5个维度

PartnerID	BrandID	ContentID	Col1	Col2	Col3	Col4	Col5	UserMUID
P1	B1	C1	Video	10	App	CN	Sports	U1

这条记录和辅助表的32 行做 CROSS JOIN 后，这一行会在逻辑上扩展成 32 行。

以Col1 被置为255为例，讲一下此类型的组合后续会发生什么，其他组合同理。

当某条 DimensionCombinations 记录的 Col1 = 255 时，该组合下所有原始 Col1 都被映射为统一的 255，虽然 Col1 仍出现在分组列中，但由于其值完全相同，效果等同于消除 Col1 维度。可以理解为此组合下时分组条件从 Col1, Col2,Col3,Col4, Col5 的5列变为了Col2,Col3,Col4,Col5 的4列

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


ExtendedResult =
 SELECT 
 L.PartnerID,
 L.BrandID,
 R.Col1 == 0 ? L.Col1 : 255 AS Col1 ,
 R.Col2 == 0 ? L.Col2 : 255 AS Col2 ,
 R.Col3 == 0 ? L.Col3 : 255 AS Col3 ,
 R.Col4 == 0 ? L.Col4 : 255 AS Col4 ,
 R.Col5 == 0 ? L.Col5 : 255 AS Col5 ,
 UserMUID
 FROM SourceTable AS L
 CROSS JOIN DimensionCombinations AS R;

那么此时再执行 COUNT(DISTINCT UserMUID)（如下），膨胀出来的32行的具有相同的UserMUID，CROSS JOIN只是提前将所有统计维度提前应用到原始行上，组合结果中如果Col1 = 255则表示消除了此维度，只留下一个值255

中文的含义就是以Col1=all维度的汇总数据

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


AggResult = 
 SELECT
 PartnerID,
 BrandID,
 Col1 ,
 Col2 ,
 Col3 ,
 Col4 ,
 Col5 ,
 COUNT(DISTINCT UserMUID) AS AUCount
 FROM ExtendedResult;

以此类推，这样通过一个辅助表DimensionCombinations，就可以通过一次分组计算得到任意5个维度的所有组合，而不必指定具体维度名字。如果有其他表的其他列也需要进行5个维度的全组合，也可以使用同样的辅助表。

以这种方式来计算多维度下的统计数据，可以减少计算资源的浪费，因为只读取了一次源数据，就得到了所有维度的统计结果，避免了重复读取。

2.3 详细步骤

如果上面的使用方法的抽象概念没有看懂，可以看下这里的分步详解；如果上面的讲解能够理解，这一小节可以跳过。

表还是SourceTable，以下面的记录为例

PartnerID	BrandID	ContentID	Col1	Col2	Col3	Col4	Col5	UserMUID
P1	B1	C1	Video	10	App	CN	Sports	U1
P1	B1	C1	Video	30	Web	CN	Finace	U1
P1	B1	C1	Artical	20	App	CN	Finace	U2
P1	B1	C1	Artical	10	App	CN	Sports	U1

为了便于理解，暂时不看DimensionCombinations的全部 32 行，只取下面两个组合：

1
2
3


Col1    Col2    Col3    Col4    Col5
255     0 0 0 0
255     255 0 0 255

它们分别表示：

1
2


255 0 0 0 0 = Col1 上卷为 All，其他四个维度保留原值
255 255 0 0 255 = Col1、Col2、Col5 上卷为 All，其他两个维度保留原值

代码中的表达式：

1

R.Col1 == 0 ? L.Col1 : 255 AS Col1

含义是：

1
2
3
4
5


R.Col1 = 0
 => 输出 L.Col1，保留原值

R.Col1 = 255
 => 输出 255，表示 All Col1 Types

原始4条数据经过下面的sql转换后

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


ExtendedResult =
 SELECT 
 L.PartnerID,
 L.BrandID,
 L.ContentID,
 R.Col1 == 0 ? L.Col1 : 255 AS Col1 ,
 R.Col2 == 0 ? L.Col2 : 255 AS Col2 ,
 R.Col3 == 0 ? L.Col3 : 255 AS Col3 ,
 R.Col4 == 0 ? L.Col4 : 255 AS Col4 ,
 R.Col5 == 0 ? L.Col5 : 255 AS Col5 ,
 UserMUID
 FROM SourceTable AS L
 CROSS JOIN DimensionCombinations AS R;

就会膨胀得到4*32行，表示原始行与32个维度的组合

2.3.1 第一个组合：255 0 0 0 0

当组合为：255 0 0 0 0，表示Col1 上卷为 All。执行下面的代码后

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


ExtendedResult =
 SELECT 
 L.PartnerID,
 L.BrandID,
 L.ContentID,
 R.Col1 == 0 ? L.Col1 : 255 AS Col1 ,
 R.Col2 == 0 ? L.Col2 : 255 AS Col2 ,
 R.Col3 == 0 ? L.Col3 : 255 AS Col3 ,
 R.Col4 == 0 ? L.Col4 : 255 AS Col4 ,
 R.Col5 == 0 ? L.Col5 : 255 AS Col5 ,
 UserMUID
 FROM SourceTable AS L
 CROSS JOIN DimensionCombinations AS R;

表达式会把每条记录的 Col1 都改成 255，此时Col1=all（即不再区分 Col1），第一行、第四行的数据在Col1~Col5这几列是完全一致的

PartnerID	BrandID	ContentID	Col1	Col2	Col3	Col4	Col5	UserMUID
P1	B1	C1	255	10	App	CN	Sports	U1
P1	B1	C1	255	30	Web	CN	Finace	U1
P1	B1	C1	255	20	App	CN	Finace	U2
P1	B1	C1	255	10	App	CN	Sports	U1

这部分数据再进行分组

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


AggResult = 
 SELECT
 PartnerID,
 BrandID,
 ContentID,
 Col1,
 Col2,
 Col3,
 Col4,
 Col5,
 COUNT(DISTINCT UserMUID) AS AUCount
 FROM ExtendedResult;

统计结果如下

PartnerID	BrandID	ContentID	Col1	Col2	Col3	Col4	Col5	AUCount
P1	B1	C1	255	10	App	CN	Sports	1
P1	B1	C1	255	30	Web	CN	Finace	1
P1	B1	C1	255	20	App	CN	Finace	1

需要注意由于原来的第一行和第四行是同一个用户，所以ActiveUser通过DISTINCT只能算作一个

2.3.2 第一个组合：255 255 0 0 255

当组合为：255 255 0 0 255，表示Col1,Col2,Col5 上卷为 All。执行下面的代码后

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


ExtendedResult =
 SELECT 
 L.PartnerID,
 L.BrandID,
 L.ContentID,
 R.Col1 == 0 ? L.Col1 : 255 AS Col1 ,
 R.Col2 == 0 ? L.Col2 : 255 AS Col2 ,
 R.Col3 == 0 ? L.Col3 : 255 AS Col3 ,
 R.Col4 == 0 ? L.Col4 : 255 AS Col4 ,
 R.Col5 == 0 ? L.Col5 : 255 AS Col5 ,
 UserMUID
 FROM SourceTable AS L
 CROSS JOIN DimensionCombinations AS R;

表达式会把每条记录的 Col1,Col2,Col5 的值都改成 255，此时Col1=all, Col2=all, Col5=all,（即不再区分 Col1,Col2,Col5），第一行、第三行、第四行的数据在Col1~Col5这几列是完全一致的

PartnerID	BrandID	ContentID	Col1	Col2	Col3	Col4	Col5	UserMUID
P1	B1	C1	255	255	App	CN	255	U1
P1	B1	C1	255	255	Web	CN	255	U1
P1	B1	C1	255	255	App	CN	255	U2
P1	B1	C1	255	255	App	CN	255	U1

这部分数据再进行分组

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


AggResult = 
 SELECT
 PartnerID,
 BrandID,
 ContentID,
 Col1,
 Col2,
 Col3,
 Col4,
 Col5,
 COUNT(DISTINCT UserMUID) AS AUCount
 FROM ExtendedResult;

统计结果如下

PartnerID	BrandID	ContentID	Col1	Col2	Col3	Col4	Col5	AUCount
P1	B1	C1	255	255	App	CN	255	2
P1	B1	C1	255	255	Web	CN	255	1

2.3.3 组合总结

通过上面的两种组合的案例，应该可以很好地将这个逻辑扩展到剩余的组合中。

当初始表的维度为5个时，光统计一个AUCount（ActiveUserCount）指标我们就可以膨胀出2^5=32倍的记录。也就是说随着表的维度增加，统计的指标增加，最终膨胀出的行数是以指数级别扩张的。（当数据量达到千万以上时需要注意数据倾斜的问题）

所以这时候使用CROSS JOIN辅助表的优势就会越来越明显，因为一次CROSS JOIN可以得出多个维度组合的统计，不仅比分开写多条GROUP BY的代码更简洁，还减少对原始表的重复扫描，并减少了Reduce的次数。

3、CROSS JOIN扩展维度的优势

最后再总结一下使用CORSS JOIN 辅助表的好处：

不依赖特定 CUBE 语法，可通过修改资源文件增加或删除某些组合。
可以统一用 255 表示 All，避免用 NULL 与真实空值混淆。
其他表的处理可以复用相近的维度组合逻辑。

【四_(1)】Hive/Spark SQL 七种 JOIN 的区别：NULL 匹配规则与结果对比

Mon, 18 May 2026 22:16:40 +0800

1、数据源

连接 Hive 数据库，创建示例表并填充数据：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


create table orders(
user_id string,
amount double
)
row format delimited fields terminated by '\t'
stored as textfile;

insert into orders values
('1',100),
(NULL,200),
('3',300);

create table users(
user_id string,
user_name string
)
row format delimited fields terminated by '\t'
stored as textfile;

insert into users values
('1','Alice'),
('2','Bob'),
(NULL,'Charlie');

select * from orders;
select * from users;

orders

user_id	amount
1	100
NULL	200
3	300

users

user_id	user_name
1	Alice
2	Bob
NULL	Charlie

2、NULL 值判断

NULL 和任意值比较的结果都是UNKNOWN，如下：

表达式	结果
`NULL = 1`	`UNKNOWN`
`NULL = NULL`	`UNKNOWN`

∵ Join 只有在 ON 条件结果为 TRUE 时才匹配，且NULL = NULL 的结果不是 TRUE，而是 UNKNOWN

∴ 因此，普通等值 Join 中，NULL 不会与 NULL 匹配，但不同 Join 类型对于“未匹配行是否保留”有区别

3、JOIN 类别

3.1 INNER JOIN

INNER JOIN 只会保留双方都匹配上的行

当 o.user_id 或 u.user_id 为 NULL 时，等值条件返回 UNKNOWN，因此未匹配的相关行被过滤

1
2
3
4


SELECT *
FROM orders o
INNER JOIN users u
 ON o.user_id = u.user_id;

结果：

user_id	amount	user_id	user_name
1	100.0	1	Alice

3.2 LEFT JOIN

LEFT JOIN 保留完整的左表以及匹配上的右表，右表未匹配上的列会补上NULL

左表 Key=NULL 时无法匹配右表，但由于是 Left Join，左表记录仍然保留，右表所有字段补 NULL

1
2
3
4


SELECT *
FROM orders o
LEFT JOIN users u
 ON o.user_id = u.user_id;

user_id	amount	user_id	user_name
1	100.0	1	Alice
NULL	200.0	NULL	NULL
3	300.0	NULL	NULL

3.3 RIGHT JOIN

RIGHT JOIN 保留完整的右表以及匹配上的左表，左表未匹配上的列会补上NULL

右表 Key=NULL 时无法匹配左表，但由于是 RIGHT JOIN，右表记录仍然保留，左表所有字段补 NULL

1
2
3
4


SELECT *
FROM orders o
RIGHT JOIN users u
 ON o.user_id = u.user_id;

user_id	amount	user_id	user_name
1	100.0	1	Alice
NULL	NULL	2	Bob
NULL	NULL	NULL	Charlie

3.4 FULL OUTER JOIN

FULL OUTER JOIN 保留左表所有行和右表所有行，能根据 ON 条件匹配上的行合并成一行，无法匹配的行，缺失的一侧用 NULL 填充

左或右表 Key=NULL 时无法匹配则另一边所有字段都补 NULL

1
2
3
4


SELECT *
FROM orders o
FULL OUTER JOIN users u
 ON o.user_id = u.user_id;

结果：

user_id	amount	user_id	user_name
1	100.0	1	Alice
NULL	NULL	2	Bob
3	300.0	NULL	NULL
NULL	NULL	NULL	Charlie
NULL	200.0	NULL	NULL

user_id=1 在两表中都存在 → 正常匹配，合并为一行
user_id=NULL (amount=200) 在左表，右表也有一个 user_id=NULL 的行，但 NULL = NULL 的结果是 UNKNOWN 而不是 TRUE，所以两行不会匹配，左表行单独出现且右表字段填 NULL
user_id=3 只在左表 → 保留左表，右表填 NULL
user_id=2 只在右表 → 保留右表，左表填 NULL
user_id=NULL (Charlie) 在右表，同理，它没有匹配到左表的任何行（包括左表的 NULL 行），所以右表这一行单独出现，左表填 NULL

3.5 CROSS JOIN

CROSS JOIN 返回两表的笛卡尔积：左表的每一行都会与右表的每一行组合。本例两表各有 3 行，因此返回 $3 \times 3 = 9$ 行；NULL 不参与匹配判断，也不会阻止组合。

1
2
3


SELECT *
FROM orders o
CROSS JOIN users u;

结果：

user_id	amount	user_id	user_name
1	100.0	1	Alice
1	100.0	2	Bob
1	100.0	NULL	Charlie
NULL	200.0	1	Alice
NULL	200.0	2	Bob
NULL	200.0	NULL	Charlie
3	300.0	1	Alice
3	300.0	2	Bob
3	300.0	NULL	Charlie

SQL 在没有 ORDER BY 时不保证结果顺序，表格中的顺序仅用于展示。

👉 应用场景

当想一次SQL跑出多种粒度的聚合结果时，很容易想到 HIVE高级分组聚合的 GROUPING SETS / ROLL UP / CUBE 关键字

但是还不够灵活，比如现在有5个维度的统计指标

如果5个维度之间不存在递进关系，就不能使用ROLL UP
5个维度完全组合会得到2^5次方=32共32种维度组合，但如果某些组合不想要了，就不能使用 CUBE
假设只需其中30种的维度组合，全部在GROUPING SETS 中声明也很麻烦。而且如果维度变为6个，那么代码又要重新修改。

此时如果将维度组合显示记录在一个辅助表，就可以避免上面的问题。

从数学的角度看，这5个维度的组合就是5个可重复的独立选择，这5个空位分别有两个值可选：不聚合/聚合进而可以抽象成0/255

0 是一个“保留原始维度值”的控制标记。
255 是一个“将该维度替换为 All”的控制标记。

那么事先讲这些组合写入0/255的辅助表如下，和业务表执行 CROSS JOIN就自然可以得出所有维度的组合。当想去掉某些维度的聚合时，只需要将列值置为0则不会进入聚合阶段。

下面以完整的32个组合的辅助表AllUpCombinations为例，讲下具体怎么使用

维度1	维度2	维度3	维度4	维度5
0	0	0	0	0
0	0	0	0	255
0	0	0	255	0
0	0	255	0	0
0	255	0	0	0
…	…	…	…	…
255	255	255	255	255

当一条记录如下，其中的ContentTypeId, VerticalId,MarketId,LanguageId, DeviceId就对应了我们想要组合的5个维度，也就是辅助表AllUpCombinations的5个维度

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


PartnerID = P1
BrandID = B1
ContentID = C1
ContentType = Article
Vertical = Sports
Market = US
Language = en-US
Device = Mobile
MUID = U1
IsActiveUser = 1

这条记录和 32 行 AllUpCombinations 做 CROSS JOIN 后，这一行会逻辑上扩展成 32 行。以ContentType 被置为255为例，讲一下此类型的组合后续会发生什么，其他组合同理。

当某条 AllUpCombinations 记录的 ContentTypeId = 255 时，该组合下所有原始 ContentType 都被映射为统一的 255，虽然 ContentTypeId 仍出现在分组列中，但由于其值完全相同，效果等同于消除 ContentType 维度。可以理解为此组合下时分组条件从 ContentTypeId, VerticalId,MarketId,LanguageId, DeviceId 5列变为了VerticalId,MarketId,LanguageId, DeviceId 4列

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


ContentPreAgg =
 SELECT 
 L.PartnerID,
 L.BrandID,
 R.ContentTypeId == 0 ? L.ContentTypeId : 255 AS ContentTypeId,
 R.VerticalId == 0 ? L.VerticalId : 255 AS VerticalId,
 R.MarketId == 0 ? L.MarketId : 255 AS MarketId,
 R.LanguageId == 0 ? L.LanguageId : 255 AS LanguageId,
 R.DeviceId == 0 ? L.DeviceId : 255 AS DeviceId,
 UserMUID
 FROM ContentLevelTable AS L
 CROSS JOIN AllUpCombinations AS R;

那么此时执行 COUNT(DISTINCT UserMUID)，相当于消除了此维度，只留下一个值255，得出结果就是以ContentTypeId维度汇总的数据

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


ContentAgg = 
 SELECT
 PartnerID,
 BrandID,
 ContentTypeId,
 VerticalId,
 MarketId,
 LanguageId,
 DeviceId,
 COUNT(DISTINCT UserMUID) AS PageViewAUCount
 FROM ContentPreAgg;

以此类推，这样通过一个辅助表AllUpCombinations，就可以通过一次分组得到任意5个维度的所有组合，而不必指定具体维度名字。如果有其他表的其他列也需要进行5个维度的全组合，也可以使用这个辅助表。

最后再总结一下使用CORSS JOIN 辅助表的好处：

不依赖特定 CUBE 语法，可通过修改资源文件增加或删除某些组合。
可以统一用 255 表示 All，避免用 NULL 与真实空值混淆。
其他表的处理可以复用相近的维度组合逻辑。

如果还是没有看懂，可以详见另一篇文章：20260806_CROSS JOIN 的神奇用法：灵活生成多维聚合组合

3.6 LEFT SEMI JOIN

LEFT SEMI JOIN 只返回左表中能与右表匹配的行，且只输出左表的列（相当于 WHERE EXISTS）。

1
2
3
4


SELECT o.*
FROM orders o
LEFT SEMI JOIN users u
ON o.user_id = u.user_id;

结果（只有左表能匹配的行被保留）：

user_id	amount
1	100.0

orders.user_id=NULL 与右表的 NULL 在普通等值条件下不匹配，user_id=3 在右表中也不存在，因此这两行不会出现在结果中。

3.7 LEFT ANTI JOIN（Spark SQL）

LEFT ANTI JOIN 只返回左表中不能与右表匹配的行，并且只输出左表的列，语义相当于 WHERE NOT EXISTS。

Spark SQL 原生支持 LEFT ANTI JOIN，但 Hive 的 JOIN 语法不包含该类型。Hive 0.13 及以上版本可以使用 NOT EXISTS 表达相同语义。实际执行策略和性能取决于优化器、数据规模、数据分布及是否能够广播右表，不能仅凭 JOIN 写法断定一定会减少 Shuffle。

1
2
3
4


SELECT o.*
FROM orders o
LEFT ANTI JOIN users u
ON o.user_id = u.user_id;

结果：

user_id	amount
NULL	200
3	300

Hive 中的等价写法：

1
2
3
4
5
6
7


SELECT o.*
FROM orders o
WHERE NOT EXISTS (
 SELECT 1
 FROM users u
 WHERE o.user_id = u.user_id
);

3.8 汇总不同 JOIN 的行为

Join 类型	未匹配 NULL 行是否保留
INNER JOIN	不保留
LEFT JOIN	保留左表 NULL Key 行
RIGHT JOIN	保留右表 NULL Key 行
FULL OUTER JOIN	左右两边分别保留
LEFT SEMI JOIN	普通等值条件下不保留左表 NULL Key 行
LEFT ANTI JOIN	普通等值条件下保留左表 NULL Key 行

FULL OUTER JOIN 会同时保留左右表的所有行，并用 NULL 填充未匹配的另一侧。对比结果：

FULL OUTER JOIN 结果（之前已经算过）：

o.user_id	o.amount	u.user_id	u.user_name
1	100	1	Alice
NULL	200	NULL	NULL
3	300	NULL	NULL
NULL	NULL	2	Bob
NULL	NULL	NULL	Charlie

可以看到：

SEMI 只取了左表匹配行（第1行）
ANTI 取了左表未匹配行（第2、3行）
FULL 保留了所有左表行和右表行

4、NULL-safe equality

Hive / Spark SQL/ MySQL 通常可以使用 <=> 表示 NULL-safe equality

条件	结果
`NULL <=> 1`	FALSE
`NULL <=> NULL`	TRUE

因此

1

a.key <=> b.key

相当于以下条件：

1
2


a.key = b.key
OR (a.key IS NULL AND b.key IS NULL)

SQL Server 2022 及以上版本还可以使用 a.key IS NOT DISTINCT FROM b.key；旧版本可以使用上面的显式条件。

维度1	维度2	维度3	维度4	维度5
0	0	0	0	0
0	0	0	0	255
0	0	0	255	0
0	0	255	0	0
0	255	0	0	0
…	…	…	…	…
255	255	255	255	255

PartnerID	BrandID	ContentID	Col1	Col2	Col3	Col4	Col5	UserMUID
P1	B1	C1	255	255	App	CN	255	U1
P1	B1	C1	255	255	Web	CN	255	U1
P1	B1	C1	255	255	App	CN	255	U2
P1	B1	C1	255	255	App	CN	255	U1

维度1	维度2	维度3	维度4	维度5
0	0	0	0	0
0	0	0	0	255
0	0	0	255	0
0	0	255	0	0
0	255	0	0	0
…	…	…	…	…
255	255	255	255	255

维度1	维度2	维度3	维度4	维度5
0	0	0	0	0
0	0	0	0	255
0	0	0	255	0
0	0	255	0	0
0	255	0	0	0
…	…	…	…	…
255	255	255	255	255

PartnerID	BrandID	ContentID	Col1	Col2	Col3	Col4	Col5	UserMUID
P1	B1	C1	255	255	App	CN	255	U1
P1	B1	C1	255	255	Web	CN	255	U1
P1	B1	C1	255	255	App	CN	255	U2
P1	B1	C1	255	255	App	CN	255	U1

维度1	维度2	维度3	维度4	维度5
0	0	0	0	0
0	0	0	0	255
0	0	0	255	0
0	0	255	0	0
0	255	0	0	0
…	…	…	…	…
255	255	255	255	255

维度1	维度2	维度3	维度4	维度5
0	0	0	0	0
0	0	0	0	255
0	0	0	255	0
0	0	255	0	0
0	255	0	0	0
…	…	…	…	…
255	255	255	255	255

PartnerID	BrandID	ContentID	Col1	Col2	Col3	Col4	Col5	UserMUID
P1	B1	C1	255	255	App	CN	255	U1
P1	B1	C1	255	255	Web	CN	255	U1
P1	B1	C1	255	255	App	CN	255	U2
P1	B1	C1	255	255	App	CN	255	U1

维度1	维度2	维度3	维度4	维度5
0	0	0	0	0
0	0	0	0	255
0	0	0	255	0
0	0	255	0	0
0	255	0	0	0
…	…	…	…	…
255	255	255	255	255