Part 1 · The big idea第 1 部分 · 核心思想Parte 1 · La gran idea
Hide. Guess. Check. Repeat.遮住。猜。对答案。重复。Tapa. Adivina. Comprueba. Repite.
Cover part of a picture with your hand. Can you guess what's underneath? Now lift your hand — were you right?
You just gave yourself a quiz, and you also had the answer key in your hand the whole time. No teacher needed. That is the whole secret of this page.
Computers learn the same way: hide a piece of a sentence, a photo, or a song… guess it… peek… fix their guess a tiny bit. Then do it again. A computer never gets bored, so it plays this game billions of times.
用手挡住图画的一角。你能猜出下面是什么吗？现在把手拿开——猜对了吗？
你刚刚给自己出了一道题，而答案一直就压在你手底下。不需要老师。这就是这整页的秘密。
电脑也是这样学习的：遮住句子、照片或歌曲的一小块……猜一猜……偷看一下……把自己的猜法修正一点点。然后再来一次。电脑永远不会觉得无聊，所以它能把这个游戏玩上几十亿次。
Tapa con la mano una parte de un dibujo. ¿Puedes adivinar qué hay debajo? Ahora levanta la mano: ¿acertaste?
Acabas de ponerte un examen a ti mismo, y además tenías la respuesta bajo la mano todo el tiempo. Sin maestro. Ese es todo el secreto de esta página.
Las computadoras aprenden igual: esconden un pedazo de una frase, de una foto o de una canción… lo adivinan… espían… corrigen su respuesta un poquito. Y otra vez. Una computadora nunca se aburre, así que juega a esto miles de millones de veces.
Most classic machine learning is supervised: a human writes the answer key ("this photo = cat, this photo = dog"), and the model studies from it. That works — but somebody has to write millions of answers by hand.
Self-supervised learning (SSL) skips the human. Take any raw material — text, photos, audio — and hide part of it. The hidden part becomes the quiz question, and the original becomes the answer key. It's like making flashcards out of your own textbook by covering words with your thumb: the book quizzes you, no teacher involved.
The magic isn't the quiz itself. To get good at guessing hidden words or missing image pieces, the model is forced to understand grammar, objects, physics, context. Understanding is the prize; the quiz is just the trick that produces it.
经典的机器学习大多是监督学习：由人来写答案（「这张照片=猫，这张照片=狗」），模型照着学。这确实有效——但得有人手写几百万条答案。
自监督学习(SSL)把人省掉了。拿来任何原始材料——文字、照片、音频——然后遮住其中一部分。被遮住的部分变成考题，原始数据本身就是答案。就像用大拇指盖住课本上的词给自己做卡片：书在考你，全程没有老师。
神奇之处不在测验本身。要想猜得准被藏起来的词、缺失的图块，模型就被迫理解语法、物体、物理和上下文。理解才是奖品；测验只是逼出理解的花招。
La mayoría del aprendizaje automático clásico es supervisado: un humano escribe la hoja de respuestas («esta foto = gato, esta foto = perro») y el modelo estudia de ella. Funciona — pero alguien tiene que escribir millones de respuestas a mano.
El aprendizaje autosupervisado (SSL) se salta al humano. Toma cualquier material en bruto — texto, fotos, audio — y esconde una parte. La parte oculta se vuelve la pregunta del examen, y el original es la hoja de respuestas. Es como hacerte tarjetas de estudio con tu propio libro tapando palabras con el pulgar: el libro te examina, sin maestro de por medio.
La magia no está en el examen. Para volverse bueno adivinando palabras ocultas o trozos de imagen que faltan, el modelo se ve obligado a entender gramática, objetos, física, contexto. La comprensión es el premio; el examen es solo el truco que la produce.
Formally: take unlabeled data x, apply a corruption (mask tokens, crop pixels, drop audio frames), and train a network to predict the missing part from the visible part. This synthetic objective is called a pretext task. The labels are free — they're manufactured from the data itself — so the training set is "everything you can crawl."
The point is not the pretext task. Nobody needs a machine that fills in blanks. The point is the representation the network builds internally to solve it: an embedding space where meaning is geometry. You then reuse that encoder on the task you actually care about — with a linear probe (freeze the encoder, train one layer) or by fine-tuning (nudge the whole thing) on a small labeled set.
That two-phase recipe — pretrain on the ocean of unlabeled data, adapt with a cup of labels — is the dominant paradigm in modern ML. GPT, BERT, DINOv2, wav2vec: same skeleton, different corruptions.
形式化地说：取无标注数据 x，施加一种破坏（遮住 token、裁剪像素、丢弃音频帧），训练网络从可见部分预测缺失部分。这个人造目标叫代理任务(pretext task)。标签是免费的——它们由数据自己制造——所以训练集就是「你能爬到的一切」。
重点不在代理任务。没人需要一台只会填空的机器。重点是网络为了解题在内部建立的表征：一个「语义即几何」的嵌入空间。之后你把这个编码器复用到真正关心的任务上——用线性探测（冻结编码器，只训一层）或微调（整体轻微更新）配上一小份标注数据。
这套两阶段配方——先在无标注数据的海洋里预训练，再用一杯标签做适配——是现代机器学习的主导范式。GPT、BERT、DINOv2、wav2vec：同一副骨架，不同的破坏方式。
Formalmente: toma datos sin etiquetar x, aplícales una corrupción (enmascarar tokens, recortar píxeles, tirar tramas de audio) y entrena una red para predecir la parte que falta a partir de la visible. Ese objetivo sintético se llama tarea pretexto. Las etiquetas salen gratis — las fabrica el propio dato — así que el conjunto de entrenamiento es «todo lo que puedas rastrear».
La clave no es la tarea pretexto. Nadie necesita una máquina que rellene huecos. La clave es la representación que la red construye por dentro para resolverla: un espacio de embeddings donde el significado es geometría. Luego reutilizas ese codificador en la tarea que de verdad te importa — con una sonda lineal (congelas el codificador, entrenas una capa) o con ajuste fino (retocas todo) sobre un conjunto etiquetado pequeño.
Esa receta en dos fases — preentrenar en el océano de datos sin etiquetar, adaptar con una taza de etiquetas — es el paradigma dominante del ML moderno. GPT, BERT, DINOv2, wav2vec: el mismo esqueleto, distintas corrupciones.
The design space of SSL is a choice of triple: a corruption / view generator C(x), a prediction target T(x) (raw pixels or tokens, a quantized code, or another network's latent), and a loss ℓ. Autoregressive LMs pick (prefix truncation, next token, cross-entropy); MAE picks (75% patch drop, pixels, MSE); SimCLR picks (augmentation pair, "which of these 2N views is my twin?", InfoNCE); BYOL/DINO pick (augmentation pair, an EMA teacher's latent, cosine/CE).
Two failure modes discipline the design. Shortcuts: if the pretext is solvable from low-level statistics, no semantics get learned — early work found networks solving "predict relative patch position" via chromatic aberration and edge continuity rather than object structure. Collapse: if the objective admits a constant representation as an optimum, gradient descent will happily find it (Part 4). A good pretext task is one whose only cheap solution routes through abstraction.
It's worth remembering the epistemic bet underneath: that predicting withheld parts of the data distribution is a sufficient training signal for general-purpose representations. Language has validated the bet spectacularly; vision and video are still negotiating the terms — see Part 8.
SSL 的设计空间是一个三元组的选择：破坏/视图生成器 C(x)、预测目标 T(x)（原始像素或 token、量化编码、或另一个网络的潜表征），以及损失 ℓ。自回归语言模型选的是（前缀截断，下一个 token，交叉熵）；MAE 选（丢掉 75% 图块，像素，MSE）；SimCLR 选（增强对，「这 2N 个视图里哪个是我的双胞胎？」，InfoNCE）；BYOL/DINO 选（增强对，EMA 教师的潜表征，余弦/交叉熵）。
两种失败模式约束着设计。捷径(shortcuts):如果代理任务能靠低层统计量解决，模型就学不到语义——早期工作发现网络靠色差和边缘连续性、而非物体结构来解「相对图块位置预测」。坍缩(collapse):如果目标函数允许常数表征成为最优解，梯度下降一定会兴高采烈地找到它（见第 4 部分）。好的代理任务，是那种唯一省力解法必须经过抽象的任务。
值得记住底层的认知赌注：预测数据分布中被扣留的部分，足以充当通用表征的训练信号。语言领域已经壮观地验证了这个赌注；视觉与视频仍在讨价还价——见第 8 部分。
El espacio de diseño del SSL es la elección de una terna: un generador de corrupciones/vistas C(x), un objetivo de predicción T(x) (píxeles o tokens crudos, un código cuantizado, o el latente de otra red) y una pérdida ℓ. Los LM autorregresivos eligen (truncado de prefijo, token siguiente, entropía cruzada); MAE elige (descartar el 75 % de los parches, píxeles, MSE); SimCLR elige (par de aumentos, «¿cuál de estas 2N vistas es mi gemela?», InfoNCE); BYOL/DINO eligen (par de aumentos, el latente de un maestro EMA, coseno/CE).
Dos modos de fallo disciplinan el diseño. Atajos: si la tarea pretexto se resuelve con estadística de bajo nivel, no se aprende semántica — trabajos tempranos encontraron redes resolviendo «predecir la posición relativa del parche» mediante aberración cromática y continuidad de bordes, no estructura de objetos. Colapso: si el objetivo admite una representación constante como óptimo, el descenso por gradiente lo encontrará encantado (Parte 4). Una buena tarea pretexto es aquella cuya única solución barata pasa por la abstracción.
Conviene recordar la apuesta epistémica de fondo: que predecir partes retenidas de la distribución de datos es señal suficiente para representaciones de propósito general. El lenguaje la validó de forma espectacular; visión y vídeo siguen negociando los términos — ver Parte 8.
Part 2 · Why it matters第 2 部分 · 为什么重要Parte 2 · Por qué importa
Labels are a pebble. Data is a mountain.标签是一颗石子，数据是一座大山。Las etiquetas son un guijarro. Los datos, una montaña.
To teach a computer with labels, a person has to sit and type the answer for every single example. People get tired. The internet never does — it grows by billions of new photos and sentences every day, and none of them come with answers attached. Self-supervised learning is how computers learn from the mountain, not just the pebble.
要用标签教电脑，得有人坐在那里，给每一个例子都打出答案。人会累。互联网不会——它每天新增几十亿张照片和几十亿个句子，而且都不带答案。自监督学习，就是让电脑从大山里学习，而不只是那颗石子。
Para enseñarle a una computadora con etiquetas, una persona tiene que sentarse y escribir la respuesta de cada ejemplo. La gente se cansa. Internet no: crece en miles de millones de fotos y frases cada día, y ninguna trae respuesta. El aprendizaje autosupervisado es la manera en que las computadoras aprenden de la montaña, no solo del guijarro.
ImageNet — the dataset that kicked off the deep-learning era — took years and tens of thousands of paid crowd-workers to label 14 million images. That was heroic… and it's still a rounding error next to what exists unlabeled. Whoever figures out how to learn from data without answer keys gets to use millions of times more of it. That's not a small advantage. It's the whole ball game.
ImageNet——点燃深度学习时代的那个数据集——花了好几年、动用了数万名付费众包工人，才标注了 1400 万张图片。那是一项壮举……但和世界上没有标签的数据相比，仍然只是四舍五入的零头。谁先学会不靠答案从数据中学习，谁就能用上多出几百万倍的数据。这不是一点小优势，这是整场比赛的胜负手。
ImageNet — el conjunto de datos que encendió la era del aprendizaje profundo — necesitó años y decenas de miles de trabajadores pagados para etiquetar 14 millones de imágenes. Fue heroico… y aun así es un error de redondeo al lado de lo que existe sin etiquetar. Quien descubra cómo aprender de los datos sin hojas de respuestas puede usar millones de veces más datos. No es una ventaja pequeña. Es lo que decide el partido.
Annotation doesn't scale; crawling does. Worse, for the domains where ML would help most — medical imaging, genomics, law, low-resource languages — labels require experts, at expert prices, and the label supply is capped by privacy and regulation. SSL converts the economics: pretrain once on the unlabeled ocean, and every downstream task needs 10–100× fewer labels to hit the same accuracy.
标注不可扩展；爬取可以。更糟的是，在机器学习最能帮上忙的领域——医学影像、基因组学、法律、低资源语言——标签需要专家来打，按专家的价格计费，而且供给还被隐私与监管卡死。SSL 改写了这笔经济账：在无标注的海洋上预训练一次，之后每个下游任务达到同样精度所需的标签就能减少 10–100 倍。
Anotar no escala; rastrear sí. Peor aún: en los dominios donde el ML más ayudaría — imagen médica, genómica, derecho, lenguas con pocos recursos — las etiquetas requieren expertos, a precio de experto, y la oferta está topada por privacidad y regulación. El SSL cambia la economía: preentrenas una vez sobre el océano sin etiquetar y cada tarea final necesita 10–100× menos etiquetas para la misma precisión.
The deeper argument (LeCun's cake, 2016): per sample, supervision provides a few bits (a class label), RL a scalar reward, but predicting withheld data demands reconstruction of structure — orders of magnitude more constraint per example. Combine that with neural scaling laws — loss falling as a power law in data and compute — and label-bound training hits its data ceiling while self-supervised training keeps riding the curve. This is why frontier models are pretrained self-supervised, and supervision is spent only where it has the most leverage: post-training.
更深一层的论证（LeCun 的「蛋糕论」，2016）：按单个样本计，监督信号只给几个比特（一个类别标签），强化学习给一个标量奖励，而预测被扣留的数据要求重建结构——每个样本的约束量高出几个数量级。再叠加神经缩放定律——损失随数据与算力按幂律下降——受标签约束的训练会撞上数据天花板，而自监督训练还能继续沿曲线下滑。这就是前沿模型全部采用自监督预训练、而把监督只花在杠杆最大处（后训练）的原因。
El argumento profundo (el «pastel» de LeCun, 2016): por muestra, la supervisión aporta unos pocos bits (una etiqueta de clase) y el RL una recompensa escalar, pero predecir datos retenidos exige reconstruir estructura — órdenes de magnitud más restricción por ejemplo. Súmale las leyes de escalado neuronal — la pérdida cae como ley de potencias en datos y cómputo — y el entrenamiento atado a etiquetas choca con su techo de datos mientras el autosupervisado sigue bajando por la curva. Por eso los modelos de frontera se preentrenan de forma autosupervisada, y la supervisión se gasta donde más palanca tiene: el post-entrenamiento.
Careful — these bars are squished so they fit on your screen! If the first bar were 1 step long, the last one would be about 7 million steps long.
小心——这些条被压扁了才塞进你的屏幕！如果第一根条有 1 步长，最后一根就有大约 700 万步长。
¡Ojo! Estas barras están aplastadas para caber en tu pantalla. Si la primera midiera 1 paso, la última mediría unos 7 millones de pasos.
Bars are on a log scale: every extra bit of length means ×10 more data. Drawn to true scale, the last bar would be about 7,000,000× longer than the first.
条形图用的是对数刻度：长度每多一格，数据就多 10 倍。若按真实比例画，最后一根条要比第一根长约 700 万倍。
Las barras usan escala logarítmica: cada tramo extra significa ×10 más datos. A escala real, la última barra sería unos 7 000 000 de veces más larga que la primera.
Part 3 · Playground第 3 部分 · 游乐场Parte 3 · Patio de juegos
Hide most of a picture. Guess the rest.把图片遮住一大半，猜出剩下的。Tapa casi toda una imagen. Adivina el resto.
Time to play! Below is a little picture. The computer covers a bunch of squares — like a jigsaw puzzle with pieces missing — and then tries to fill them back in using only the squares it can still see. Slide the slider to hide more or less, then press Reconstruct.
开玩啦！下面是一张小图。电脑会盖住一堆方块——就像缺了几块的拼图——然后只靠还能看见的方块把缺口补回来。拖动滑块决定遮多少，然后按修复。
¡A jugar! Abajo hay una imagen pequeña. La computadora tapa un montón de cuadritos — como un rompecabezas al que le faltan piezas — y luego intenta rellenarlos usando solo los cuadritos que aún ve. Mueve el control para tapar más o menos, y pulsa Reconstruir.
One of the strongest vision models of the last few years, the Masked Autoencoder (MAE), learns exactly like this: hide 75% of every photo, reconstruct the missing patches, repeat on millions of photos. To fill holes well, it has to learn what skies, houses, and trees are. Try the slider — notice how fast reconstruction gets hard.
近几年最强的视觉模型之一——掩码自编码器(MAE)——就是这样学习的：把每张照片遮住 75%，重建缺失的图块，在几百万张照片上重复。想把洞补好，它就必须弄明白天空、房子和树到底是什么。试试滑块——注意重建难度上升得有多快。
Uno de los modelos de visión más fuertes de los últimos años, el autoencoder enmascarado (MAE), aprende exactamente así: tapa el 75 % de cada foto, reconstruye los parches que faltan y repite con millones de fotos. Para rellenar bien los huecos tiene que aprender qué son el cielo, las casas y los árboles. Prueba el control deslizante: fíjate en lo rápido que se vuelve difícil.
MAE (He et al., 2021): split the image into patches, drop ~75%, run a ViT encoder only on visible patches (a huge compute saving), then a lightweight decoder regresses raw pixels for the masked ones; MSE on masked patches only. The blurry look you'll see below is fundamental: an MSE-optimal prediction is the mean over all plausible completions — and averaging futures blurs them.
MAE（He 等，2021）：把图像切成图块，丢掉约 75%，让 ViT 编码器只处理可见图块（省下大量算力），再用一个轻量解码器回归被遮图块的原始像素；MSE 只算在被遮的图块上。你在下面看到的模糊感是本质性的：MSE 意义下的最优预测是所有合理补全的均值——把各种可能的未来平均起来，自然就糊了。
MAE (He et al., 2021): corta la imagen en parches, descarta ~75 %, pasa un codificador ViT solo por los parches visibles (enorme ahorro de cómputo) y un decodificador ligero regresa los píxeles de los enmascarados; MSE solo sobre los parches ocultos. El aspecto borroso que verás abajo es fundamental: la predicción óptima bajo MSE es la media de todas las terminaciones plausibles — y promediar futuros los emborrona.
The toy below cheats in an instructive way: it fills holes by iteratively averaging neighboring pixels — a Laplace/diffusion inpainter. Pure local statistics, zero semantics, no learning. Watch it fail at high mask ratios: local smoothing can't invent a missing roof. A trained MAE can, because its decoder predicts from a semantic latent, not from adjacent pixels. That contrast is the entire argument for representation learning — and the reason 75% masking works at all: images are spatially redundant, and low mask ratios let models get away with interpolation, i.e., exactly this toy.
下面这个玩具的「作弊」方式很有教学价值：它靠迭代平均邻近像素来补洞——一个拉普拉斯/扩散修补器。纯局部统计，零语义，没有任何学习。看它在高遮挡率下失败：局部平滑发明不出一个缺失的屋顶。训练过的 MAE 可以，因为它的解码器从语义潜表征出发预测，而不是从相邻像素出发。这个反差就是表征学习的全部论证——也是 75% 遮挡率能成立的原因：图像在空间上高度冗余，低遮挡率会让模型靠插值蒙混过关，也就是这个玩具干的事。
El juguete de abajo hace trampa de un modo instructivo: rellena huecos promediando píxeles vecinos de forma iterativa — un reparador de Laplace/difusión. Pura estadística local, cero semántica, ningún aprendizaje. Míralo fracasar con máscaras altas: el suavizado local no puede inventar un tejado ausente. Un MAE entrenado sí puede, porque su decodificador predice desde un latente semántico, no desde píxeles adyacentes. Ese contraste es todo el argumento del aprendizaje de representaciones — y la razón de que el 75 % funcione: las imágenes son espacialmente redundantes, y con máscaras bajas los modelos se salen con la suya interpolando, es decir, exactamente este juguete.
Try hiding 90%! The poor computer can only smear the colors it can see. Real AI models do much better — because they don't just copy nearby colors, they know things: "that's a house, and houses have roofs."
试试遮住 90%！可怜的电脑只会把看得见的颜色抹开。真正的 AI 模型强得多——因为它们不只是照抄旁边的颜色，它们懂事情：「那是房子，房子有屋顶。」
¡Prueba a tapar el 90 %! La pobre computadora solo sabe embarrar los colores que ve. Los modelos de IA de verdad lo hacen mucho mejor — porque no copian los colores de al lado: saben cosas: «eso es una casa, y las casas tienen tejado».
This demo fills gaps by blending nearby colors, so it gets blurry and confused at 90%. A real trained model still succeeds there — it has learned concepts, not just colors. The gap between this toy and MAE is exactly what "learning a representation" means.
这个演示靠混合邻近颜色来补洞，所以遮到 90% 就又糊又乱。真正训练过的模型在那里依然能成功——因为它学到的是概念，不只是颜色。这个玩具与 MAE 之间的差距，恰恰就是「学到表征」的含义。
Esta demo rellena huecos mezclando colores cercanos, así que al 90 % se vuelve borrosa y confusa. Un modelo entrenado de verdad sigue funcionando ahí — porque aprendió conceptos, no solo colores. La distancia entre este juguete y MAE es exactamente lo que significa «aprender una representación».
This toy is a diffusion inpainter — no learning anywhere. MAE's advantage over it = semantics. The MSE number is computed only on masked patches, exactly as in the paper.
这个玩具是扩散修补器——从头到尾没有学习。MAE 对它的优势 = 语义。MSE 数值只在被遮图块上计算，与论文完全一致。
Este juguete es un reparador por difusión — sin aprendizaje en ninguna parte. La ventaja de MAE sobre él = semántica. El número de MSE se calcula solo sobre los parches enmascarados, igual que en el artículo.
Ablation worth knowing: MAE's sweet spot is ~75% masking — high enough that interpolation (this toy) fails and the encoder must abstract; BERT's is ~15% because text is information-dense per token. Masking ratio is a dial on data redundancy. Alternatives target something richer than raw pixels — BEiT (which actually preceded MAE) predicts discrete codes; data2vec and I-JEPA predict teacher latents — to stop spending capacity on high-frequency texture.
值得记住的消融结论：MAE 的甜蜜点在约 75% 遮挡——高到让插值（这个玩具）失效、编码器不得不抽象；BERT 是约 15%，因为文本每个 token 的信息密度高。遮挡率就是数据冗余度的旋钮。也有方法把目标定得比原始像素更「高级」——BEiT（其实早于 MAE）预测离散编码；data2vec 和 I-JEPA 预测教师网络的潜表征——避免把容量浪费在高频纹理上。
Ablación que conviene saber: el punto dulce de MAE ronda el 75 % — lo bastante alto para que interpolar (este juguete) falle y el codificador tenga que abstraer; el de BERT es ~15 % porque el texto es denso en información por token. La proporción de enmascarado es un dial sobre la redundancia del dato. Hay alternativas que apuntan a algo más rico que píxeles crudos — BEiT (que en realidad precedió a MAE) predice códigos discretos; data2vec e I-JEPA predicen latentes de un maestro — para no gastar capacidad en textura de alta frecuencia.
Part 4 · Playground第 4 部分 · 游乐场Parte 4 · Patio de juegos
The matching game: twins together, strangers apart.配对游戏：双胞胎靠近，陌生人散开。El juego de parejas: gemelos juntos, extraños separados.
Here's a different way to learn without a teacher. Each color below is one photo, and each photo appears twice — like twins. The rule of the game: twins should hold hands, strangers should spread out. Watch the dots sort themselves — nobody tells them where to go!
这是另一种不用老师的学习方法。下面每种颜色代表一张照片，每张照片出现两次——像双胞胎。游戏规则：双胞胎要手拉手，陌生人要散开。看这些点自己排好队——没有任何人告诉它们该去哪！
Aquí va otra forma de aprender sin maestro. Cada color de abajo es una foto, y cada foto aparece dos veces — como gemelos. La regla del juego: los gemelos deben tomarse de la mano; los extraños, separarse. Mira cómo los puntos se ordenan solos — ¡nadie les dice adónde ir!
Take a photo and make two edited copies — crop it, recolor it, flip it. They still show the same thing, so a good model should place them close together on its internal "map of meaning," and place different photos far apart. Below, each dot is a photo's spot on that map, same colors are the two copies, and the dots move by exactly the learning rule real models use. This is contrastive learning.
拿一张照片，做两个修改过的副本——裁一裁、调调色、翻转一下。它们拍的还是同一样东西，所以好的模型应该把它们放在自己内部「语义地图」上彼此靠近的位置，把不同的照片放得远远的。下面每个点就是一张照片在地图上的位置，相同颜色是同一张照片的两个副本，而这些点的移动规则，和真实模型的学习规则一模一样。这就是对比学习。
Toma una foto y haz dos copias editadas — recórtala, cámbiale el color, voltéala. Siguen mostrando lo mismo, así que un buen modelo debería ponerlas muy juntas en su «mapa de significado» interno, y poner fotos distintas bien lejos. Abajo, cada punto es el lugar de una foto en ese mapa, los colores iguales son las dos copias, y los puntos se mueven con exactamente la regla de aprendizaje que usan los modelos reales. Esto es el aprendizaje contrastivo.
This is SimCLR's world: two augmentations per image → encoder → embeddings on a unit sphere (here, a circle). The InfoNCE loss says: classify your twin correctly out of everyone in the batch. Attraction to the positive, softmax-weighted repulsion from negatives. The dots below run true gradient descent on that loss. Play with temperature τ — it controls how sharply the hardest negatives get pushed.
这是 SimCLR 的世界：每张图两次增强 → 编码器 → 单位球面上的嵌入（这里是单位圆）。InfoNCE 损失的要求是：在整个批次里正确认出你的双胞胎。对正样本吸引，对负样本做 softmax 加权的排斥。下面的点在这个损失上跑的是真实的梯度下降。玩玩温度 τ——它控制最难的负样本被推开得有多狠。
Este es el mundo de SimCLR: dos aumentos por imagen → codificador → embeddings en una esfera unitaria (aquí, un círculo). La pérdida InfoNCE exige clasificar a tu gemelo correctamente entre todo el lote. Atracción hacia el positivo, repulsión de los negativos ponderada por softmax. Los puntos de abajo ejecutan descenso por gradiente de verdad sobre esa pérdida. Juega con la temperatura τ — controla cuán fuerte se empuja a los negativos más difíciles.
The exact objective being descended, with sim(zi,zk) = cos(θi−θk): ℒi = −sim(zi,zi+)/τ + log Σk≠i esim(zi,zk)/τ. Watch the two live metrics: alignment (positive-pair closeness) and uniformity (spread over the sphere) — Wang & Isola's decomposition, computed on every frame. Then run the collapse experiment: turn negatives off, press the collapse button, and compare the loss before and after. It never gets worse — the constant map is a global optimum of alignment-only objectives. That degeneracy is why BYOL/SimSiam needed the predictor + stop-gradient, and why their non-collapse demanded (and still lacks) a complete theory.
梯度下降实际优化的精确目标如下，其中 sim(zi,zk) = cos(θi−θk):ℒi = −sim(zi,zi+)/τ + log Σk≠i esim(zi,zk)/τ。盯住两个实时指标：对齐(alignment)（正样本对的贴近程度）与均匀性(uniformity)（在球面上的铺开程度）——Wang & Isola 的分解，每帧都在计算。然后做坍缩实验：关掉负样本，按下坍缩按钮，对比前后损失。它绝不会变差——常数映射是「只有对齐项」的目标的全局最优。正是这种退化，使 BYOL/SimSiam 需要预测头 + 停止梯度，也使它们不坍缩的原因至今缺少完整理论。
El objetivo exacto que se desciende, con sim(zi,zk) = cos(θi−θk): ℒi = −sim(zi,zi+)/τ + log Σk≠i esim(zi,zk)/τ. Observa las dos métricas en vivo: alineamiento (cercanía del par positivo) y uniformidad (dispersión sobre la esfera) — la descomposición de Wang & Isola, calculada en cada fotograma. Luego haz el experimento del colapso: apaga los negativos, pulsa el botón de colapsar y compara la pérdida antes y después. Nunca empeora — el mapa constante es un óptimo global de los objetivos de solo-alineamiento. Esa degeneración es la razón de que BYOL/SimSiam necesitaran predictor + stop-gradient, y de que su no-colapso exigiera (y aún carezca de) una teoría completa.
- loss损失pérdida
- –
- twins close?双胞胎近吗？¿gemelos juntos?alignment ↓对齐 ↓alineamiento ↓
- –
- spread out?散开了吗？¿bien repartidos?uniformity ↓均匀性 ↓uniformidad ↓
- –
Now try the "Collapse everything" button — every dot piles onto one spot. If "push strangers apart" is off, the game thinks that pile is perfect! Silly game. Turn "push strangers apart" back on and watch the pile explode.
现在试试「全部坍缩」按钮——所有点都挤到一个地方。如果「把陌生人推开」是关着的，这个游戏会觉得那一堆完美极了！真是个傻游戏。把「把陌生人推开」重新打开，看那一堆炸开！
Ahora prueba el botón «Colapsar todo» — todos los puntos se amontonan en un solo lugar. Si «separar a los extraños» está apagado, ¡el juego cree que ese montón es perfecto! Qué juego tan tonto. Vuelve a encender «separar a los extraños» y mira cómo explota el montón.
Try this: turn off "push strangers apart," then press Collapse everything. The loss doesn't get worse — putting every photo on the same spot satisfies "twins together" perfectly! This cheating solution is called collapse, and stopping it is half the job of designing these methods. Negatives are one fix; there are sneakier ones.
试试这个：关掉「把陌生人推开」，再按全部坍缩。损失并不会变差——把所有照片放到同一个点上，完美满足了「双胞胎在一起」！这种作弊解法叫坍缩，而阻止它，占了设计这类方法一半的工作量。负样本是一种解法；还有更狡猾的。
Prueba esto: apaga «separar a los extraños» y pulsa Colapsar todo. La pérdida no empeora — ¡poner todas las fotos en el mismo punto satisface «gemelos juntos» a la perfección! Esta solución tramposa se llama colapso, y evitarla es la mitad del trabajo al diseñar estos métodos. Los negativos son una solución; hay otras más astutas.
Things to try: (1) τ = 0.05 vs τ = 1.0 — small τ upweights the hardest negatives (sharper softmax), giving strong local repulsion; too small and training gets twitchy. (2) Negatives off + collapse → the loss never gets worse (and is unchanged once pairs are aligned): the trivial optimum. (3) Negatives on + collapse → watch the logsumexp term blow up and descent recover. In practice, batch size is your negative supply (SimCLR used 4096), or you keep a queue of past embeddings (MoCo).
可以试的实验：(1)τ = 0.05 对比 τ = 1.0——小 τ 会加重最难负样本的权重（softmax 更尖锐），局部排斥更猛；太小则训练发抖。(2)关负样本 + 坍缩 → 损失绝不会变差（样本对已对齐时则完全不变）：平凡最优解。(3)开负样本 + 坍缩 → 看 logsumexp 项爆掉、梯度下降把点重新炸开。实践中，批次大小就是你的负样本供给（SimCLR 用到 4096），或者维护一条历史嵌入队列(MoCo)。
Cosas que probar: (1) τ = 0.05 frente a τ = 1.0 — un τ pequeño sobrepondera los negativos más difíciles (softmax más afilado), dando repulsión local fuerte; demasiado pequeño y el entrenamiento tirita. (2) Negativos apagados + colapso → la pérdida nunca empeora (y no cambia si los pares ya estaban alineados): el óptimo trivial. (3) Negativos encendidos + colapso → mira el término logsumexp dispararse y al descenso recuperarse. En la práctica, el tamaño del lote es tu suministro de negativos (SimCLR usó 4096), o mantienes una cola de embeddings pasados (MoCo).
As τ→0 the InfoNCE gradient concentrates on the hardest negative (max-margin behavior); as τ→∞ repulsion becomes uniform and weak. The gradient weight on negative k is exactly its softmax probability pk — hard-negative mining is built into the loss. The alignment/uniformity readouts are ℒalign=𝔼‖z−z⁺‖² and ℒunif=log 𝔼 e−2‖z−z′‖² (Wang & Isola, 2020), which InfoNCE asymptotically optimizes.
当 τ→0,InfoNCE 的梯度集中到最难的负样本上（最大间隔行为）；当 τ→∞，排斥变得均匀而微弱。负样本 k 上的梯度权重恰好是它的 softmax 概率 pk——难负样本挖掘是内置在损失里的。对齐/均匀性读数分别为 ℒalign=𝔼‖z−z⁺‖² 与 ℒunif=log 𝔼 e−2‖z−z′‖²(Wang & Isola,2020),InfoNCE 在渐近意义下同时优化两者。
Cuando τ→0, el gradiente de InfoNCE se concentra en el negativo más difícil (comportamiento de margen máximo); cuando τ→∞, la repulsión se vuelve uniforme y débil. El peso del gradiente sobre el negativo k es exactamente su probabilidad softmax pk — la minería de negativos difíciles viene incluida en la pérdida, modulada por τ. Las lecturas de alineamiento/uniformidad son ℒalign=𝔼‖z−z⁺‖² y ℒunif=log 𝔼 e−2‖z−z′‖² (Wang & Isola, 2020), que InfoNCE optimiza asintóticamente.
Act two: the payoff.第二幕：回报。Segundo acto: la recompensa.
One more game — the best one. The dots below live on three invisible rings, but the computer doesn't know that. Its practice trick: spin the picture — a spun dot is still the same dot! After enough practice it sorts every ring into its own pile, all by itself. Then you give it just three answers and it figures out all the rest. Try the labels button before practice, then after. Big difference!
最后一个游戏——也是最棒的一个。下面的点住在三个看不见的圆环上，但电脑并不知道。它的练习妙招是：转动图片——转过的点还是同一个点！练够了之后，它会完全靠自己把每个圆环分进自己的堆里。然后你只给它三个答案，它就能把剩下的全部想明白。先在练习之前按标签按钮，再在练习之后按一次。天壤之别！
Un juego más — el mejor de todos. Los puntos de abajo viven en tres anillos invisibles, pero la computadora no lo sabe. Su truco de práctica: girar la imagen — ¡un punto girado sigue siendo el mismo punto! Con suficiente práctica ordena cada anillo en su propio montón, ella sola. Luego le das solo tres respuestas y deduce todas las demás. Prueba el botón de etiquetas antes de practicar, y después. ¡Qué diferencia!
This is the payoff of everything above — and the secret of augmentation. The 30 points sit on three rings (think: three animal species, photographed from any angle). The "edit" used to make twin views is a random rotation — because the angle you photograph from shouldn't matter. To win the matching game, the model must learn to ignore rotation, and the only thing left is the ring — the class. Zero labels, and three tidy piles appear. Then 3 labels name the piles, and the simplest classifier gets ~all 30 right. Before pretraining? Barely better than guessing, because points on the same ring are far apart in raw coordinates.
这是前面一切的回报——也是数据增强的秘密。这 30 个点住在三个圆环上（想象：三种动物，从任意角度拍照）。制造双胞胎视图的「修改」是随机旋转——因为拍照的角度本不该影响答案。要赢配对游戏，模型就必须学会无视旋转，剩下的唯一信息就是圆环——也就是类别。零标签，三堆整整齐齐的簇自己出现了。然后 3 个标签给堆起名字，最简单的分类器就能把 30 个几乎全部答对。预训练之前呢？比瞎猜好不了多少，因为同一个环上的点在原始坐标里离得很远。
Esta es la recompensa de todo lo anterior — y el secreto de los aumentos de datos. Los 30 puntos están sobre tres anillos (piensa: tres especies de animales, fotografiadas desde cualquier ángulo). La «edición» que crea las vistas gemelas es una rotación aleatoria — porque el ángulo desde el que fotografías no debería importar. Para ganar el juego de parejas, el modelo tiene que aprender a ignorar la rotación, y lo único que queda es el anillo — la clase. Cero etiquetas, y aparecen tres montones ordenaditos. Después, 3 etiquetas nombran los montones y el clasificador más simple acierta casi los 30. ¿Antes de preentrenar? Apenas mejor que adivinar, porque los puntos del mismo anillo quedan lejos en coordenadas crudas.
The missing third act: transfer — and the cleanest possible statement of what augmentation does. A tiny MLP encoder (2→14→2, 72 weights) pretrains with InfoNCE where the two views of a point are random rotations of it. Same-ring points have nearly identical rotation orbits (up to a little radial jitter), so the objective can hardly tell them apart — alignment merges each ring into one cluster while uniformity separates the three radii. Augmentation is invariance design: you declare what should not matter. Then a nearest-labeled-neighbor probe with 1 label per class classifies everything; the concentric decision regions are painted by pushing every pixel of input space through the encoder.
缺失的第三幕：迁移——同时也是对「增强到底在干什么」最干净的表述。一个微型 MLP 编码器（2→14→2，共 72 个权重）用 InfoNCE 预训练，其中一个点的两个视图是它的随机旋转。同环的点旋转轨道几乎完全相同（只差一点半径抖动），目标函数几乎无法区分它们——对齐把每个环合并成一簇，均匀性把三个半径彼此推开。增强就是不变性设计：你在声明什么不该重要。然后，用每类 1 个标签的最近邻探针给所有点分类；那些同心圆状的决策区域，来自把输入空间的每个像素推过编码器。
El tercer acto que faltaba: transferencia — y la formulación más limpia de qué hace un aumento. Un codificador MLP diminuto (2→14→2, 72 pesos) se preentrena con InfoNCE donde las dos vistas de un punto son rotaciones aleatorias de él. Los puntos del mismo anillo tienen órbitas de rotación casi idénticas (salvo un pequeño temblor radial), así que el objetivo apenas puede distinguirlos — el alineamiento funde cada anillo en un clúster y la uniformidad separa los tres radios. El aumento es diseño de invarianzas: declaras qué no debe importar. Luego una sonda de vecino-etiquetado-más-cercano con 1 etiqueta por clase clasifica todo; las regiones de decisión concéntricas se pintan pasando cada píxel del espacio de entrada por el codificador.
Everything here is real: NT-Xent (τ = 0.6, negative-distance similarity in an unnormalized 2-D embedding) descended by finite-difference gradient with momentum over all 72 MLP weights; full batch = 30 anchors × 2 rotated views, with a rotation-angle curriculum (±0.35 rad growing to ±π). The theory is nearly exact here: rotation is a group acting transitively on each (noiseless) ring, so same-ring augmentation distributions essentially coincide and the InfoNCE optimum quotients input space by the group — the encoder converges to a function of radius alone. That is the idealized version of SimCLR's crops and color jitter (approximate orbits), and the dual of RotNet, where rotation is the target instead of the invariance — augmentation choice, not architecture, decides what survives. Probe mid-training and watch accuracy and loss decouple; the metric that matters is never the loss.
这里的一切都是真的：NT-Xent（τ = 0.6，非归一化二维嵌入上的负距离相似度），对全部 72 个 MLP 权重做带动量的有限差分梯度下降；全批次 = 30 个锚点 × 2 个旋转视图，并采用旋转角课程（±0.35 弧度渐增至 ±π）。这里的理论几乎是精确的：旋转是在每个（无噪）环上传递作用的群，同环样本的增强分布基本重合，于是 InfoNCE 的最优解就是把输入空间对这个群取商——编码器收敛为一个只依赖半径的函数。这是 SimCLR 的裁剪与色彩抖动（近似轨道）的理想化版本，也是 RotNet 的对偶——那里旋转是预测目标而非不变性。决定什么信息幸存的，是增强的选择，不是架构。试试在训练中途探测，看准确率与损失解耦；真正要紧的指标从来不是损失。
Todo aquí es real: NT-Xent (τ = 0.6, similitud de distancia negativa en un embedding 2-D sin normalizar) descendido por gradiente de diferencias finitas con momento sobre los 72 pesos del MLP; lote completo = 30 anclas × 2 vistas rotadas, con currículo de ángulo de rotación (±0.35 rad creciendo hasta ±π). La teoría aquí es casi exacta: la rotación es un grupo que actúa transitivamente sobre cada anillo (sin ruido), las distribuciones de aumentos del mismo anillo esencialmente coinciden y el óptimo de InfoNCE cocienta el espacio de entrada por el grupo — el codificador converge a una función solo del radio. Es la versión idealizada de los recortes y el jitter de color de SimCLR (órbitas aproximadas), y el dual de RotNet, donde la rotación es el objetivo en vez de la invarianza — lo que sobrevive lo decide la elección de aumentos, no la arquitectura. Sondea a mitad del entrenamiento y mira cómo la precisión y la pérdida se desacoplan; la métrica que importa nunca es la pérdida.
- 0
- –
- –
What to notice: during pretraining the dots stay gray — the model never sees a label, yet three piles form in embedding space, one per ring. The three labels only name piles that already exist.
值得注意：预训练期间所有点都是灰色的——模型从没见过任何标签，嵌入空间里却长出了三堆，一个环一堆。那三个标签，只是给早已存在的堆起了名字。
Fíjate: durante el preentrenamiento los puntos siguen grises — el modelo nunca ve una etiqueta y aun así se forman tres montones en el espacio de embeddings, uno por anillo. Las tres etiquetas solo les ponen nombre a montones que ya existen.
Ablations to try: probe at step 0 (the regions are noise), at ~150 steps (rings half-merged), and after convergence (clean concentric annuli). The probe is 1-NN by Euclidean distance in embedding space; the regions are the pixel-wise preimage of that rule through the encoder.
可做的消融：在第 0 步探测（区域是一片噪声）、约 150 步（环合并到一半）、收敛后（干净的同心圆环）各一次。探针是嵌入空间里按欧氏距离的 1-NN；区域是这条规则经过编码器在输入空间的逐像素原像。
Ablaciones que probar: sondea en el paso 0 (las regiones son ruido), hacia el paso ~150 (anillos a medio fundir) y tras converger (anillos concéntricos limpios). La sonda es 1-NN por distancia euclídea en el espacio de embeddings; las regiones son la preimagen píxel a píxel de esa regla a través del codificador.
Part 5 · The math第 5 部分 · 数学Parte 5 · Las mates
Four ways to count "how wrong was the guess?"数一数「猜错了多少」的四种方法Cuatro formas de contar «¿cuánto falló la respuesta?»Four losses run the modern world.四个损失函数，驱动着现代世界。Cuatro pérdidas mueven el mundo moderno.
This part uses grown-up math symbols, so it lives at the Engineer and Researcher depths. Here's the secret in explorer language: every formula on this page is just a fancy way of writing "count how wrong the guess was." Small number = good guess. The computer's whole job is to make that number smaller, over and over, a billion times. Grown-ups call that number the loss.
这部分要用大人的数学符号，所以它住在工程师和研究者深度里。用探索者的话说，秘密是：这页上的每一个公式，都只是「数一数猜错了多少」的花哨写法。数字小 = 猜得好。电脑的全部工作，就是把这个数字变小，一遍又一遍，十亿次。大人们把这个数字叫作损失。
Esta parte usa símbolos matemáticos de mayores, así que vive en las profundidades Ingeniero e Investigador. En idioma explorador, el secreto es: cada fórmula de esta página es solo una forma elegante de escribir «cuenta cuánto falló la respuesta». Número pequeño = buena respuesta. Todo el trabajo de la computadora es hacer ese número más pequeño, una y otra vez, mil millones de veces. Los mayores llaman a ese número la pérdida.
The full equations live one dial-click up, at Engineer depth — and honestly, they're friendlier than they look. Each one is a precise version of a sentence you already understand:
- "How surprised was the model by the true next word?" (language models)
- "How far off were the pixels it painted into the holes?" (masked autoencoders)
- "Out of everyone in the room, did it pick its twin?" (contrastive learning)
完整的公式住在转盘再往上一格的工程师深度——而且说实话，它们比看起来友好得多。每一个都是你已经懂的一句话的精确版：
- 「看到真正的下一个词，模型有多惊讶？」 （语言模型）
- 「它往洞里补的像素，差了多远？」 （掩码自编码器）
- 「满屋子的人里，它认出自己的双胞胎了吗？」 （对比学习）
Las ecuaciones completas viven un clic más arriba, en la profundidad Ingeniero — y, la verdad, son más amables de lo que parecen. Cada una es la versión precisa de una frase que ya entiendes:
- «¿Cuánto le sorprendió al modelo la siguiente palabra verdadera?» (modelos de lenguaje)
- «¿Cuánto se desviaron los píxeles que pintó en los huecos?» (autoencoders enmascarados)
- «De todos los presentes, ¿reconoció a su gemelo?» (aprendizaje contrastivo)
Equations hidden at this depth — turn the dial to Engineer or Researcher to unmask them. (Very on-brand for this page.)公式在这个深度被遮住了——把转盘拧到工程师或研究者就能揭开。（和本页的主题真是绝配。）Las ecuaciones están tapadas a esta profundidad — gira el selector a Ingeniero o Investigador para destaparlas. (Muy en el espíritu de esta página.)
Hover or tap any dotted term to decode it. Everything below is a variation on one template: maximize the probability of the part you hid.悬停或点按任何虚线术语就能解码它。下面的一切都是同一个模板的变奏：最大化你所遮住那部分的概率。Pasa el cursor o toca cualquier término punteado para descifrarlo. Todo lo de abajo es una variación de la misma plantilla: maximiza la probabilidad de la parte que escondiste.
1 · Next-token prediction — GPT, Claude, Llama, every chat model1 · 下一个词预测——GPT、Claude、Llama，所有聊天模型1 · Predicción del siguiente token — GPT, Claude, Llama, todo chatbot
Read every token left of position t, predict token t, get graded, move one step right. The "hidden part" is simply the future. Cross-entropy = the model's average surprise, measured in nats.读入位置 t 左边的全部 token，预测第 t 个，打分，右移一步。「被藏起来的部分」就是未来。交叉熵 = 模型的平均惊讶程度，单位是 nat。Lee todos los tokens a la izquierda de la posición t, predice el token t, recibe tu nota y avanza un paso. La «parte oculta» es simplemente el futuro. Entropía cruzada = la sorpresa media del modelo, medida en nats.
2 · Masked modeling — BERT (words), MAE (pixels)2 · 掩码建模——BERT（文字）、MAE（像素）2 · Modelado enmascarado — BERT (palabras), MAE (píxeles)
Same idea, seen from both directions at once: hide a random set 同一个想法，一次看两个方向：随机遮住一个集合 La misma idea, vista en ambas direcciones a la vez: esconde un conjunto aleatorio M, predict it from the rest. For text the grade is cross-entropy; for images, mean squared error on the hidden patches only — the game you played in Part 3.，再用剩下的部分预测它。文字用交叉熵打分；图像只在被遮图块上算均方误差——就是你在第 3 部分玩过的游戏。, y predícelo desde el resto. En texto la nota es entropía cruzada; en imágenes, error cuadrático medio solo sobre los parches ocultos — el juego que jugaste en la Parte 3.
3 · InfoNCE — SimCLR, MoCo, CPC: contrastive learning3 · InfoNCE——SimCLR、MoCo、CPC：对比学习3 · InfoNCE — SimCLR, MoCo, CPC: aprendizaje contrastivo
A softmax classification problem: "out of all 2N views in the batch, which one is your twin?" The numerator pulls the pair together; the denominator pushes everyone else away — exactly the two forces you watched in Part 4.一个 softmax 分类题：「批次里全部 2N 个视图中，哪个是你的双胞胎？」分子把这一对拉到一起；分母把其他所有人推开——正是你在第 4 部分看到的那两股力。Un problema de clasificación softmax: «de las 2N vistas del lote, ¿cuál es tu gemela?». El numerador junta al par; el denominador empuja a todos los demás — exactamente las dos fuerzas que viste en la Parte 4.
Two things worth holding onto. (a) It bounds mutual information: with K candidates in the softmax (here K = 2N−1), I(z; z⁺) ≥ log K − ℒNCE — but the bound saturates at log K, and Tschannen et al. (2019) showed MI maximization alone doesn't explain representation quality; the geometry does more work than the bound. (b) The gradient on each negative is weighted by its softmax probability — hard-negative mining ships inside the loss, modulated by τ.
两件值得记住的事。(a)它给出互信息下界：softmax 里有 K 个候选（此处 K = 2N−1）时，I(z; z⁺) ≥ log K − ℒNCE——但下界在 log K 处饱和，且 Tschannen 等(2019)证明，仅靠互信息最大化解释不了表征质量；几何结构比这个界干的活更多。(b)每个负样本上的梯度按其 softmax 概率加权——难负样本挖掘内置于损失中，由 τ 调节。
Dos cosas que conviene retener. (a) Acota la información mutua: con K candidatos en el softmax (aquí K = 2N−1), I(z; z⁺) ≥ log K − ℒNCE — pero la cota se satura en log K, y Tschannen et al. (2019) mostraron que maximizar IM por sí solo no explica la calidad de la representación; la geometría trabaja más que la cota. (b) El gradiente sobre cada negativo va ponderado por su probabilidad softmax — la minería de negativos difíciles viene de serie en la pérdida, modulada por τ.
4 · What InfoNCE secretly optimizes — alignment & uniformity4 · InfoNCE 偷偷在优化什么——对齐与均匀性4 · Lo que InfoNCE optimiza en secreto — alineamiento y uniformidad
Wang & Isola (2020): as the number of negatives → ∞, InfoNCE asymptotically optimizes exactly these two properties — twins coincide (alignment) while the embedding distribution approaches uniform on the sphere (maximum entropy). (Shown here are the paper's metrics; the exact limit carries τ-dependent scales.) Uniformity is what negatives buy you; it is the anti-collapse force. The live numbers in Part 4 are exactly these quantities.Wang & Isola(2020)：当负样本数 → ∞,InfoNCE 渐近地恰好优化这两条性质——双胞胎重合（对齐），同时嵌入分布趋向球面均匀（最大熵）。（这里展示的是论文提出的度量；精确极限带有依赖 τ 的系数。）均匀性就是负样本给你买来的东西；它是反坍缩的力量。第 4 部分的实时数字正是这两个量。Wang & Isola (2020): cuando el número de negativos → ∞, InfoNCE optimiza asintóticamente justo estas dos propiedades — los gemelos coinciden (alineamiento) mientras la distribución de embeddings tiende a la uniforme sobre la esfera (máxima entropía). (Se muestran las métricas del artículo; el límite exacto lleva escalas dependientes de τ.) La uniformidad es lo que compran los negativos; es la fuerza anticolapso. Los números en vivo de la Parte 4 son exactamente estas cantidades.
5 · The collapse problem — and the three escapes5 · 坍缩问题——以及三条逃生通道5 · El problema del colapso — y las tres vías de escape
Alignment alone has a trivial optimum: map every input to one constant point — loss zero, information zero (you proved this with the "Collapse everything" button). Every negative-free method is an escape route: (1) contrast — keep the denominator (SimCLR, MoCo); (2) architectural asymmetry — a predictor head + stop-gradient (SimSiam), plus an EMA teacher (BYOL), or an EMA teacher with centering & sharpening in place of a predictor (DINO); their non-collapse is still only partially explained (Tian et al. 2021, DirectPred); (3) statistical constraints — push the two views' feature cross-correlation toward the identity (Barlow Twins) or regularize per-dimension variance and covariance (VICReg).只有对齐项时存在平凡最优：把所有输入映射到同一个常数点——损失为零，信息也为零（你已经用「全部坍缩」按钮亲手证明过）。每一种无负样本的方法都是一条逃生通道：(1)对比——保住分母（SimCLR、MoCo）；(2)架构不对称——预测头 + 停止梯度(SimSiam)，再加 EMA 教师(BYOL)，或者用 EMA 教师配中心化与锐化来代替预测头(DINO)；它们为何不坍缩至今只有部分解释（Tian 等 2021,DirectPred）；(3)统计约束——把两个视图特征的互相关矩阵推向单位阵(Barlow Twins)，或对每一维的方差与协方差做正则(VICReg)。El alineamiento solo tiene un óptimo trivial: mapear toda entrada a un mismo punto constante — pérdida cero, información cero (lo demostraste tú mismo con el botón «Colapsar todo»). Cada método sin negativos es una vía de escape: (1) contraste — conservar el denominador (SimCLR, MoCo); (2) asimetría arquitectónica — cabezal predictor + stop-gradient (SimSiam), más un maestro EMA (BYOL), o un maestro EMA con centrado y afilado en lugar del predictor (DINO); su no-colapso sigue solo parcialmente explicado (Tian et al. 2021, DirectPred); (3) restricciones estadísticas — empujar la correlación cruzada de los rasgos de las dos vistas hacia la identidad (Barlow Twins) o regularizar varianza y covarianza por dimensión (VICReg).
Part 6 · A short history第 6 部分 · 简史Parte 6 · Una breve historia
One idea, told four ways.同一个想法，讲了四遍。Una idea, contada de cuatro maneras.
Scientists kept re-discovering the same trick with different toys: first with words, then with photos, then with sound and video. Scroll the cards →
科学家们拿着不同的玩具，一遍遍重新发现同一个把戏：先是文字，然后是照片，再后来是声音和视频。滑动卡片 →
Los científicos redescubrieron el mismo truco una y otra vez con juguetes distintos: primero con palabras, luego con fotos, luego con sonido y vídeo. Desliza las tarjetas →
Each card is a famous method. Watch the same "hide & guess" idea mutate as it jumps between text, images, and audio — and notice the families by their colored tags. Scroll →
每张卡片是一个著名方法。看同一个「遮住再猜」的想法在文字、图像、音频之间跳来跳去、不断变异——注意用彩色标签区分的流派。滑动 →
Cada tarjeta es un método famoso. Mira la misma idea de «tapar y adivinar» mutar mientras salta entre texto, imágenes y audio — y fíjate en las familias por sus etiquetas de color. Desliza →
Five lineages to track: predictive/generative (reconstruct the hidden piece), contrastive (find your twin among negatives), self-distillation (match a teacher copy of yourself), decorrelation (keep features statistically non-redundant), and latent prediction (predict features, not pixels). The field's drift from pixels toward latents is the plot line. Scroll →
值得追踪的五条脉络：预测/生成式（重建被遮住的部分）、对比式（在负样本中认出双胞胎）、自蒸馏（去匹配一个教师版的自己）、去相关（让特征在统计上不冗余），以及潜表征预测（预测特征而非像素）。整个领域从像素漂移向潜表征，就是这部剧的主线。滑动 →
Cinco linajes que seguir: predictivo/generativo (reconstruir la pieza oculta), contrastivo (hallar a tu gemelo entre negativos), autodestilación (imitar a una copia-maestro de ti mismo), decorrelación (mantener los rasgos estadísticamente no redundantes) y predicción latente (predecir rasgos, no píxeles). La deriva del campo de los píxeles hacia los latentes es la trama. Desliza →
Guess the hidden word from its neighbors — and the computer discovers that king and queen belong together.从周围的词猜被藏住的词——电脑自己发现了 king（国王）和 queen（王后）是一家人。Adivina la palabra oculta por sus vecinas — y la computadora descubre sola que rey y reina van juntos.Guess a word from its neighbors. Meaning becomes geometry: king − man + woman ≈ queen. The proof of concept.从上下文猜词。语义变成了几何：国王 − 男人 + 女人 ≈ 王后。概念验证完成。Adivina una palabra por su contexto. El significado se vuelve geometría: rey − hombre + mujer ≈ reina. La prueba de concepto.
arXiv:1301.3781Guess what comes next in sounds and video. The rule for the matching game in Part 4 is invented here.猜声音和视频里接下来是什么。第 4 部分配对游戏的规则就是在这里发明的。Adivina qué viene después en sonidos y vídeo. La regla del juego de parejas de la Parte 4 se inventa aquí.Predict the future in latent space, scored contrastively. The InfoNCE loss from Part 4 is born here.在潜空间里预测未来，用对比方式打分。第 4 部分的 InfoNCE 损失在此诞生。Predice el futuro en el espacio latente, puntuado por contraste. Aquí nace la pérdida InfoNCE de la Parte 4.
arXiv:1807.03748Two famous readers that learned language by guessing hidden words across almost the whole internet.两位著名的「读者」，靠在几乎整个互联网上猜被藏住的词，学会了语言。Dos lectores famosos que aprendieron el lenguaje adivinando palabras ocultas por casi todo internet.Next-token and masked-token prediction meet Transformers, and the whole internet becomes the teacher. NLP is never the same.下一个词预测和掩码词预测遇上 Transformer，整个互联网成了老师。NLP 从此改天换地。La predicción del siguiente token y del token enmascarado se encuentran con los Transformers, y todo internet se vuelve el maestro. El PLN no vuelve a ser igual.
arXiv:1810.04805The photo matching game gets a clever memory, so it finally works on normal computers.照片配对游戏装上了聪明的记忆，终于能在普通电脑上玩了。El juego de emparejar fotos consigue una memoria astuta y por fin funciona en computadoras normales.Vision catches the bug: a queue of negatives plus a momentum-updated encoder makes contrastive learning practical.视觉界也染上了这个瘾：负样本队列加动量更新的编码器，让对比学习真正可用。La visión se contagia: una cola de negativos más un codificador con momento hacen práctico el aprendizaje contrastivo.
arXiv:1911.05722A simple recipe for the matching game from Part 4 — and it works shockingly well.第 4 部分配对游戏的简单配方——效果好得吓人。Una receta simple para el juego de parejas de la Parte 4 — y funciona escandalosamente bien.Strip it to essentials: strong augmentations, big batches (4096), a projection head, InfoNCE. Simple recipe, shocking results.删繁就简：强数据增强、大批次(4096)、投影头、InfoNCE。配方简单，结果惊人。Reducido a lo esencial: aumentos fuertes, lotes grandes (4096), un cabezal de proyección, InfoNCE. Receta simple, resultados de escándalo.
arXiv:2002.05709A mystery: they stopped pushing strangers apart… and the dots still did not pile up. Scientists still argue about why!一个谜：它们不再把陌生人推开……点却没有堆成一坨。科学家至今还在争论为什么！Un misterio: dejaron de separar a los extraños… y los puntos no se amontonaron. ¡Los científicos aún discuten por qué!Heresy: drop the negatives entirely. A predictor head + stop-gradient somehow avoids collapse. Why it works is still being argued about.异端：彻底扔掉负样本。预测头 + 停止梯度居然避免了坍缩。它为什么行得通，至今仍在争论。Herejía: tirar los negativos por completo. Un cabezal predictor + stop-gradient evita el colapso de algún modo. Todavía se discute por qué funciona.
arXiv:2006.07733The hide-and-guess game played with sound — computers learned to hear with almost no answer keys.用声音玩的捉迷藏游戏——电脑几乎不靠答案就学会了听。El juego de tapar y adivinar, jugado con sonido — las computadoras aprendieron a oír casi sin hojas de respuestas.Speech joins: mask audio, contrast quantized codes. Usable speech recognition from 10 minutes of labeled audio.语音入伙：遮住音频，对比量化编码。只用 10 分钟标注音频就能做出可用的语音识别。El habla se une: enmascara audio, contrasta códigos cuantizados. Reconocimiento de voz utilizable con 10 minutos de audio etiquetado.
arXiv:2006.11477Another anti-pile-up trick: make sure the dots never all copy each other.另一种防堆积的招数：确保这些点永远不会互相抄袭。Otro truco anti-amontonamiento: asegurarse de que los puntos nunca se copien entre sí.Beat collapse with statistics instead of negatives: decorrelate the features, keep their variance alive.不用负样本、用统计学打败坍缩：给特征去相关，让每一维的方差都活着。Vencer al colapso con estadística en vez de negativos: decorrelacionar los rasgos, mantener viva su varianza.
arXiv:2103.03230A student computer learns from a calmer copy of itself — and starts spotting objects all on its own.一台学生电脑向更沉稳的自己学习——然后自己就学会认出物体了。Una computadora-alumna aprende de una copia más serena de sí misma — y empieza a reconocer objetos por su cuenta.Self-distillation with Vision Transformers. Surprise: its attention maps segment objects — nobody asked them to.视觉 Transformer 上的自蒸馏。惊喜：它的注意力图自己就把物体分割了出来——没有人要求过。Autodestilación con Vision Transformers. Sorpresa: sus mapas de atención segmentan objetos — nadie se lo pidió.
arXiv:2104.14294The hidden-picture game from Part 3, played for real — with 75% of every photo hidden.第 3 部分的捉迷藏拼图游戏，来真的了——每张照片遮住 75%。El juego de la imagen escondida de la Parte 3, en serio — con el 75% de cada foto tapado.Part 3, industrialized: hide 75% of the image, reconstruct pixels, scale up. Simplicity wins again.第 3 部分的工业化版本：遮住图像的 75%，重建像素，放大规模。大道至简再次获胜。La Parte 3, industrializada: tapa el 75% de la imagen, reconstruye píxeles, escala. La simplicidad gana otra vez.
arXiv:2111.06377One game for words, sounds and pictures: guess your teacher's thoughts, not the dots.一个游戏通吃文字、声音和图片：猜老师的想法，而不是猜每个点。Un solo juego para palabras, sonidos e imágenes: adivina los pensamientos de tu maestro, no los puntitos.One recipe for text, speech, and vision: predict your own teacher's latent features, not raw pixels or tokens.一个配方通吃文本、语音和视觉：预测自己教师网络的潜特征，而不是原始像素或 token。Una receta para texto, voz y visión: predice los rasgos latentes de tu propio maestro, no píxeles ni tokens crudos.
arXiv:2202.03555Guess ideas instead of pixels — and the guesses get much smarter.猜想法而不是猜像素——猜出来的东西聪明多了。Adivina ideas en vez de píxeles — y lo adivinado sale mucho más listo.Predict representations of hidden regions (JEPA); curate data hard (DINOv2). Self-supervised features now rival supervised ones across vision tasks.预测被遮区域的表征(JEPA)；狠抓数据筛选(DINOv2)。自监督特征在各类视觉任务上已能与有监督特征分庭抗礼。Predice representaciones de regiones ocultas (JEPA); cura los datos a conciencia (DINOv2). Los rasgos autosupervisados ya rivalizan con los supervisados en visión.
arXiv:2304.07193Watch videos with pieces hidden and guess what is there — learning how the world moves.看着被遮掉几块的视频，猜那里是什么——顺便学会世界是怎么动的。Mira vídeos con trozos tapados y adivina qué hay — aprendiendo de paso cómo se mueve el mundo.Mask chunks of video, predict their latents: a step toward models that learn intuitive physics by watching.遮住视频的片段，预测其潜表征：朝着「靠看就学会直觉物理」的模型迈出一步。Enmascara trozos de vídeo y predice sus latentes: un paso hacia modelos que aprenden física intuitiva mirando.
arXiv:2404.08471The chat robots you know grew out of one giant game of guess-the-next-word.你认识的那些聊天机器人，都是从一场巨大的「猜下一个词」游戏里长出来的。Los chatbots que conoces crecieron de un gigantesco juego de «adivina la palabra siguiente».GPT-4, Claude, Llama, Gemini: next-token prediction on trillions of tokens remains self-supervision's biggest win. The chat layer on top is a garnish; SSL is the meal.GPT-4、Claude、Llama、Gemini：在数万亿 token 上做下一个词预测，仍是自监督最大的胜利。顶上的聊天层只是配菜；SSL 才是正餐。GPT-4, Claude, Llama, Gemini: predecir el siguiente token sobre billones de tokens sigue siendo la mayor victoria de la autosupervisión. La capa de chat es la guarnición; el SSL es el plato.
Part 7 · Real world第 7 部分 · 真实世界Parte 7 · Mundo real
You used self-supervised learning today.你今天已经用过自监督学习了。Hoy ya usaste aprendizaje autosupervisado.
These games aren't just for fun — they built the tools you use every day. Almost every "smart" thing your phone does started with hide-and-guess practice.
这些游戏可不只是好玩——它们造出了你每天在用的工具。你手机上几乎每一样「聪明」的功能，都是从捉迷藏练习开始的。
Estos juegos no son solo por diversión: construyeron las herramientas que usas a diario. Casi todo lo «inteligente» que hace tu teléfono empezó practicando a tapar y adivinar.
The pattern in every card: an ocean of unlabeled data plus a self-made quiz first; a small, precious set of labels last.
每张卡片里都是同一个套路：先用无标注数据的海洋加一份自制测验；最后才用上一小份珍贵的标签。
El patrón en cada tarjeta: primero un océano de datos sin etiquetar más un examen autofabricado; al final, un puñado pequeño y precioso de etiquetas.
Chat assistants聊天助手Asistentes de chat
Chat robots learned to talk by playing guess-the-next-word with almost everything ever written.
聊天机器人学会说话，靠的是拿人类写过的几乎所有文字玩「猜下一个词」。
Los robots conversadores aprendieron a hablar jugando a «adivina la palabra siguiente» con casi todo lo que se ha escrito.
ChatGPT, Claude, Gemini: their pretraining is the fill-in-the-blank game from the top of this page, played on trillions of words. The helpful-assistant part is a thin, label-hungry layer on a self-supervised giant.
ChatGPT、Claude、Gemini：它们的预训练就是本页开头那个填空游戏，只不过在数万亿个词上玩。「乐于助人的助手」只是覆在自监督巨人身上薄薄一层吃标签的外衣。
ChatGPT, Claude, Gemini: su preentrenamiento es el juego de rellenar huecos del inicio de esta página, jugado sobre billones de palabras. La parte de «asistente amable» es una capa fina y hambrienta de etiquetas sobre un gigante autosupervisado.
Search engines搜索引擎Buscadores
Search engines guess what you mean, not just the words you typed — thanks to hide-a-word practice.
搜索引擎猜的是你的意思，而不只是你打的字——这要归功于藏词练习。
Los buscadores adivinan lo que quieres decir, no solo lo que tecleaste — gracias a practicar escondiendo palabras.
Since 2019, Google has used BERT-style models — trained by masked-word guessing — to understand what your query means, not just which words it contains.
自 2019 年起，谷歌用 BERT 式模型——靠猜被遮住的词训练出来——来理解你查询的含义，而不只是匹配字面。
Desde 2019, Google usa modelos tipo BERT — entrenados adivinando palabras tapadas — para entender qué significa tu búsqueda, no solo qué palabras contiene.
Voice interfaces语音识别Interfaces de voz
Computers learned to understand talking by listening to mountains of voices — with almost no answer keys.
电脑靠听成山的语音学会了听懂说话——几乎没用答案。
Las computadoras aprendieron a entender el habla escuchando montañas de voces — casi sin hojas de respuestas.
wav2vec-style models pretrain on thousands of hours of raw, untranscribed speech. Result: speech recognition for languages with almost no transcribed data — minutes of labels instead of thousands of hours.
wav2vec 式模型在数千小时未转写的原始语音上预训练。结果：几乎没有转写数据的语言也能做语音识别——标注从几千小时降到几分钟。
Los modelos tipo wav2vec se preentrenan con miles de horas de habla cruda sin transcribir. Resultado: reconocimiento de voz para lenguas casi sin datos transcritos — minutos de etiquetas en vez de miles de horas.
Medical imaging医学影像Imagen médica
Doctors are busy! So computers practice on millions of unmarked scans first, and a doctor only teaches them the last little bit.
医生很忙！所以电脑先在几百万张没有标记的扫描片上练习，医生只需要教最后一小步。
¡Los médicos están ocupados! Así que la computadora practica primero con millones de radiografías sin marcar, y el médico solo le enseña el último pasito.
Expert labels are the bottleneck — a radiologist's hour is expensive. So: pretrain on millions of unlabeled scans, fine-tune on a few hundred annotated ones. SSL's label-efficiency is sometimes literally a lifesaver.
专家标注是瓶颈——放射科医生的一小时很贵。于是：在数百万张无标注扫描上预训练，再用几百张有标注的微调。SSL 的标签效率，有时真能救命。
La etiqueta experta es el cuello de botella — la hora de un radiólogo es cara. Entonces: preentrenar con millones de escaneos sin etiquetar y ajustar con unos cientos anotados. La eficiencia en etiquetas del SSL a veces salva vidas, literalmente.
Protein & drug discovery蛋白质与新药Proteínas y fármacos
The same guessing game, played with the tiny building blocks of life, helps scientists invent new medicine.
同一个猜谜游戏，拿生命的微小积木来玩，帮科学家发明新药。
El mismo juego de adivinanzas, jugado con los ladrillos diminutos de la vida, ayuda a los científicos a inventar medicinas.
Protein language models like ESM-2 play fill-in-the-blank on tens of millions of protein sequences. Structure and function signals emerge from sequence statistics — feeding structure prediction and variant screening.
像 ESM-2 这样的蛋白质语言模型，在数千万条蛋白质序列上玩填空。结构与功能的信号从序列统计中涌现——支撑结构预测与突变筛查。
Modelos de lenguaje de proteínas como ESM-2 juegan a rellenar huecos con decenas de millones de secuencias. Señales de estructura y función emergen de la estadística de secuencias — alimentando la predicción de estructuras y el cribado de variantes.
Vision backbones视觉骨干Backbones de visión
Robot eyes and photo apps share one super-vision that taught itself by looking at millions of pictures.
机器人的眼睛和修图 App 共用同一副「超级视觉」，它靠看几百万张图自学成才。
Los ojos de los robots y las apps de fotos comparten una «supervisión» que se enseñó sola mirando millones de imágenes.
DINOv2 features ship inside depth estimators, segmenters, and robot perception — often used frozen, with no task labels at all. One self-supervised backbone, many downstream jobs.
DINOv2 的特征被装进深度估计器、分割器和机器人感知系统——常常冻结直接用，一个任务标签都不要。一个自监督骨干，干许多下游的活。
Los rasgos de DINOv2 van dentro de estimadores de profundidad, segmentadores y percepción robótica — a menudo congelados, sin una sola etiqueta de tarea. Un backbone autosupervisado, muchos trabajos finales.
Recommendations推荐系统Recomendaciones
"You might also like…" comes from noticing which things people look at together.
「猜你喜欢……」来自留意人们总把哪些东西放在一起看。
El «quizá te guste…» nace de notar qué cosas mira juntas la gente.
Nobody labels "similar products." Instead: two items browsed in the same session = a positive pair — contrastive learning on behavior logs powers "you might also like."
没有人给「相似商品」打标签。取而代之：同一次浏览里被看过的两件商品 = 一对正样本——在行为日志上做对比学习，驱动着「猜你喜欢」。
Nadie etiqueta «productos similares». En su lugar: dos artículos vistos en la misma sesión = un par positivo — aprendizaje contrastivo sobre registros de conducta impulsa el «quizá te guste».
The practical recipe when you face a new problem with few labels: (1) reach for a pretrained SSL checkpoint in your modality first — training from scratch is almost never the move; (2) linear-probe to sanity-check the features; (3) fine-tune if you have a few thousand labels or a large domain gap; (4) pretrain yourself only if you own big in-domain unlabeled data (hospital archives, sensor logs) — that's when domain-specific SSL beats generic checkpoints.
面对标签稀缺的新问题时的实用配方：(1)先找你所在模态的自监督预训练权重——从零训练几乎永远不是正解；(2)用线性探测检查特征质量；(3)如果有几千条标签或领域差距大，就微调；(4)只有当你手握大量领域内无标注数据（医院档案、传感器日志）时才自己预训练——那时领域专属 SSL 才会胜过通用权重。
La receta práctica ante un problema nuevo con pocas etiquetas: (1) busca primero un checkpoint SSL preentrenado en tu modalidad — entrenar desde cero casi nunca es la jugada; (2) haz una sonda lineal para verificar la calidad de los rasgos; (3) ajusta fino si tienes unos miles de etiquetas o mucha brecha de dominio; (4) preentrena tú mismo solo si posees muchos datos sin etiquetar del dominio (archivos hospitalarios, registros de sensores) — ahí es cuando el SSL específico vence a los checkpoints genéricos.
Part 8 · The frontier第 8 部分 · 前沿Parte 8 · La frontera
What nobody knows yet.还没有人知道的事。Lo que nadie sabe todavía.
Here's a happy secret: even the smartest scientists don't fully understand why some of these tricks work! One famous method should collapse into a useless pile — like your dots did — but somehow it doesn't, and grown-up researchers still argue about why.
That means there are discoveries left for you to make. Maybe the next big trick is hiding in a game you already play.
告诉你一个开心的秘密：连最聪明的科学家也没完全弄懂，这些把戏里有几个为什么会灵！有个著名的方法，按理应该像你的点一样塌成没用的一坨——可它偏偏没有，大人研究者们至今还在争论原因。
这说明，还有很多发现在等着你去做。也许下一个大把戏，就藏在你已经会玩的某个游戏里。
Un secreto alegre: ¡ni los científicos más listos entienden del todo por qué funcionan algunos de estos trucos! Hay un método famoso que debería derrumbarse en un montón inútil — como les pasó a tus puntos — pero no lo hace, y los investigadores adultos siguen discutiendo por qué.
Eso significa que quedan descubrimientos esperándote a ti. Quizá el próximo gran truco esté escondido en un juego que ya conoces.
Open questions real researchers argue about right now:
- Why doesn't BYOL collapse? Some methods with no "push apart" force should die the way your dots did — but don't. The full explanation is still missing.
- Should models predict pixels or ideas? Repainting every leaf on a tree wastes effort; predicting "there's a tree there" might be smarter. This debate is shaping the next generation of AI.
- Watching vs. reading. A toddler learns physics by watching, with no words at all. Text-based SSL got us chatbots; video-based SSL that learns like a toddler is unfinished business.
真正的研究者此刻还在争论的开放问题：
- BYOL 为什么不坍缩？有些没有「推开」力量的方法，本该像你的点那样堆成一坨死掉——却没有。完整的解释至今缺席。
- 模型该预测像素，还是预测想法？把树上每片叶子都重画一遍是浪费力气；预测「那里有棵树」也许更聪明。这场辩论正在塑造下一代 AI。
- 看世界 vs 读文字。幼儿不识一字，光靠看就学会了物理。基于文字的 SSL 给了我们聊天机器人；像幼儿那样看视频学习的 SSL，还是未完成的事业。
Preguntas abiertas que los investigadores discuten ahora mismo:
- ¿Por qué BYOL no colapsa? Métodos sin fuerza de «separar» deberían morir como tus puntos — pero no lo hacen. La explicación completa aún falta.
- ¿Deben los modelos predecir píxeles o ideas? Repintar cada hoja de un árbol malgasta esfuerzo; predecir «ahí hay un árbol» quizá sea más listo. Este debate está moldeando la próxima generación de IA.
- Mirar vs. leer. Un bebé aprende física mirando, sin palabras. El SSL de texto nos dio chatbots; el SSL de vídeo que aprenda como un bebé sigue siendo asignatura pendiente.
- Collapse theory is incomplete. Why do predictor + stop-gradient (BYOL/SimSiam) avoid the constant solution? Partial answers exist (eigenspace alignment, DirectPred); a full training-dynamics account doesn't.
- Target design: pixels (MAE) vs. discrete codes (BEiT) vs. teacher latents (data2vec, JEPA). Latents win on semantics but risk shortcut solutions; a principled answer to "what should be predicted?" is open.
- Data curation may matter more than the loss. DINOv2's leap owed as much to its curated data pipeline as to its objective — an uncomfortable result for loss-function research.
- Scaling: language SSL rides clean scaling laws; vision SSL saturates earlier. The gap (information density? augmentation priors? evaluation?) is not fully explained.
- Beyond perception: using SSL world models for planning and control — the JEPA program — is largely unrealized.
- 坍缩理论不完整。预测头 + 停止梯度(BYOL/SimSiam)为何能避开常数解？已有部分答案（特征空间对齐、DirectPred）；完整的训练动力学解释还没有。
- 目标设计：像素(MAE)vs 离散编码(BEiT)vs 教师潜表征（data2vec、JEPA）。潜表征在语义上占优，但有捷径解的风险；「到底该预测什么？」还没有原则性的答案。
- 数据筛选可能比损失函数更重要。DINOv2 的飞跃，数据管线的功劳不亚于目标函数——这对研究损失函数的人来说是个不太舒服的结论。
- 缩放：语言 SSL 沿着干净的缩放定律一路下行；视觉 SSL 更早饱和。这个差距（信息密度？增强先验？评测方式？）尚无完整解释。
- 感知之外：用 SSL 世界模型做规划与控制——JEPA 计划——基本还没实现。
- La teoría del colapso está incompleta. ¿Por qué predictor + stop-gradient (BYOL/SimSiam) evitan la solución constante? Hay respuestas parciales (alineamiento de autoespacios, DirectPred); falta una explicación completa de la dinámica de entrenamiento.
- Diseño del objetivo: ¿píxeles (MAE), códigos discretos (BEiT) o latentes de un maestro (data2vec, JEPA)? Los latentes ganan en semántica pero arriesgan atajos; la respuesta de principio a «¿qué se debe predecir?» sigue abierta.
- La curación de datos puede importar más que la pérdida. El salto de DINOv2 le debió tanto a su pipeline de datos curados como a su objetivo — un resultado incómodo para la investigación en funciones de pérdida.
- Escalado: el SSL de lenguaje cabalga leyes de escalado limpias; el de visión se satura antes. La brecha (¿densidad de información? ¿priors de aumentos? ¿evaluación?) no está del todo explicada.
- Más allá de la percepción: usar modelos de mundo SSL para planificar y controlar — el programa JEPA — está casi sin realizar.
- Non-contrastive dynamics. BYOL/SimSiam sit at a degenerate optimum's doorstep yet converge to rich representations. Tian et al. (2021) show the predictor aligns with the input correlation's eigenspace; DirectPred replaces it analytically. A complete account covering EMA rates, predictor capacity, and augmentation strength — one that predicts when collapse happens — is open.
- Masking-ratio theory is folklore. ~15% for text, ~75% for images, ~90% for video works empirically; a principled theory tying optimal corruption to the data's information density is missing.
- Latent-target objectives lack a shortcut characterization. JEPA-style losses avoid pixel-level waste but introduce a moving target; when the teacher drifts toward degeneracy, what stops the student from matching it? Centering and sharpening (DINO) are patches, not theory.
- Evaluation is unsolved. Linear probes reward linearly-accessible features; fine-tuning washes differences out; downstream suites disagree with each other. SSL lacks its perplexity — a single trustworthy progress metric.
- Augmentation-free vision SSL. Current methods smuggle human priors in through augmentation choices (a crop implies "objecthood"). Video's temporal structure (V-JEPA) may replace hand-designed invariances — or may not suffice.
- SSL for agency. The LeCun-program bet: JEPA world models plus planning replace autoregressive generation as the road to reasoning agents. Contested, unproven, and the most consequential open question on this list.
- 非对比方法的动力学。BYOL/SimSiam 就站在退化最优解的门口，却收敛到丰富的表征。Tian 等(2021)证明预测头会与输入相关矩阵的特征空间对齐；DirectPred 干脆用解析式取代它。一个覆盖 EMA 速率、预测头容量与增强强度、并能预测坍缩何时发生的完整理论，仍然空缺。
- 遮挡率理论还停留在民间经验。文本约 15%、图像约 75%、视频约 90%，经验上有效；把最优破坏程度与数据信息密度联系起来的原则性理论还没有。
- 潜表征目标缺少捷径解的刻画。JEPA 式损失避开了像素级浪费，却引入了移动靶：当教师漂向退化，是什么阻止学生跟着退化？中心化与锐化(DINO)是补丁，不是理论。
- 评测悬而未决。线性探测偏爱线性可读的特征；微调抹平差异；各下游基准彼此打架。SSL 还没有自己的 perplexity——一个可信赖的单一进度指标。
- 免增强的视觉 SSL。当前方法借增强选择夹带人类先验（裁剪即暗示「物体性」）。视频的时间结构(V-JEPA)也许能取代手工设计的不变性——也许不够。
- 面向智能体的 SSL。LeCun 计划的赌注：JEPA 世界模型加规划，取代自回归生成，通往会推理的智能体。有争议、未证实，也是这张单子上分量最重的开放问题。
- Dinámica no contrastiva. BYOL/SimSiam viven a la puerta de un óptimo degenerado y aun así convergen a representaciones ricas. Tian et al. (2021) muestran que el predictor se alinea con el autoespacio de la correlación de entrada; DirectPred lo sustituye analíticamente. Falta una teoría completa que cubra tasas de EMA, capacidad del predictor y fuerza de los aumentos — y que prediga cuándo ocurre el colapso.
- La teoría de la tasa de enmascarado es folclore. ~15 % en texto, ~75 % en imágenes, ~90 % en vídeo funcionan empíricamente; falta una teoría de principio que ligue la corrupción óptima con la densidad de información del dato.
- Los objetivos latentes carecen de caracterización de atajos. Las pérdidas tipo JEPA evitan el derroche a nivel de píxel pero introducen un blanco móvil: cuando el maestro deriva hacia la degeneración, ¿qué impide que el alumno lo imite? El centrado y el afilado (DINO) son parches, no teoría.
- La evaluación está sin resolver. Las sondas lineales premian rasgos linealmente accesibles; el ajuste fino borra las diferencias; los conjuntos de tareas finales discrepan entre sí. Al SSL le falta su perplejidad — una métrica de progreso única y confiable.
- SSL de visión sin aumentos. Los métodos actuales meten priors humanos de contrabando en la elección de aumentos (un recorte implica «objetualidad»). La estructura temporal del vídeo (V-JEPA) quizá reemplace las invarianzas diseñadas a mano — o quizá no baste.
- SSL para la agencia. La apuesta del programa LeCun: modelos de mundo JEPA más planificación sustituyen a la generación autorregresiva como camino a agentes que razonan. Discutida, sin demostrar, y la pregunta abierta de mayor calado de esta lista.
Part 9 · Take it with you第 9 部分 · 带走它Parte 9 · Llévatelo
If you remember one thing…如果只记住一件事……Si solo recuerdas una cosa…
For explorers
You can learn without a teacher: hide something, guess it, peek, and get a little smarter. Computers became amazing at language and pictures by playing exactly the games you played on this page — billions of times. Next time you cover a word with your thumb and guess it, remember: that's how the robots learned too.
给探索者
不用老师也能学习：遮住一样东西，猜一猜，偷看一下，就变聪明一点点。电脑就是靠玩你在这页玩过的游戏——玩上几十亿次——才变得这么会语言、这么懂图片。下次你用大拇指盖住一个词再猜它的时候，记得：机器人也是这么学会的。
Para exploradores
Puedes aprender sin maestro: esconde algo, adivínalo, espía y hazte un poquito más listo. Las computadoras se volvieron increíbles con el lenguaje y las imágenes jugando exactamente a los juegos que jugaste en esta página — miles de millones de veces. La próxima vez que tapes una palabra con el pulgar y la adivines, recuerda: así también aprendieron los robots.
For students
- Labels are scarce and expensive; raw data is nearly infinite. SSL learns from the infinite part.
- The trick: hide part of the data and predict it — the data becomes its own answer key.
- Winning the guessing game forces understanding — and that understanding is what gets reused.
- ChatGPT's pretraining is this exact game, played on trillions of words.
给学生
- 标签稀缺又昂贵；原始数据近乎无限。SSL 学的是无限的那部分。
- 诀窍：遮住数据的一部分再预测它——数据成了自己的答案。
- 要赢下猜谜游戏，就必须理解——而被复用的正是这份理解。
- ChatGPT 的预训练就是这个游戏，只是在数万亿个词上玩。
Para estudiantes
- Las etiquetas son escasas y caras; los datos crudos son casi infinitos. El SSL aprende de la parte infinita.
- El truco: esconder parte del dato y predecirla — el dato se vuelve su propia hoja de respuestas.
- Ganar el juego de adivinar obliga a entender — y esa comprensión es lo que se reutiliza.
- El preentrenamiento de ChatGPT es exactamente este juego, jugado sobre billones de palabras.
For engineers
- SSL = pretext task on unlabeled data → representation → linear probe or fine-tune downstream. Reach for pretrained checkpoints first; custom pretraining only with big in-domain unlabeled corpora.
- Two workhorse objectives: masked/next-step prediction (cross-entropy or MSE on the hidden part) and InfoNCE (a softmax over the batch: find your twin; τ sets hard-negative pressure).
- Know collapse: any "pull twins together" objective without an opposing force has a constant-map optimum. Negatives, stop-grad + predictor, or feature decorrelation are the standard escapes.
- Masking ratio tracks redundancy: ~15% text, ~75% images, ~90% video.
给工程师
- SSL = 无标注数据上的代理任务 → 表征 → 下游线性探测或微调。先找预训练权重；只有握着大规模领域内无标注语料时才自己预训练。
- 两个主力目标：掩码/下一步预测（在被遮部分上算交叉熵或 MSE）和 InfoNCE（批次上的 softmax：认出你的双胞胎；τ 决定难负样本的压力）。
- 认识坍缩：任何只有「把双胞胎拉近」而没有对抗力量的目标，都有常数映射的最优解。负样本、停止梯度 + 预测头、特征去相关是三种标准逃法。
- 遮挡率跟着冗余度走：文本约 15%，图像约 75%，视频约 90%。
Para ingenieros
- SSL = tarea pretexto sobre datos sin etiquetar → representación → sonda lineal o ajuste fino en la tarea final. Busca checkpoints preentrenados primero; preentrenamiento propio solo con grandes corpus del dominio.
- Dos objetivos de batalla: predicción enmascarada/del siguiente paso (entropía cruzada o MSE sobre lo oculto) e InfoNCE (un softmax sobre el lote: encuentra a tu gemelo; τ fija la presión de negativos difíciles).
- Conoce el colapso: todo objetivo de «juntar gemelos» sin fuerza opuesta tiene un óptimo de mapa constante. Negativos, stop-grad + predictor o decorrelación de rasgos son las escapatorias estándar.
- La tasa de enmascarado sigue a la redundancia: ~15 % texto, ~75 % imágenes, ~90 % vídeo.
For researchers — a reading path给研究者——一条阅读路线Para investigadores — una ruta de lectura
- Oord, Li & Vinyals, Representation Learning with Contrastive Predictive Coding (2018) — InfoNCE and its MI bound.InfoNCE 及其互信息下界。InfoNCE y su cota de información mutua.
- Chen et al., SimCLR (2020) + Wang & Isola, Alignment & Uniformity (2020) — the practice and the geometry; read them together.实践与几何；两篇一起读。la práctica y la geometría; léelos juntos.
- Grill et al., BYOL (2020) + Chen & He, SimSiam (2020) — the collapse mystery, stated by counterexample.用反例陈述的坍缩之谜。el misterio del colapso, enunciado por contraejemplo.
- He et al., Masked Autoencoders Are Scalable Vision Learners (2021) — generative SSL, rehabilitated by scale.被规模平反的生成式 SSL。SSL generativo, rehabilitado por la escala.
- Caron et al., DINO (2021) → Oquab et al., DINOv2 (2023) — self-distillation to production-grade features.从自蒸馏到生产级特征。de la autodestilación a rasgos de calidad de producción.
- Assran et al., I-JEPA (2023) + LeCun, A Path Towards Autonomous Machine Intelligence (2022) — the latent-prediction program.潜表征预测计划。el programa de predicción latente.
- Balestriero et al., A Cookbook of Self-Supervised Learning (2023) — the field, systematized; the best single survey.全领域的系统化梳理；最好的单篇综述。el campo, sistematizado; el mejor survey individual.