1/f 噪声与语意演化

Nothing rests; everything moves; everything vibrates.

—— The Principle of Vibration

1/f噪声与自组织临界性

1/f 噪声

1/f噪声的形式很简单，就是噪声的功率谱密度与频率 f 成反比。

$$ S(f) \propto \frac{1}{f^\alpha} $$

其中 $\alpha$ 接近1，直观看就是f越大，功率谱密度就越小。

1/f 噪声是一个很神奇的东西，它被认为可能与复杂系统中的自组织和长程关联有关。1/f 噪声可以在许多复杂系统中被观察到，包括人类的认知过程（如记忆检索、反应时间）、心率、脑电波、自然河流流量、经济市场波动，甚至在音乐和艺术中。例如健康的心脏跳动并非是严格规律的，而是存在着 1/f 噪声模式的变异性，这种变异性反映了心脏对环境变化的灵活适应能力。

在这些系统中，1/f 噪声往往与自组织临界性、分形行为以及系统内部各组件之间的复杂相互作用有关。而这些相互作用的模式，有时被哲学性地解释为系统对自身历史以及环境的一种“记忆”。

许多研究都认为，自组织临界状态是产生 1/f 噪声的一种重要机制。

自组织临界性——沙堆模型

想象不断地往一个桌面上缓慢地、一次一粒地添加沙子。

• 一开始，沙子会堆积起来，形成一个小沙丘。
• 随着沙子的不断增加，沙丘会变得越来越陡峭。
• 当沙丘的某个局部达到临界斜度时，再添加一粒沙子，就会导致该位置的沙子滑落。
• 这个滑落的沙子可能会撞到其他沙子，引发更多的沙子滑落，从而形成一场“雪崩”。
• 这些雪崩的规模大小各不相同，可能是只滑落几粒沙子的微小事件，也可能是导致整个沙丘系统性崩塌的巨大事件。
• 系统会自发地保持在临界斜度附近，即临界状态。当发生雪崩后，沙堆的斜度会暂时降低，但随着新的沙粒不断加入，沙堆又会回到临界状态，如此循环往复。

这整个过程的关键在于，不需要刻意去调整沙子的添加速度或沙丘的斜度。系统本身通过沙子之间的相互作用，可以自发地演化到了这种临界状态。

自组织临界性提供了一个解释 1/f 噪声起源的理论框架，以上述过程为例：当不断地往沙堆中添加沙粒，沙堆会自发地进入一个临界状态。在这个状态下，微小的扰动（一粒沙子）可能会引发不同规模的雪崩。其中：

• 小雪崩：发生频繁，规模小。
• 大雪崩：发生罕见，规模大。

这些雪崩事件的规模大小遵循幂律分布，即事件发生的频率与其规模大小的负指数次方成正比。

这种幂律分布的事件序列，如果作为信号，来分析其功率谱，通常会呈现出 1/f 噪声的统计特征。换句话说，自组织临界系统中，由各种规模的事件（雪崩）所产生的动态行为，其频率-能量关系恰好符合 1/f 噪声的模式。

语言作为一个活的、动态演化的系统

某个语言的所有使用者的所有交互，会导致的语言语义的动态流动，把这个整体看作是一个庞大的系统。在这个系统中，单词的频率以及更复杂的语义流动，都可以被认为是符合 1/f 噪声的特征。

沙堆模型的类比

可以用自组织临界性的沙堆模型来类比语言的动态演化：

• 沙粒：单个单词、短语或新的概念。
• 沙堆：整个语言系统，包含所有单词、语法、文化背景和语意关联。
• 添加沙粒：代表人们在日常交流中不断使用和创造新的语言表达。
• 临界斜度：语言系统的一种”平衡状态“，在这个状态下，人们能高效地交流，语言既稳定又具备一定可塑性。

在交流过程中，语言系统会不断地积累”压力“或”能量“。例如：

• 某个新词（比如“emo”、“下头”）被频繁使用，导致其在语言系统中的地位上升。
• 某个旧词因为不再被使用而逐渐被遗忘。
• 某个概念的演变（如“呵呵”这个词语意的变化）。

当这种“压力”达到临界点时，就会引发一场“语意雪崩”。这种“雪崩”可以是小规模的，比如某个俚语在一小群人中流行起来；也可以是大规模的，比如某个新词突然通过互联网病毒式传播，一夜之间成为全民热词。

这种语意雪崩的规模大小是不一样的，但它们的发生频率符合幂律分布：

• 大量的小事件：指每天都在发生的各种小规模的语意变化，比如朋友之间创造的内部笑话或特定群体的俚语。这些变化的影响范围有限，持续时间也短。
• 极少数的大事件：指那些能深刻影响整个语言的重大语意变化，比如莎士比亚创造的新词、互联网术语的大规模普及，或者某个历史事件对某些词语赋予了新的语意。

当我们将这种遵循幂律分布的语意事件序列作为信号来分析时，其功率谱密度就会呈现出 1/f 噪声的特征。

• 低频成分（缓慢的变化）：对应那些缓慢而深刻的语意演变，这些变化在很长一段时间内持续影响着整个语言系统。
• 高频成分（快速的变化）：对应那些每天发生的大量小规模的语意波动，它们来得快，去得也快，对整个语言的影响微乎其微。

更换语言圈

更换语言圈会发生三件事：打破语意临界状态、避免1/f噪声的循环、语意粒度的重构。

打破语意临界状态

在一个特定的语言圈（例如一个国家），对某个问题的讨论往往会形成一个相对稳定的语意临界状态。在这个状态下，某些词汇和概念被赋予了固定的偏见或情感色彩，成为了“不可撼动”的沙粒。

• 沙堆：是这个语言圈内关于某个问题的集体认知。
• 临界斜度：是这个群体在讨论时的思维定式和情绪强度。
• 沙粒：是人们使用的特定词汇和表述，例如带有强烈褒贬色彩的术语。

当整个社会对某个问题陷入疑惑或偏见时，意味着这个“沙堆”已经达到了一种失衡的临界状态。任何试图用内部语言体系（即该语言圈的固有词汇和表达）来解决问题的尝试，都可能因为这些词汇所固有的偏见而触发一场“语意雪崩”——不是带来新的理解，而是引发更大的争吵和情绪对立。

换一个语言圈，就相当于直接将讨论从一个失衡的沙堆转移到了一个全新的、未被污染的桌面上。新的语言体系没有被旧的偏见和情绪所固化，词汇和概念的关联是中性的，使得人们可以从更基础、更理性的层面重新构建对问题的理解。这种切换有效地打破了旧有的语意临界状态，为全新的、健康的讨论提供了可能。

避免1/f噪声的循环

自组织临界系统的动态行为常常表现为 1/f 噪声。在语言圈中，这种噪声体现为：

• 低频成分：那些根深蒂固、长久存在的偏见和认知偏差。这些偏见如同低频信号，能量巨大，难以被轻易改变。
• 高频成分：日常的小争论和新观点的短暂出现，它们来得快，去得也快，对核心偏见影响不大。

当一个社会陷入普遍疑惑和偏见时，其讨论的动态过程就陷入了1/f噪声的循环。人们反复争论那些核心的、低频的偏见，无法产生突破性的进展。任何试图引入新观点（高频信号）的尝试，都会被强大的低频偏见所淹没，无法形成有效的信息流。换一个语言圈，意味着脱离了这个固有的噪声场。新的语言体系没有承载同样的低频偏见，这使得新的、理性的观点能够被清晰地表达和接收。

语意粒度的重构

不同的语言体系在语意粒度上存在差异。一个语言圈在某个问题上陷入偏见，可能是因为其语言体系在表达相关概念时，缺乏精细化的词汇或表述，导致人们只能用粗糙的、带偏见的词语来讨论。

例如，一个语言可能只有“好”和“坏”这样的二元对立词汇，而另一个语言则有十几种描述不同程度和类型的“好”与“坏”的词汇。当使用前者讨论复杂问题时，人们很容易陷入非黑即白的偏见，而在后者中，则能更精细地捕捉到问题的复杂性。

换一个语言圈，可能就是换一套更精细、更中性的语意工具。这让人们得以重新审视问题的各个侧面，摆脱原先语言工具的局限性，从更中立、更细致的视角进行分析。

历史上文明层面的认知重构

当你用母语思考一个问题时，你所使用的每一个词汇都承载着你个人过去的情感、经历和社会文化背景。这些词汇在你脑中形成的“语意沙堆”是高度个人化的，充满了低频的偏见和情绪。如果想要改变，用其他语言来写日记往往会带来意想不到的突破。

而在文明层面，没有办法直接换一个语言圈，但是可以通过大量翻译外国书籍来打破旧的语意临界状态，从而解决普遍的社会困境和认知偏见。

例如魏晋南北朝的佛经翻译，汉代以后，中国思想界以儒学为主，思想体系相对稳定，但是到了魏晋南北朝，旧有的儒学无法解决动荡社会所带来的普遍性精神困惑，人们普遍陷入迷茫，“死便埋我”的消极被视作旷达。这就是一个语意临界状态。

这时，大量的印度佛经被翻译成中文。佛经带来了全新的宇宙观、生命观和哲学关联，给汉语带来了大量新词汇，如“世界”、“空”、“有”、“因果”、“轮回”等，这些概念在当时中文语境是完全陌生的。起初的翻译很生硬，但随着时间的推移，翻译家和文人对这些概念进行了语意本地化。他们借用老庄玄学等本土词汇来解释佛学，在两种语言体系的碰撞与融合中，创造了大量新的词汇、文学形式和思想流派。这就像是新沙粒不断加入旧沙堆，最终引发了巨大的“语意雪崩”，彻底改变了中国的思想版图。这个过程为中国文学注入了前所未有的想象力和深度，最终促成了唐宋文学在题材、形式和思想上的全面爆发。

例如新文化运动，其核心是白话文运动，在此之前中国的书面语言文言文就是那个“语意沙堆”，每一个文言词汇和典故，都带有强烈的历史和文化负担，形成强大的“低频偏见”，任何试图用文言文讨论“民主”和“科学”的尝试，都会被文言文自带的语意惯性所困，难以形成新的、独立的思考。白话文的引入，就像是“换了一个语言圈”。它是一种全新的、贴近口语的语意工具，没有文言文的包袱。这使得陈独秀、胡适等知识分子能够直接用白话文表达西方世界的“德先生”（民主）和“赛先生”（科学），这些新概念在文言文中是难以清晰、中立地表达的。这为之后的思想解放和革命运动奠定了基础。

又例如，巴金说自己是”为了革命而翻译“。巴金等人通过翻译俄国和西方的文学作品，引入了“革命”、“无政府主义”等全新的概念。这些概念在当时的中文语境中几乎是空白的。这些翻译作品不仅仅是文字的转换，更是将一种全新的社会结构、阶级矛盾和个人反抗的思想植入到中文语境中。这种全新的语意工具，使得中国青年能够清晰地理解“反抗”、“自由”和“革命”的意义，并将其作为自己行动的指南。这种翻译行为，是主动地创造了一个新的语言圈，让人们得以逃离旧的语意困境，用新的语意工具来思考和行动。

训练LLM的Scaling Laws的一种解释

可以将LLM的训练过程看作是构建一个巨大的、复杂的语意沙堆。

• 沙粒：就是训练数据中的每一个词汇、短语、句子和上下文。
• 沙堆的构建：是LLM通过海量数据不断学习和调整内部参数的过程，其目的就是构建一个能够准确预测下一个词的概率模型。这个模型本质上就是对整个训练语料库的语意结构进行压缩和编码。

在这个过程中，LLM首先学习的是数据中的低频部分，如那些在大量文本中反复出现的、构成语言基础的模式。例如，语法结构（主谓宾）、常用词汇（“的”、“是”、“我”）、以及一些普世的、约定俗成的概念（“太阳是热的”、“天空是蓝的”）。这些构成了一个语言的核心语意沙堆，是LLM最先学习到的稳定且强大的部分。

随着训练数据的不断增加，LLM开始接触到更多精妙、细微、高频的语意。即学到那些在特定领域、特定语境或特定文化中才出现的、不那么普遍的表达。例如，文学作品中的比喻和象征、科学论文中的精确术语、网络俚语中的即时流行表达，或者某个专业领域中特有的“黑话”。

总结

1/f 噪声和自组织临界性可以用于理解世间万物的动态平衡。它告诉我们，无论是沙丘的堆积、心脏的跳动，还是语言的演化，这些复杂系统并非静止不变，而是在临界状态中不断自我调整。

这里只是将这一框架应用于语言，看到语言本身就是一个活的、动态演化的沙堆。日常的交流是不断添加的沙粒，而“新词”、“旧词”和“语意变化”则是沙丘上的起伏。当一个社会或个人陷入某种普遍困境时，旧有的语言体系可能已经形成了失衡的“语意沙堆”，充满了难以撼动的“低频偏见”。此时，更换一个语言圈，就像是直接将沙堆转移到一张新桌面上，彻底打破旧的临界状态。

事实上，意识系统也可以被这样看待，进而可以用来理解很多玄学。（待续）