最近好多朋友在后台问我，说想搞知识图谱，又觉得这东西太高大上，怕学不会。其实说真的，我当初也是这么想的。看了一堆文章，要么太理论，要么太零碎，根本不知道从哪下手。
后来我硬着头皮啃了一套课，才慢慢摸出门道来。今天就随便聊聊，顺便把这套东西分享出来，万一有谁需要呢，省得走弯路。
先说下这课的大概情况吧。它不像那种上来就给你讲什么“知识图谱是人工智能的重要分支”之类的废话，一上来就是实打实的操作。我记得开头就是讲知识图谱到底是个啥，应用场景有哪些，然后直接甩架构图，告诉你整个系统长什么样。这种感觉就很好，先让你心里有数，知道自己在搭个什么东西，而不是学了半天还在云里雾里。
然后就开始动手了。从Neo4j这个图数据库开始，讲怎么安装、怎么启动，还有那个APOC组件，这玩意儿挺重要的，相当于给Neo4j加了一堆实用工具。说实话我之前对图数据库完全没概念，以为就是存个节点和关系，结果发现里面门道还挺多。
比如Cypher这个东西，你可以理解成Neo4j的SQL，但它是专门用来查图数据的。我记得课里专门有好几节讲这个，从基础的创建实体关系、删除实体关系，到多维度关系查询、复杂查询，还有最短路径检索，基本上把常用的都覆盖了。当时我跟着敲了一遍，发现这东西还挺有意思的，查人物关系啊、资金链路啊，比传统SQL直观多了。
哦对了，还有索引那块，虽然就一节，但真的很实用。我之前自己瞎搞的时候从来不建索引，数据量一大就慢得要死，后来才知道索引有多重要。
学完基础操作之后，就开始搭风控模型了。这个部分我觉得是整套课最核心的东西之一，因为它把理论和实战结合得特别好。
一开始先讲逻辑回归的应用场景，然后慢慢引入分类问题、逻辑回归模型，告诉你为什么逻辑回归是线性分类器。这些概念听起来可能有点枯燥，但老师讲得挺清楚的，而且每讲完一个概念就会告诉你这在风控里到底有什么用。
后面讲到目标函数、最优化问题、梯度下降法，还有随机梯度下降法，说实话这部分我当时听了两遍才完全搞懂。但搞懂之后真的豁然开朗，原来那些看起来很高大上的算法，底层逻辑其实没那么复杂。
学完算法，就开始搭引擎了。从微服务架构开始，讲规则的存储、规则的开发，然后一步步写代码。我记得有一节专门讲pom文件配置，还有引擎入口开发，特别细。还有swagger配置开发，这个我之前一直想学但没找到好的教程，没想到在这里学到了。
最让我惊喜的是那个实时风控系统的搭建。它用到了Kafka做消息队列，从单点环境部署到集群环境部署都有讲，然后通过Java API实现消费者和生产者。还讲了怎么用Canal把MySQL的数据实时同步到Kafka里，这个方案我之前在网上找了好久都没找到完整的，这里居然有。
而且它不光讲怎么用，还讲了历史消息同步的解决方案，还有外网启动消费者的配置，这些细节真的只有实战过的人才会想到。我照着搭了一遍，虽然中间踩了不少坑，但最后跑通的那一刻，真的很有成就感。
说到数据同步，课里还专门花了不少时间讲数据同步引擎的开发，从配置文件加载到代码开发，一步步带着写。我当时就感叹，这要是让我自己摸索，估计得花好几倍的时间。
学完实时风控这部分，就开始进入知识图谱搭建的核心了——从非结构化数据到知识图谱。这个部分我觉得是最难的，但也是最精彩的。
它从文本分析的关键技术讲起，拼写纠错就讲了五节课，从原理到实现，特别细致。然后讲分词，不是那种简单介绍一下就完事，而是深入讲了两种不同的方法，还有词的过滤、Stemming词干提取，这些在英文文本处理里特别重要。
文本表示也讲了六节课，从最基础的one-hot到词向量，循序渐进。我当时学到这里的时候，才真正理解为什么同样的词在不同语境下会有不同的表示，之前一直似懂非懂的。
接下来就是重头戏了——命名实体识别。这个在知识图谱里太重要了，因为你要从文本里把人物、地点、机构这些实体抽出来，才能构建图谱。课里从命名实体识别的重要性讲起，然后讲评估方法、基于规则的方法、分类器方法，还讲了怎么用随机森林和CRF来构建命名实体识别分类器。
我记得有一节专门讲怎么抽取每个单词的特征，这个太实用了。因为很多时候算法效果不好，不是算法的问题，而是特征没做好。老师把每个特征的含义、怎么提取、为什么这么提取都讲得很清楚，学完之后感觉自己对特征工程的理解上了一个台阶。
实体识别完之后就是关系抽取，这个也是知识图谱的核心。课里讲了基于模板的方法、基于规则的方法、基于监督学习的方法，还有Bootstrap方法和Snowball方法。Snowball这部分讲得特别细，从Pattern Representation到模板生成、添加记录、模板评估、记录评估，每一步都有。
说实话我之前完全没听说过Snowball，学完之后才发现这个方法在关系抽取里这么经典。还有Distant-Supervision远程监督，这个在工业界用得特别多，因为标注数据太贵了，远程监督可以用已有的知识库来标注数据，大大降低成本。
学完关系抽取，就开始讲HanLP了。这个中文自然语言处理工具包真的很强大，从环境安装到交互式分词命令行，再到Demo运行和返回结果的数据类型，讲得很细。我当时跟着跑了一遍，发现中文分词比我想象中复杂多了，各种词性标注、命名实体识别，HanLP都帮你做好了。
然后就是基于模板匹配的关系提取，这个部分特别实战。老师带着你定义数据集和模板，然后写代码实现关系提取。我当时跟着写完，跑出自己的第一个关系抽取结果时，真的挺兴奋的。
后面还讲了实体消歧和实体统一，这两个在知识图谱里特别重要。比如“苹果”可能指水果，也可能指公司，怎么根据上下文判断？这就是实体消歧要解决的问题。课里讲了实体消歧的算法，还有实体统一的算法，都是很实用的内容。
指代消解也讲了，就是怎么判断“他”、“她”、“它”这些代词指代的是谁。这个在构建知识图谱的时候特别关键，因为如果指代搞错了，整个关系就乱了。
学完这些，就开始讲知识图谱搭建的流程和设计原则了。这个部分我觉得特别值，因为它不是讲技术细节，而是讲思路和方法论。
比如业务原则，就是告诉你怎么根据业务需求来设计图谱的结构。分析原则是告诉你图谱应该怎么组织才能方便后续分析。冗余原则是告诉你哪些信息可以冗余存储以提高查询效率，哪些不行。效率原则是告诉你在大数据量下怎么保证查询速度。
这些原则听起来好像很虚，但实际做项目的时候特别管用。我之前自己搭图谱的时候，就是没考虑这些，结果数据量一大，查询慢得要死，后来按照这些原则重新设计了一遍，性能提升了好几倍。
后面还讲了Spark的部分，从Scala环境安装、Spark集群环境安装，到RDD的基本操作、自定义图、图的基本操作，再到Spark连接Neo4j加载RDD，最后在集群中运行jar包。这部分对于处理大规模图数据特别重要，因为单机处理不了的时候，就得用分布式计算。
PageRank算法也讲了好几节，从起源和基本思想，到出入链关系、算法公式、图结构的对应关系，再到马尔科夫的概念和代码验证，最后用GraphX实现PageRank。这个算法在知识图谱里用得特别多，比如用来计算节点的重要性，在风控里可以用来识别关键人物或关键账户。
整套课学下来，我最深的感受就是它真的很“全”。从图数据库的基本操作，到机器学习算法，到实时数据同步，到自然语言处理，到知识图谱的设计原则，再到分布式计算，基本上把企业级知识图谱系统涉及到的所有技术都覆盖了。
而且它不是那种蜻蜓点水式的介绍，每个部分都讲得挺深的。比如拼写纠错讲了五节课，文本表示讲了六节课，PageRank也讲了好几节。这种深度对于真正想搞懂的人来说特别友好。
当然也有一些小遗憾。比如有些视频的录制质量不是特别好，声音有时候忽大忽小。还有个别章节的节奏稍微有点快，需要暂停下来反复看。但总的来说瑕不掩瑜，内容本身的质量是很高的。
我记得学到一半的时候，有一天晚上突然就很感慨。之前觉得知识图谱这东西离自己很远，是那些大厂才玩得转的技术。但学着学着发现，其实原理并不复杂，就是一堆技术组合在一起，关键是有人带着你走一遍。
就像搭乐高一样，每个小块单独看都不难，但怎么把它们拼成一个完整的系统，这个就需要经验了。而这套课就是那个有经验的人，告诉你先拼哪块、后拼哪块、哪些地方容易出错、哪些地方有更好的拼法。
我现在回头想想，如果让我自己从头摸索，光搞清楚需要学哪些技术就得花好几个月，更别说一个个去学了。有了这套课，相当于有了一张地图，你知道自己在学什么、为什么学、学完之后能干什么，这种感觉真的很好。
还有一点我特别想说的是，这套课不是那种“教你做个demo就完事”的类型。它是真的按照企业级的标准来教的，从微服务架构到分布式计算，从规则引擎到实时数据同步，都是工业界在用的方案。学完之后，你是真的可以拿这些技术去面试、去做项目的。
我记得课里还有个作业是搭建完整的实时风控系统，这个作业我做了大概两周，中间遇到了各种问题，但解决完之后对整个系统的理解完全不一样了。真的，看十遍不如自己动手做一遍。
如果你也想学知识图谱，我建议你按照这个顺序来：先把Neo4j和Cypher搞熟，然后学逻辑回归和风控模型，接着学Kafka和Canal做实时数据同步，再学自然语言处理那套东西，最后学Spark和图计算。这样学下来会比较顺，因为每个阶段都是下一个阶段的基础。
别一上来就啃最难的部分，那样很容易放弃。我当时就是先从图数据库开始，发现还挺好玩的，就有动力学下去了。然后慢慢深入到算法部分，虽然有点难，但因为前面已经投入了那么多时间，也不舍得放弃，就硬着头皮啃下来了。
啃完之后发现，其实也没那么难，就是需要花时间。而且很多概念是相通的，比如你学懂了逻辑回归，再学CRF就容易理解；你学懂了RDD，再学GraphX就觉得顺理成章。
最后说一下，这套课的资料还挺全的，有视频、有文档、有作业、有数据，基本上你需要的都有。视频总共一百多节，每节十几分钟到半小时不等，全部学下来大概需要一两个月吧，当然前提是你每天都能抽出时间学。
我觉得对于想入门知识图谱的人来说，这套课是个不错的选择。它不是最便宜的，但性价比很高，因为内容真的很扎实。而且学完之后，你不仅会搭知识图谱，还顺带学了实时数据处理、机器学习、自然语言处理这些相关技术，一举多得。
好了，今天就聊这么多吧。如果你也在学知识图谱，或者打算学，欢迎在后台跟我交流，说不定我能帮你少踩几个坑。毕竟我也是从零开始摸爬滚打过来的，知道新手最容易卡在哪些地方。
下次有空再聊聊我在实际项目里用知识图谱的一些经验，那个更有意思，因为实际项目里会遇到各种奇葩问题，跟教程里讲的完全不一样。不过那又是另一个故事了。
评论0