大數(shù)據(jù)漢語(yǔ)分詞：靈玖NLPIR數(shù)據(jù)挖掘技術(shù)

時(shí)間：2016-10-12作者：靈玖中科軟件（北京）有限公司瀏覽：137

    數(shù)據(jù)挖掘(Data Mining)，又稱(chēng)為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)(Knowledge Discovery in Database, KDD)，就是從大量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、較終可理解的模式的非平凡過(guò)程，簡(jiǎn)單的說(shuō)，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中提取或“挖掘”知識(shí)。
NLPIR數(shù)據(jù)挖掘技術(shù)的任務(wù)主要是關(guān)聯(lián)分析、聚類(lèi)分析、分類(lèi)、預(yù)測(cè)、時(shí)序模式和偏差分析等。
⑴關(guān)聯(lián)分析(association analysis)
關(guān)聯(lián)規(guī)則挖掘是由rakesh apwal等人首先提出的。兩個(gè)或兩個(gè)以上變量的取值之間存在某種規(guī)律性，就稱(chēng)為關(guān)聯(lián)。數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫(kù)中存在的一類(lèi)重要的、可被發(fā)現(xiàn)的知識(shí)。關(guān)聯(lián)分為簡(jiǎn)單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)和因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫(kù)中隱藏的關(guān)聯(lián)網(wǎng)。一般用支持度和可信度兩個(gè)閥值來(lái)度量關(guān)聯(lián)規(guī)則的相關(guān)性，還不斷引入興趣度、相關(guān)性等參數(shù)，使得所挖掘的規(guī)則較符合需求。 
⑵聚類(lèi)分析(clustering)
聚類(lèi)是把數(shù)據(jù)按照相似性歸納成若干類(lèi)別，同一類(lèi)中的數(shù)據(jù)彼此相似，不同類(lèi)中的數(shù)據(jù)相異。聚類(lèi)分析可以建立宏觀的概念，發(fā)現(xiàn)數(shù)據(jù)的分布模式，以及可能的數(shù)據(jù)屬性之間的相互關(guān)系。
⑶分類(lèi)(classification)
分類(lèi)就是找出一個(gè)類(lèi)別的概念描述，它代表了這類(lèi)數(shù)據(jù)的整體信息，即該類(lèi)的內(nèi)涵描述，并用這種描述來(lái)構(gòu)造模型，一般用規(guī)則或決策樹(shù)模式表示。分類(lèi)是利用訓(xùn)練數(shù)據(jù)集通過(guò)一定的算法而求得分類(lèi)規(guī)則。分類(lèi)可被用于規(guī)則描述和預(yù)測(cè)。
⑷預(yù)測(cè)(predication)
預(yù)測(cè)是利用歷史數(shù)據(jù)找出變化規(guī)律，建立模型，并由此模型對(duì)未來(lái)數(shù)據(jù)的種類(lèi)及特征進(jìn)行預(yù)測(cè)。預(yù)測(cè)關(guān)心的是精度和不確定性，通常用預(yù)測(cè)方差來(lái)度量。
⑸時(shí)序模式(time-series pattern)
時(shí)序模式是指通過(guò)時(shí)間序列搜索出的重復(fù)發(fā)生概率較高的模式。與回歸一樣，它也是用己知的數(shù)據(jù)預(yù)測(cè)未來(lái)的值，但這些數(shù)據(jù)的區(qū)別是變量所處時(shí)間的不同。
⑹偏差分析(deviation)
在偏差中包括很多有用的知識(shí)，數(shù)據(jù)庫(kù)中的數(shù)據(jù)存在很多異常情況，發(fā)現(xiàn)數(shù)據(jù)庫(kù)中數(shù)據(jù)存在的異常情況是非常重要的。偏差檢驗(yàn)的基本方法就是尋找觀察結(jié)果與參照之間的差別。


靈玖中科軟件（北京）有限公司專(zhuān)注于大數(shù)據(jù)開(kāi)發(fā),大數(shù)據(jù)搜索與挖掘,大數(shù)據(jù)中文分詞等

• 詞條

  詞條說(shuō)明

• 大數(shù)據(jù)文本分析：靈玖自然語(yǔ)言中文語(yǔ)義分詞系統(tǒng)

  自然語(yǔ)言通常是指一種自然地隨文化演化的語(yǔ)言。英語(yǔ)、漢語(yǔ)、日語(yǔ)為自然語(yǔ)言的例子，而世界語(yǔ)則為人造語(yǔ)言，即是一種為某些特定目的而創(chuàng)造的語(yǔ)言。 自然語(yǔ)言具備兩個(gè)屬性：語(yǔ)言屬性與自然屬性?！罢Z(yǔ)言”屬性表現(xiàn)為公認(rèn)的某些約定俗成的內(nèi)在規(guī)律性;“自然”屬性是說(shuō)并不存在某個(gè)人為制造的、嚴(yán)格的語(yǔ)法規(guī)則體系來(lái)約定人們的語(yǔ)言表達(dá)方式，這是和程序設(shè)計(jì)語(yǔ)言大相徑庭的。自然語(yǔ)言需要遵循一定的內(nèi)在規(guī)律，但較大程度上是“存在即

• Nlpir Parser搜索挖掘平臺(tái)智能過(guò)濾敏感信息

  隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和普及,人們可以在網(wǎng)絡(luò)上獲得各種信息,怎樣防止青少年接觸到不健康內(nèi)容是一個(gè)嚴(yán)肅的社會(huì)問(wèn)題。要防止不健康、無(wú)用內(nèi)容的蔓延,除了從法律角度采取措施外,從技術(shù)角度考慮的網(wǎng)絡(luò)過(guò)濾技術(shù)是一種有效的手段。 目前網(wǎng)絡(luò)的信息過(guò)濾技術(shù)主要有三種,它們是基于URL過(guò)濾方式、基于文本的過(guò)濾方式和基于圖像內(nèi)容的過(guò)濾方式。這幾種過(guò)濾技術(shù)各有優(yōu)劣,有的實(shí)現(xiàn)比較簡(jiǎn)單,有的具有較廣泛的適應(yīng)性,有的效率高

• 敏感信息LJKeyScanner過(guò)濾系統(tǒng)的市場(chǎng)應(yīng)用

  當(dāng)今時(shí)代是互聯(lián)網(wǎng)時(shí)代，互聯(lián)網(wǎng)作為這個(gè)時(shí)代的主題使得這個(gè)時(shí)代具有資源共享性和信息傳播性的特點(diǎn)，給人們的生活帶來(lái)了便利。網(wǎng)絡(luò)在為人們認(rèn)識(shí)世界帶來(lái)便利的同時(shí)也為有害信息的廣泛傳播提供了便捷且廣泛的途徑。人們?cè)谙硎芑ヂ?lián)網(wǎng)帶來(lái)的便利的同時(shí)，也常常會(huì)受到一些非法信息的滋擾。因此信息安全問(wèn)題對(duì)于維護(hù)網(wǎng)絡(luò)環(huán)境的健康有著十分重要的意義。 目前網(wǎng)絡(luò)的過(guò)濾技術(shù)主要有三種,它們是基于URL過(guò)濾方式、基于文本的過(guò)濾方式和

• NLPIR大數(shù)據(jù)語(yǔ)義系統(tǒng)文本數(shù)據(jù)分析挖掘平臺(tái)

  近年來(lái)，隨著Internet?的迅猛發(fā)展以及人們利用信息技術(shù)生產(chǎn)和搜集數(shù)據(jù)能力的大幅度提高，大規(guī)模的網(wǎng)絡(luò)文本庫(kù)不斷涌現(xiàn)。為了便于在海量文本庫(kù)中搜尋、過(guò)濾、管理這些文本，基于人工智能技術(shù)的文本自動(dòng)分類(lèi)方法成為人們研究的焦點(diǎn)。 數(shù)據(jù)挖掘技術(shù)本身就是當(dāng)前數(shù)據(jù)技術(shù)發(fā)展的新領(lǐng)域,文本挖掘則發(fā)展歷史較短。傳統(tǒng)的信息檢索技術(shù)對(duì)于海量數(shù)據(jù)的處理并不盡如人意,文本挖掘便日益重要起來(lái),可見(jiàn)文本挖掘技術(shù)是從信息抽取以