NLPIR語(yǔ)義分析平臺(tái)為中文分詞開(kāi)創(chuàng)新途徑

時(shí)間：2019-04-11作者：靈玖中科軟件（北京）有限公司瀏覽：264

　　伴隨著計(jì)算機(jī)的日益普及，互聯(lián)網(wǎng)的迅猛發(fā)展，文本的數(shù)量(電子郵件、新聞、網(wǎng)頁(yè)、科技論文等)在不停的增長(zhǎng)，因而對(duì)文本作智能化處理以獲取所需信息的需求日益迫切。在這樣的社會(huì)需求下，自然語(yǔ)言處理技術(shù)的地位和作用日益重要。經(jīng)過(guò)幾十年的研究，計(jì)算機(jī) 處理自然語(yǔ)言的理論基礎(chǔ)日趨成熟，應(yīng)用范圍也越來(lái)越廣，初步形成了面向各種不同應(yīng)用和研究的技術(shù)體系。分詞作為自然語(yǔ)言處理的* 一個(gè)步驟，是其他高層應(yīng)用的基礎(chǔ)，起著較其重要的作用。
　　分詞是中文信息處理的基礎(chǔ)，在漢語(yǔ)文本分類(lèi)、文獻(xiàn)標(biāo)引、職能檢索、自然語(yǔ)言理解與處理等應(yīng)用中，首先都要對(duì)中文文本進(jìn)行分詞處理。從分詞的基礎(chǔ)理論出發(fā)，對(duì)近年來(lái)的漢語(yǔ)分詞的研究方法與成果進(jìn)行了綜合論述，分析了現(xiàn)有分詞方法的特點(diǎn)，提出了把神經(jīng)網(wǎng)絡(luò)和*系統(tǒng)結(jié)合起來(lái)建立集成式漢語(yǔ)自動(dòng)分詞系統(tǒng)的構(gòu)想。
　　北京理工大學(xué)大數(shù)據(jù)搜索與挖掘?qū)嶒?yàn)室張華平主任研發(fā)的NLPIR大數(shù)據(jù)語(yǔ)義智能分析技術(shù)是滿足大數(shù)據(jù)挖掘?qū)φZ(yǔ)法、詞法和語(yǔ)義的綜合應(yīng)用。NLPIR大數(shù)據(jù)語(yǔ)義智能分析平臺(tái)是根據(jù)中文數(shù)據(jù)挖掘的綜合需求,融合了網(wǎng)絡(luò)精準(zhǔn)采集、自然語(yǔ)言理解、文本挖掘和語(yǔ)義搜索的研究成果,并針對(duì)互聯(lián)網(wǎng)內(nèi)容處理的全技術(shù)鏈條的共享開(kāi)發(fā)平臺(tái)。
　　NLPIR大數(shù)據(jù)語(yǔ)義智能分析平臺(tái)十三大功能：
　　精準(zhǔn)采集：對(duì)境內(nèi)外互聯(lián)網(wǎng)海量信息實(shí)時(shí)精準(zhǔn)采集，有主題采集(按照信息需求的主題采集)與站點(diǎn)采集兩種模式(給定網(wǎng)址列表的站內(nèi)**采集功能)。
　　文檔轉(zhuǎn)化：對(duì)doc、excel、pdf與ppt等多種主流文檔格式，進(jìn)行文本信息轉(zhuǎn)化，效率達(dá)到大數(shù)據(jù)處理的要求。
　　新詞發(fā)現(xiàn)：從文本中挖掘出新詞、新概念，用戶可以用于專(zhuān)業(yè)詞典的編撰，還可以進(jìn)一步編輯標(biāo)注，導(dǎo)入分詞詞典中，提高分詞系統(tǒng)的準(zhǔn)確度，并適應(yīng)新的語(yǔ)言變化。
　　批量分詞：對(duì)原始語(yǔ)料進(jìn)行分詞，自動(dòng)識(shí)別人名地名機(jī)構(gòu)名等未登錄詞，新詞標(biāo)注以及詞性標(biāo)注。并可在分析過(guò)程中，導(dǎo)入用戶定義的詞典。
　　語(yǔ)言統(tǒng)計(jì)：針對(duì)切分標(biāo)注結(jié)果，系統(tǒng)可以自動(dòng)地進(jìn)行一元詞頻統(tǒng)計(jì)、二元詞語(yǔ)轉(zhuǎn)移概率統(tǒng)計(jì)。針對(duì)常用的術(shù)語(yǔ)，會(huì)自動(dòng)給出相應(yīng)的英文解釋。
　　文本聚類(lèi)：能夠從大規(guī)模數(shù)據(jù)中自動(dòng)分析出熱點(diǎn)事件，并提供事件話題的關(guān)鍵特征描述。同時(shí)適用于長(zhǎng)文本和短信、微博等短文本的熱點(diǎn)分析。
　　文本分類(lèi)：根據(jù)規(guī)則或訓(xùn)練的方法對(duì)大量文本進(jìn)行分類(lèi)，可用于新聞分類(lèi)、簡(jiǎn)歷分類(lèi)、郵件分類(lèi)、辦公文檔分類(lèi)、區(qū)域分類(lèi)等諸多方面。
　　摘要實(shí)體：對(duì)單篇或多篇文章，自動(dòng)提煉出內(nèi)容摘要，抽取人名、地名、機(jī)構(gòu)名、時(shí)間及主題關(guān)鍵詞;方便用戶快速瀏覽文本內(nèi)容。
　　智能過(guò)濾：對(duì)文本內(nèi)容的語(yǔ)義智能過(guò)濾審查，內(nèi)置國(guó)內(nèi)較全詞庫(kù)，智能識(shí)別多種變種：形變、音變、繁簡(jiǎn)等多種變形，語(yǔ)義精準(zhǔn)排歧。
　　情感分析：針對(duì)事先*的分析對(duì)象，系統(tǒng)自動(dòng)分析海量文檔的情感傾向：情感極性及情感值測(cè)量，并在原文中給出正負(fù)面的得分和句子樣例。
　　文檔去重：快速準(zhǔn)確地判斷文件集合或數(shù)據(jù)庫(kù)中是否存在相同或相似內(nèi)容的記錄，同時(shí)找出所有的重復(fù)記錄。
　　全文檢索：支持文本、數(shù)字、日期、字符串等各種數(shù)據(jù)類(lèi)型，多字段的高效搜索，支持AND/OR/NOT以及NEAR鄰近等查詢語(yǔ)法，支持維語(yǔ)、藏語(yǔ)、蒙語(yǔ)、阿拉伯、韓語(yǔ)等多種少數(shù)民族語(yǔ)言的檢索。
　　編碼轉(zhuǎn)換：自動(dòng)識(shí)別內(nèi)容的編碼，并把編碼統(tǒng)一轉(zhuǎn)換為其他編碼。
　　大數(shù)據(jù)挖掘已成為大數(shù)據(jù)技術(shù)較重要的應(yīng)用，它從大數(shù)據(jù)中提取、挖掘?qū)I(yè)務(wù)發(fā)展有**的、潛在的知識(shí)，找出趨勢(shì)，為決策層提供有力依據(jù)，對(duì)產(chǎn)品或服務(wù)發(fā)展方向起到積極作用，將有力推動(dòng)企業(yè)內(nèi)部的科學(xué)化、信息化管理。在信息管理領(lǐng)域，綜合應(yīng)用數(shù)據(jù)分析技術(shù)和人工智能技術(shù)，獲取用戶知識(shí)、文獻(xiàn)知識(shí)等各類(lèi)知識(shí)，將是實(shí)現(xiàn)知識(shí)檢索和知識(shí)管理發(fā)展的必經(jīng)之路。


靈玖中科軟件（北京）有限公司專(zhuān)注于大數(shù)據(jù)開(kāi)發(fā),大數(shù)據(jù)搜索與挖掘,大數(shù)據(jù)中文分詞等

• 詞條

  詞條說(shuō)明

• 九眼智能：網(wǎng)絡(luò)環(huán)境需要我們堅(jiān)守

  網(wǎng)絡(luò)已經(jīng)全面融入經(jīng)濟(jì)社會(huì)發(fā)展的各個(gè)領(lǐng)域，成為人們學(xué)習(xí)、工作、生活的新空間。數(shù)據(jù)顯示，中國(guó)網(wǎng)民規(guī)模已達(dá)7.31億，其中手機(jī)網(wǎng)民6.95億，增長(zhǎng)率連續(xù)三年**過(guò)10%。和人們的現(xiàn)實(shí)生活環(huán)境一樣，網(wǎng)絡(luò)空間同樣需要天朗氣清、生態(tài)良好。維護(hù)網(wǎng)絡(luò)安全，需要構(gòu)建網(wǎng)絡(luò)規(guī)則。 近年來(lái)，多部涉及互聯(lián)網(wǎng)的法律法規(guī)密集出臺(tái)，相關(guān)部門(mén)對(duì)網(wǎng)絡(luò)空間的治理不斷走向縱深，在不少市民看來(lái)，網(wǎng)絡(luò)空間建法立制才能筑牢安全基石。 “互聯(lián)網(wǎng)

• 文本語(yǔ)義敏感關(guān)鍵詞過(guò)濾*：LJKeyScanner

  在信息化高度發(fā)達(dá)的今天，互聯(lián)網(wǎng)已經(jīng)成為人們獲取信息，即時(shí)溝通的重要媒介之一，給人們工作生活帶來(lái)了很大的便利。但是由于其**性、開(kāi)放性、即時(shí)性的特點(diǎn)，互聯(lián)網(wǎng)也成為眾多信息傳播的重要途徑，與傳統(tǒng)媒體相比較為棘手。如何對(duì)互聯(lián)網(wǎng)進(jìn)行有效的管理，過(guò)濾其中的不良信息，凈化網(wǎng)絡(luò)環(huán)境成為苛待解決的問(wèn)題。 目前網(wǎng)絡(luò)中70%的信息是以文本形式存在，網(wǎng)頁(yè)文本過(guò)濾成為目前網(wǎng)絡(luò)監(jiān)控的較重要手段。文本過(guò)濾方法有很多，關(guān)鍵字

• 靈玖軟件榮獲“中國(guó)大數(shù)據(jù)較佳行業(yè)實(shí)踐案例”

  近期，**數(shù)據(jù)官聯(lián)盟舉行了“**屆大數(shù)據(jù)優(yōu)秀案例評(píng)選”的活動(dòng)，得到了**部門(mén)、傳統(tǒng)企業(yè)及大數(shù)據(jù)企業(yè)的一致認(rèn)可。本次評(píng)選活動(dòng)經(jīng)過(guò)兩個(gè)多月的收集和匯總，針對(duì)來(lái)自174家大數(shù)據(jù)企業(yè)提交的200多份大數(shù)據(jù)實(shí)施案例進(jìn)行了評(píng)選。經(jīng)聯(lián)盟*組按技術(shù)、創(chuàng)新和項(xiàng)目貢獻(xiàn)三個(gè)維度，評(píng)出23個(gè)垂直行業(yè)的優(yōu)秀案例，以及13個(gè)技術(shù)領(lǐng)域的技術(shù)創(chuàng)新獎(jiǎng)。靈玖軟件以“國(guó)家某單位敏感信息精準(zhǔn)搜索與實(shí)時(shí)智能掃描引擎”案例被評(píng)為“中國(guó)大

• NLPIR中文信息系統(tǒng)洞察挖掘行業(yè)發(fā)展趨勢(shì)

  進(jìn)入21世紀(jì)，面對(duì)網(wǎng)絡(luò)時(shí)代信息的爆炸式增長(zhǎng)，中文信息處理作為一項(xiàng)基礎(chǔ)性、普適特性的信息技術(shù)，面臨著挑戰(zhàn)和再次發(fā)展的機(jī)遇，在互聯(lián)網(wǎng)時(shí)代則顯示出其優(yōu)勢(shì)。它的開(kāi)發(fā)利用關(guān)系到我國(guó)今后信息產(chǎn)業(yè)乃至社會(huì)經(jīng)濟(jì)的發(fā)展和安全，具有巨大的經(jīng)濟(jì)**和社會(huì)**。 中文信息處理包括了有關(guān)中文信息的采集、存儲(chǔ)、傳輸和利用，是指利用電子計(jì)算機(jī)和現(xiàn)代通信、照明、排版、等自動(dòng)化技術(shù)對(duì)漢字信息進(jìn)行輸入輸出整理、加工、轉(zhuǎn)換、傳輸、復(fù)