자연어란? ) 자연어란 우리가 일상생활에서 사용하는 언어이다. 자연어처리란 이러한 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일을 말한다. 자연어처리는 음성인식, 내용요약, 번역, 사용자의 감성분석, 텍스트분류작업,질의응답시스템,챗봇 같은 곳에서 사용되는 분야임. 최근 딥 러닝의 뛰어난 성능이 괄목할만한 성과를 얻으면서, 인공지능이 IT 분야의 중요 키워드로 떠오르고 있습니다. 자연어 처리는 기계에게 인간의 언어를 이해시킨다는 점에서 인공지능에서 가장 의미있는 연구 분야이면서도 아직도 정복되어야 할 산이 많은 분야이다. 언어 모델이란?) 언어모델이란 단어 시퀀스에 확률을 할당하는 모델을 말함. 어떤 문장들이 있을 때, 기계가 이 문장은 적절하다고 사람처럼 판단할 수 있다면 기계의 자연어 처..

위 논문은 자연어 처리에서 성별 편향을 완화하기 위한 연구에 대한 문헌 고찰을 다루고 있습니다. 논문은 성별 편향이 자연어 처리 모델에서 어떻게 발생하며 어떤 영향을 미치는지를 조사하고, 이를 완화하기 위한 다양한 방법과 기술을 살펴보고 있습니다. 논문은 성별 편향이 자연어 처리 모델의 훈련 데이터, 특성 선택, 알고리즘 선택 등 다양한 요소에서 발생할 수 있다는 점을 강조하고 있습니다. 이에 따라 데이터 수집과 전처리, 모델 구성, 평가 지표 등을 다루며, 성별 편향을 완화하기 위한 다양한 기술과 접근 방식에 대해 정리하고 있습니다. 논문은 성별 편향이 문제로 인식되는 이유와 그로 인한 사회적 영향, 그리고 성별 편향을 완화하기 위한 연구의 중요성을 강조하고 있습니다. 이를 통해 자연어 처리 모델이 공..

뉴스는 가장 대중적이고 파급력이 강력한 매스미디어이며, 여론형성에 큰 영향을 주기 때문에 기사는 중립적인 입장에서 작성해야 함. 하지만 최근 몇 년 동안 뉴스 기사의 조회수와 수익을 늘리고자 왜곡된 사실을 전하거나 자극적인 내용으로 구성된 경우가 많아지고 있음. 수많은 뉴스 중 제목만 보고 클릭하게 되는 포털의 특성상, 이런 현상은 편향된 정보만 소비하게 되는 '필터 버블'을 일으킴 포털 이용자의 필터버블은 한국 언론이 여론을 형성하는 역할로서 권력자와 맺어진 유대관계에 매우 종속적인 성격을 보인다는 성격을 보인다는 성질과 맞물려 더욱 심해짐. 뉴스 기사의 편향성 분석은 크게 코드북과 같이 미리 정해져 있는 규칙에 따라 분석하는 '내용 분석' 기법과 기사에서 무슨 정보가 어떻게 제공되는지를 분석하는 '프..

어텐션 메커니즘이란 신경망들의 성능을 높이기 위한 메커니즘이자, 이제는 AI 분야에서 대세 모듈로서 사용되고 있는 트랜스포머의 기반된다. 앞서 배운 seq2seq 모델은 인코더에서 입력 시퀀스를 컨텍스트 벡터라는 하나의 고정된 크기의 벡터 표현으로 압축하고, 디코더는 이 컨텍스트 벡터를 통해서 출력 시퀀스를 만들어냈습니다. 하지만 이러한 RNN에 기반한 seq2seq 모델에는 크게 두 가지 문제가 있습니다. 첫째, 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니까 정보 손실이 발생합니다. 둘째, RNN의 고질적인 문제인 기울기 소실(vanishing gradient) 문제가 존재합니다. 결국 이는 기계 번역 분야에서 입력 문장이 길면 번역 품질이 떨어지는 현상으로 나타났습니다. 이를 위한 대안으..

NLP - Natural Language Processing 자연어처리는 인공지능의 한 분유로서 머신러닝을 사용하여 텍스트와 데이터를 처리하고 해석합니다. 기계번역은 정답이 하나가 아님. 여러가지라고 가정을 하고 출발함. 단어 또는 형태소를 기계가 이해할 수 있도록 표현하는 것, 기계는 오직 숫자로만 입력을 받아야 함. word-embedding 방식과 one-hot encoding 방식이 존재함. 분포가설 distributional hypothesis: 비슷한 맥락에 등장하는 단어들은 유사한 의미를 지니는 경향이 있음. 'Context'(문맥) 이란 무엇인가? - 자신 단어 이외의 말뭉치에서 나타나는 단어를 뜻함 Context Windo(문맥 창) CBOW (연속 bag-of-words) 모델 - 문맥..