분류 전체보기11 Show and Tell: A Neural Image Caption Generator 논문 링크 : https://arxiv.org/abs/1411.4555 Show and Tell: A Neural Image Caption GeneratorAutomatically describing the content of an image is a fundamental problem in artificial intelligence that connects computer vision and natural language processing. In this paper, we present a generative model based on a deep recurrent architecture that comarxiv.org 01 Abstract이미지의 내용을 설명하는 모델을 개발하는 연구에 대해서 설명하.. 2024. 7. 8. [NLP #3] Transformers Embedding: Transformer (2017) 3. 문장의 맥락을 파악해보자 문장 내 단어들의 관계 특성, 문장 내 중요한 단어를 고려한 배열을 생성하는데, 배열 생성을 조금씩 다른 방식으로 수십 번을 수행한 후 이를 합하여 문장을 배열로 나타낸다. 보통 위 과정을 1회에 끝내지 않고, 배열 생성 방식 자체를 또 수십 번 반복하여 최종적인 문장 배열을 생성한다. 2017년 이후 가장 좋은 성능을 내는 언어모델은 모두 이 transformer를 기반으로 하고 있다. Transfer Learning Transfer learning: 미리 대량의 텍스트로 언어 모델을 한 번 학습해 두고(pre-training), 이 결과값에 관심있는 task에 적합한 모델을 붙여 다양한 문제를 푸는 모델을 만들어 보자.. 2024. 2. 5. [NLP #2] Word2Vec & Fasttext & Doc2Vec Embedding: Word2Vec (2013) 2. 주변 맥락으로 단어를 표현해 보자 주변 단어가 비슷한 단어들은 배열이 유사해 질 것. (즉, 유사 단어끼리 유사한 배열을 가질 수 있다.) 배열은 단어의 주변 맥락을 표현한다. 이를 더하고 뺌으로써 단어 사이의 관계를 파악할 수 있다. ★ 단점 동음이의어를 구분할 수 없다. 우리는 말을 보며 말을 나눴다 → 말을 이라는 단어의 배열에는 horse와 mouth의 맥락이 혼재된다. 전혀 관계 없더라도 주변 단어가 비슷하면 비슷하게 임베딩 된다. 오늘 __ 갔다 → '학교, 서울, 그곳에' 등 무관한 단어가 비슷하게 표현된다. 단어 단위로 학습하다 보니 문장 단위의 맥락을 이해하지 못한다. 어제 식당에서 친구를 만났다. 거기서 함께 밥을 먹었다. → 거기서.. 2024. 2. 5. [NLP #1] 인공지능 동향, Bag of words와 TFIDF, 문서 유사도 분석 인공지능 동향 Introduction 자연어 처리는 2018년 BERT가 나오며 10% 이상의 성능향상(위의 GLUE score로 기준)을 이루었고, 지금은 그로부터 또 10% 이상의 성능향상을 이루었다. 이 과정에서 발생한 대부분의 연구 과정과 결과는 인터넷 상에 공개되어 있다. 연구 진행속도가 매우 빠르기에 쉽게 사용할 수 있도록 오픈소스화 되지 않은 연구는 학계에서 널리 퍼지기 어렵다. 오픈소스 코드는 도서관의 영어책과 같다. 누구나 도서관에 가서 읽을 수 있도록 되어있지만, 소수의 사람만이 책을 읽고 활용한다. 99%의 정확도로 task를 수행할 수 있다면 학계에서는 좋은 모델로 인정받을 수 있다. 하지만 100번에 1번 틀리는 서비스는 좋은 서비스가 될 수 없다. Artificial Intell.. 2024. 2. 5. 이전 1 2 3 다음
