Python 103

2024-07-17 영상 화소처리, 평활화, 색공간, CLAHE, 정규화

1. 영상의 화소처리영상의 특정 좌표 픽셀값을 변경하여 출력 영상의 좌표 픽셀을 설정하는 모든 연산  🔴 밝기 조절: 영상을 전체적으로 밝게하거나 어둡게 하는 연산                 cv2.add(첫번째 영상, 두번째 영상)          cv2.substract(첫번째 영상, 두번째 영상)          cv2.multiply(첫번째 영상, 두번째 영상)          cv2.divide(첫번째 영상, 두번째 영상)          cv2.addWeighted (첫번째 영상, 알파값, 두번째 영상, 1-알파값, 감마값)          # 두 영상의 같은 위치에 존재하는 칙셀값에 대하여 가중합을 계산해서 결과 영상의 칙셀값으로 설정          cv2.absdiff(첫번째 영상, ..

2024-07-16 OpenCV 라이브러리

1. OpenCV 모듈     (Open Source Computer Vision Library) - 컴퓨터 비전과 이미지 처리를 위한 오픈소스 라이브러리- 1999년 Intel에서 영상처리 기술을 개발하기 위한 목적- 2000년 BSD 라이센스 배포- 2011년 이후 OpenCV2로 개발 시작 파이참 프로젝트 만들기더보기   ◼ opencv 모듈설치 , import                  pip install opencv-python   2. 이미지 출력하기  ⏺ 전체코드                      import cv2          # 그레이 스케일 영상          img = cv2.imread('./dog.bmp', cv2.IMREAD_GRAYSCALE)          pr..

2024-07-16 컴퓨터 비전

1. 컴퓨터 비전(Computer Vision)* 인공지능(AI)의 한 분야로, 컴퓨터와 시스템을 통해 디지털이미지, 비디오 및 기타 시각적 입력에서 의미있는 정보를 추출한 다음 이런 정보를 바탕으로 작업을 실행하고 추천할 수 있게 함  - AI -> 생각  - 컴퓨터 비전 -> 보기, 관찰, 이해   2. 데이터셋* 컴퓨터 비전 모델은 데이터 모음(일반적으로 이미지, 비디오 또는 기타 시각적 정보)를 학습* 데이터셋은 모델의 성능을 결정하는데 중요(양과 품질)* 데이터셋의 크기는 모델이 학습 중에 본 예제의 수를 타나내기 때문에 중요* 데이터셋의 품질은 주석이 잘못 지정되거나 레이블이 잘못 저장된 경우 모델의 성능에 많은 부정적 영향을 줄 수 있다.* 다양한 개체 변형의 존재, 조명조건, 배경 등을 포..

2024-07-12 PLM을 이용한 실습

1. NLI(Natual Language Inference) 실습- 두개의 문장(전제와 가설) 사이의 논리적 관계를 결정하는 자연어 처리 문제- 사이트 : https://huggingface.co/Huffon/klue-roberta-base-nli ◼ 설치하기               ! pip install transformers    ◼ import               from transformers import pipeline, AutoTokenizerpipeline: 자연어 처리 작업을 간단한 코드로 여러 작업을 한번에 지원AutoTokenizer: 자동으로 적절한 토크나이저를 선택하여 모델을 토큰화할 수 있음  ◼ 객체 만들기               classifier = pipeline..

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

https://arxiv.org/abs/1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingWe introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations from unlaarxiv.org BERT: Pre-training ..

Python/논문 2024.07.16

2024-07-11 자연어처리를 위한 모델 학습

1. 사전 학습(Pre-training) 원하는 자연어처리 작업을 수행하는 데이터셋으로 모델을 학습시키기 이전에 일반적인 데이터에 먼저 학습을 시키는 것사전학습은 대량의 자연어 코퍼스를 미리 학습하여, 자연어 코퍼스 안에 포함된 일반화된 언어 특성들을 모델의 파라미터 안에 함축하는 방법사전 학습한 모델의 parameter를 이용하여 모델을 초기화한 뒤(pre-training) 사전 학습된 모델을 실제 풀려고 하는 문제의 데이터에 학습시키는 것 보다 더 높은 성능을 가짐예) 컴퓨터 비전에선 엄청난 크기의 이미지 데이터인 ImageNet에 pre-train된 모델의 parameter를 가져와서 fine-tuning 하는 방법을 많이 사용하고 NLP에서는 GPT와 BERT를 시작으로 language model..

2024-07-05 문장 임베딩 | GPT

1. GPT(Generative Pre-Training)GPT모델은 2018년 6월에 OpenAI가 논문을 통해 처음 제안 논문1: http://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf 논문2: https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf논문2:  http://arxiv.org/abs/2005.14165GPT도 unlabeled data로 부터 pre-train을 진행한 후 특정 downstream task에 fine-tuning을 하는 모델Transformer의 decoder만 사용하는 구조 1. GPT 모델의 특징사전 학습에는 대규모..

Effective Approaches to Attention-based Neural Machine Translation

논문: https://arxiv.org/abs/1508.04025 Effective Approaches to Attention-based Neural Machine TranslationAn attentional mechanism has lately been used to improve neural machine translation (NMT) by selectively focusing on parts of the source sentence during translation. However, there has been little work exploring useful architectures for attention-based NMTarxiv.org Effective Approaches to Atten..

Python/논문 2024.07.04

2024-07-05 문장임베딩 | BERT

1. BERT(Bidiresctional Encoder Representations from Transformers)2018년도 google 에서 처음 제안한 모델로 Transformer의 인코더 기반의 모델논문 :  https://arxiv.org/abs/1810.04805참고 : https://wikidocs.net/109251 17. BERT(Bidirectional Encoder Representations from Transformers)트랜스포머(transformer)의 등장 이후, 다양한 자연어 처리 태스크에서 사용되었던 RNN 계열의 신경망인 LSTM, GRU는 트랜스포머로 대체되어가는 추세입니다. 이에 따…wikidocs.net  1. BERT 모델의 개요BERT는 unlabeled da..