본문 바로가기

논문리뷰

공부/AI 2024. 3. 11. [논문리뷰] Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 (2024) 📚 효과적인 프롬프트 엔지니어링의 26가지 원칙 최근 발표된 프롬프트 엔지니어링 관련 논문 'Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4'에 대하여 리뷰해보면서, 논문에서 제시된 효과적인 프롬프트 엔지니어링의 26가지 원칙과 각 원칙별 프롬프트 예시를 소개하고자 한다. 📌 목차 1. 논문 요약 2. 프롬프트 엔지니어링 26가지 원칙 3. 프롬프트 엔지니어링 26가지 원칙별 예시 (feat. ATLAS 벤치마크) 4. 프롬프트 엔지니어링의 효과 (실험 결과) 📌 논문 요약 프롬프트 엔지니어링 26가지 원칙 제시 이 논문에서는 프롬프트 엔지니어링을 통하여 GPT, LLaMA 등의 대형 언어모델의 잠재력을 최대한 끌..
공부/AI 2023. 2. 1. [논문리뷰] EfficientNet : Rethinking Model Scaling for Convolutional Neural Networks (2019) 📚 [비전] EfficientNet 논문 리뷰 및 요약 📌 개요 ✔ EffiicentNet 논문 키포인트 1. Compound Scaling 방법을 통해 depth, width, resolution 3가지 요소를 복합적으로 증가시켜 모델 성능 향상. 2. Neural Architecture Search 방법을 통해 베이스라인 모델 구조를 효율적으로 디자인. 3. 높은 성능, 적은 수의 파라미터, 적은 수의 FLOPS를 가진 효율적인 모델 구조로 SOTA 달성. 📌 Model Scaling ✔ CNN의 성능을 높이기 위해서 Model Scaling을 적용할 3가지 요소 1. Depth(레이어의 개수) : 네트워크를 깊게 쌓으면 더 다양하고 복잡한 features를 파악할 수 있고 새로운 task에 대해서도..
공부/AI 2023. 1. 31. [논문리뷰] Deep Residual Learning for Image Recognition (2015) 📚 [비전] ResNet 논문 리뷰 및 요약 📌 개요 ✔ ResNet 논문 키포인트 1. Shortcut Connection을 통한 Residual Learning을 고안하여 네트워크의 depth를 늘릴 때의 degradation 문제를 해결. 2. ResNet은 152개 layers로 depth를 크게 늘리면서 이전의 VGGNet에 비해 8배 더 깊은 네트워크 구조를 만들어냄. 3. ILSVRC 2015에서 1위를 차지하였으며 top-5 error rate 3.57% 달성하며 인간보다 더 낮은 오류를 보여줌. 📌 Degradation 문제 ✔ 심층 신경망의 깊이를 늘릴 때 degradation 문제 1. 심층 신경망의 깊이를 늘릴 때 vanishing/exploding gradient 문제 뿐만 아니라..
공부/AI 2023. 1. 29. [논문리뷰] Going Deeper with Convolutions (2014) 📚 [비전] GoogLeNet (Inception V1) 논문 리뷰 및 요약 📌 개요 ✔ GoogLeNet (Inception V1) 논문 키포인트 1. 네트워크의 depth와 width를 증가시키면서 파라미터는 오히려 이전보다 줄일 수 있는 효율적인 인셉션 모듈 고안. 2. 1x1 convolutions를 사용하는 bottleneck layers 도입하여 차원 축소 및 연산량 감소, 비선형성 효과 달성. 3. Global Average Pooling 레이어 사용. 4. ILSVRC 2014에서 1위를 차지하였으며 top-5 error rate 6.7% 달성. 📌 sparsely connected 구조의 필요성과 현재 하드웨어의 연산 방식에 따른 고려사항 ✔ 네트워크에서 sparsely connected..
공부/AI 2023. 1. 28. [논문리뷰] Very Deep Convolutional Networks for Large-Scale Image Recognition (2014) 📚 [비전] VGGNet 논문 리뷰 및 요약 📌 개요 ✔ VGGNet 논문 키포인트 1. CNN 구조를 디자인할 때 depth(레이어를 깊게 쌓는 것)가 성능 향상에 중요한 요소임을 보임. 2. filter size를 3x3으로 작게 하여 depth를 19 layers까지 늘리되, 파라미터 개수는 크게 늘어나지 않도록 할 수 있었음. 3. ILSVRC 2014 대회에서 GoogLeNet(Inception)이 1등을 하고 VGGNet은 2등을 하였으나, VGGNet은 간결한 모델 구조로도 depth를 깊게 쌓고 좋은 성능을 보여주어서 의미를 갖는 논문이다. 📌 VGGNet의 구조 ✔ depth에 차이를 둔 A~E 모델 구조 및 성능 비교 1. 이 논문에서는 depth에 차이를 둔 A~E까지 6개 모델의 성..
공부/AI 2023. 1. 27. [논문리뷰] ImageNet Classification with Deep Convolutional Neural Networks (2012) 📚 [비전] AlexNet 논문 리뷰 및 요약 📌 개요 ✔ AlexNet 논문 키포인트 1. ILSVRC 대회에서 CNN 모델이 통용되는 계기 2. ReLU Non-linearity 사용 3. 병렬 GPU 사용 4. Overlapping Pooling 기법 사용 5. Overfitting 방지를 위한 기법 : Data Augmentation, Dropout 사용 📌 Vision 분야에서 CNN 사용 ✔ CNN의 필요성 1. 이전보다 large dataset을 사용할 수 있음에 따라 large learning capacity를 가진 모델이 필요 : CNN은 depth와 breadth 조절을 통해 capacity를 조절 가능 2. CNN은 이미지 데이터의 특성(stationarity of statistics..

티스토리툴바