반응형 AWS23 AWS Cloud9 에서 Selenium 으로 크롤링 하기(Amazon Linux2) Cloud9 에서 Selenium 으로 크롤링 하기(Amazon Linux2) 좀 더 자세한 설명은 이전 글을 참고하세요. [AWS] - Cloud9 에서 Selenium 으로 크롤링 하기 (Ubuntu) 여기에서는 Amazon Linux2 에서 환경 설정만 하겠습니다. 1. 클라우드9 에서 환경생성 - 생성 시 플랫폼을 Amazon Linux2 로 선택 2. 클라우드로 접속해서 터미널에서 아래 명령어들을 차례대로 실행 (설치 중 Is this ok [y/d/N]: 나오면 y 입력) sudo yum update -y wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm sudo yum install ./google-.. 2023. 8. 1. AWS Cloud9 에서 Selenium 으로 크롤링 하기 (Ubuntu) Cloud9 에서 selenium 으로 크롤링하기 (Ubuntu) 환경 생성 플랫폼은 Ubuntu 를 선택 나머지는 기본으로 하고, [생성] 클릭. 환경이 생성이 완료되면 접속 터미널에서 다음 명령어 실행 sudo apt-get update 완료되면 다음 명령어 실행 sudo apt-get install -y libappindicator1 fonts-liberation sudo apt-get install -f 다음 명령어로 크롬 다운로드 wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb 크롬 설치 sudo dpkg -i google-chrome-stable_current_amd64.deb 설치된 chrome ve.. 2023. 8. 1. [AWS] Cloud9 으로 Stable-Diffusion WebUI 띄워서 접속하기 AWS Cloud9Stable-DiffusionWebUI Amazon Linux 2 에서만 됩니다. Amazon Linux 2023 은 다른 방법으로 해야하고, 글 작성하면 링크 남기겠습니다~ aws 계정이 있어야합니다. 인스턴스 생성Cloud9을 검색해서 서비스로 이동. Create environment 클릭 Instance 정보를 입력합니다.Instance Type 사양이 너무 작으면 webui 에 필요한 환경 설치 및 실행이 느릴수 있습니다.디스크 용량이 적어도 30GB 정도가 필요합니다. 여유가 있다면 40GB정도가 좋겠네요.(RAM 용량과는 무관합니다. 인스턴스 생성 후 space 를 늘려줄겁니다.) 그리고 페이지 최하단에 Create 버튼을 눌러줍니다.생성된것을 확인하고 Open 을 눌러줍니다.. 2023. 3. 26. [Cloud9] Amazon Linux 2 에서 no space left on device 해결 Cloud9 Amazon Linux 2 no space left on device 참고 : Cloud9 에서 Ubuntu 로 생성했다면, 아래 방법으로 해결되지 않습니다. 이 글은 Amazon Linux 2 로 생성했을 경우 space를 늘리는 방법입니다. root 경로에 resize.sh 파일을 생성해줍니다. 그리고 내용에 #!/bin/bash # Specify the desired volume size in GiB as a command line argument. If not specified, default to 20 GiB. SIZE=${1:-20} # Get the ID of the environment host Amazon EC2 instance. INSTANCEID=$(curl http://.. 2023. 3. 25. [Cloud9] Amazon Linux 2 에서 Python3.10 설치하기 Amazon Linux 2 에서 Python3.10 설치하기 아래 명령어 실행 sudo yum update -y sudo yum groupinstall "Development Tools" -y sudo yum erase openssl-devel -y sudo yum install openssl11 openssl11-devel libffi-devel bzip2-devel wget -y python 설치 # 권한 없다면 sudo 로 wget https://www.python.org/ftp/python/3.10.6/Python-3.10.6.tgz tar -xf Python-3.10.6.tgz cd Python-3.10.6/ ./configure --enable-optimizations sudo make alt.. 2023. 3. 25. [AWS] Cloud9 ubuntu 환경 생성하고 python 3.10 설치하기 AWS Cloud 9 Ubuntu Server 18.04 LTS AWS cloud9 에서 새로운 Environment 를 만들겠습니다. Create environment 클릭 Name과 Description 입력 Instance type 은 필요한 만큼 선택하고, 이번에는 플랫폼을 Ubuntu 로 선택합니다. 그리고 페이지 최하단에 Create 버튼 클릭! 생성중입니다. 1분내로 완료됩니다. 목록의 Open 을 클릭합니다. README.md 는 닫고, 터미널에서 python version 을 확인해 봤습니다. python 은 2.7.17 python3 는 3.6.9 음.. 좀 오래된 버전이네요. stable diffusion 에서 권장하는 3.10 버전으로 설치해보겠습니다. python 3.10 설치 터.. 2023. 3. 25. [EventBridge] cron 표현식 예제 EventBridge Scheduler 에 대한 공식 설명은 여기에서 참고하세요. AWS 에서 사용하는 cron 표현식 입니다. cron(minutes hours day-of-month month day-of-week year) Wildcards , 와일드카드에는 추가 값이 포함됩니다. 월 필드에서 JAN,FEB,MAR에는 1월, 2월, 3월이 포함됩니다. - 와일드카드는 범위를 지정합니다. 일 필드에서 1-15는 지정된 월의 1일부터 15일까지를 포함합니다. * 와일드카드에는 필드의 모든 값이 포함됩니다. 시간 필드에서 *는 모든 시간을 포함합니다. Day-of-month 및 Day-of-week 필드 모두에서 *를 사용할 수 없습니다. / 와일드카드는 증분을 지정합니다. 분 필드에 1/10을 입력하여.. 2023. 2. 1. [AWS] Lambda 따라하기 (python) #6 Scheduler AWS Lambda Scheduler EventBridge를 사용하여 주기적으로 실행하기 여섯번째 포스트입니다. 지금까지 Lambda 함수를 생성하고, api로 호출하는 방법을 알아봤는데요. 이번에는 정해진 시간에 실행되도록 하는 기능을 이용해보겠습니다. aws 에는 EventBridge 가 있습니다. Lambda 함수에서 "트리거 추가" 후에 EventBridge 를 검색하여 선택합니다. 구성은 아래와 같이 작성했습니다. 제게 더 익숙한 크론잡으로 표현식을 작성했습니다. cron(여기에 cron expression 입력) 참고로, aws 에서 사용하는 표현식에 살짝 다른 것이 있네요. 여기 에서 확인하시면 됩니다. 예를들어, 5분마다 실행하는 표현식이 cron 에서 */5 * * * * 이렇게 쓰이는데.. 2023. 1. 24. [AWS] Lambda 따라하기 (python) #5 Trigger (REST API) API NAME 은 hello-bryan-rest-API 로, 이전 포스트의 http api 의 name 과 다르게 합니다. API endpoint 가 생성되었습니다. 저 링크를 클릭하면 웹브라우저에서 호출된 결과를 확인할 수 있습니다. POSTMAN 으로 호출하기. 이번에는 queryString 이나 path parameter 로 호출하지 않고, json body 로 호출하도록 하겠습니다. POST 방식으로 넘겨서 받기 위해서 아래와 같은 코드를 추가합니다. if event['httpMethod'] == 'POST': req_data = json.loads(event['body']) # JSON 문자열 처리 album = next(filter(lambda x: x['id'] == req_data['al.. 2023. 1. 24. [AWS] Lambda 따라하기 (python) #4 Trigger (HTTP API) AWS Lambda HTTP API Trigger 네번째 포스트입니다. 이어서, 이전까지 Lambda 함수를 만들었으니, 이제 이걸 호출해서 실행해 보도록 하겠습니다. API 중에 HTTP 와 REST 가 있는데, 이번에는 HTTP 먼저 해보겠습니다. 이전에 만들었던 Lambda 함수로 들어간 후 "+ 트리거 추가" 버튼을 누릅니다. API Gateway 를 선택합니다. 구성은 아래와 같이 합니다. 테스트니까 Security 와 CORS 는 위의 설정대로 합니다. 실제 서비스가 모두에게 오픈할것이 아니라면 변경하시는게 좋습니다. 생성된 API endpoint 링크를 클릭하면 기존에 만들었던 Lambda 함수가 실행됩니다. 파라메터가 없으니 위와 같은 결과가 나오겠네요. 파라메터 추가 파라메터를 받아오기 .. 2023. 1. 24. 이전 1 2 3 다음 728x90 반응형
