이것은 최신 릴리스를 1.24.2sourcecode.zip으로 다운로드할 수 있는 x-transformers라는 Linux 앱입니다. 워크스테이션용 무료 호스팅 제공업체인 OnWorks에서 온라인으로 실행할 수 있습니다.
OnWorks와 함께 x-transformers라는 이 앱을 무료로 다운로드하여 온라인에서 실행하십시오.
이 앱을 실행하려면 다음 지침을 따르세요.
- 1. 이 애플리케이션을 PC에 다운로드했습니다.
- 2. 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX에 원하는 사용자 이름을 입력합니다.
- 3. 이러한 파일 관리자에서 이 응용 프로그램을 업로드합니다.
- 4. 이 웹사이트에서 OnWorks Linux 온라인 또는 Windows 온라인 에뮬레이터 또는 MACOS 온라인 에뮬레이터를 시작합니다.
- 5. 방금 시작한 OnWorks Linux OS에서 원하는 사용자 이름으로 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX로 이동합니다.
- 6. 응용 프로그램을 다운로드하여 설치하고 실행합니다.
스크린 샷
Ad
x 변압기
기술
다양한 논문에서 유망한 실험적 기능 세트를 갖춘 단순하지만 완전한 풀 어텐션 트랜스포머입니다. 참석하기 전에 학습된 메모리 키/값을 추가할 것을 제안합니다. 그들은 피드포워드를 모두 제거하고 원래 변압기와 유사한 성능을 얻을 수 있었습니다. 피드포워드를 유지하고 메모리 키/값을 추가하면 성능이 훨씬 향상된다는 것을 알게 되었습니다. 입력 토큰과 함께 어텐션 레이어를 통해 전달되는 메모리 토큰이라는 이름의 CLS 토큰과 유사한 학습된 토큰을 추가할 것을 제안합니다. fixnorm의 일부로 제안된 l2 정규화 임베딩을 사용할 수도 있습니다. 작은 초기화(BlinkDL에서 제안)와 함께 사용하면 수렴이 개선된다는 것을 알았습니다. 작은 초기화는 l2norm_embed가 True로 설정되어 있는 한 처리됩니다.
특징
- 디코더 전용(GPT 유사)
- 인코더 전용(BERT와 유사)
- 최첨단 이미지 분류
- Persistent Memory로 Self-Attention 강화
- 눈물 없는 트랜스포머
- 제곱 평균 제곱근 계층 정규화
프로그래밍 언어
Python
카테고리
이것은 https://sourceforge.net/projects/x-transformers.mirror/에서도 가져올 수 있는 애플리케이션입니다. 무료 운영 체제 중 하나에서 가장 쉬운 방법으로 온라인으로 실행하기 위해 OnWorks에서 호스팅되었습니다.
