Maker는 Nvidia Jetson으로 구동되는 독창적인 눈을 가진 AI 챗봇을 모바일 가방에 담았습니다. 완전히 로컬 기계 엔터티는 Gemma 4 E4B를 실행하고 200ms 내에 응답할 수 있습니다.

셀룰러 또는 Wi-Fi 연결 없이도 어디에서나 채팅할 수 있는 빠르고 유능하며 독선적인 로봇 동반자를 원한다면 Redditor CreativelyBankrupt가 보여줄 것이 있습니다.LLM 애호가는 Sparky라는 "Jetson Orin NS Super 16GB를 중심으로 한 완전 오프라인 여행 가방 로봇 [기반]"을 설계했습니다.Gemma 4 E4B를 로컬에서 실행하고 상황 인식을 위한 30개 이상의 센서를 포함하며 "그는 의견이 있습니다."아래에 포함된 비디오에서 이것이 무엇을 의미하는지 확인하고 여행 가방 안팎에서 Sparky의 멍청한 눈을 목격할 수 있습니다.

따라서 Sparky는 단지 이식성이 뛰어난 것이 아닙니다.처리 능력과 상당한 양의 센서 배열 덕분에 그는 외부에서나 심지어 그리드 밖에서도 무시할 수 없는 힘을 갖게 되었습니다.하지만 영상 속의 대화를 듣고 나면 Sparky를 집에 두고 대신 편집증 안드로이드 Marvin을 데리고 나가고 싶은 유혹이 들었습니다.

r/LocalLLaMA 하위 레딧에서 CreativelyBankrupt는 이 독특한 디지털 동반자의 ‘레시피'에 대한 개요를 설명합니다."Sparky는 전적으로 Jetson에서 실행됩니다. q8_0 KV 캐시 및 플래시 주의 기능을 갖춘 llama.cpp를 통해 Q4_K_M의 Gemma 4 E4B. 12K 컨텍스트[대화 메모리], 기본 시스템 역할"이라고 CreativelyBankrupt는 설명합니다.또한 30개 이상의 다양한 센서를 통해 Sparky는 어디에서든 현실 세계를 볼 수 있는 창을 제공합니다.

여행 가방에 묶인 로봇도 괜찮은 성능을 발휘합니다.LLM 매니아에 따르면 약 200ms의 TTFT(Time To First Token)는 Sparky가 매우 빠르게 응답을 공식화하기 시작한 다음 초당 약 14-15개의 토큰으로 실행될 수 있음을 의미합니다.게다가 음성-텍스트 변환에는 SenseVoiceSmall을 사용하고 텍스트-음성 변환에는 Piper를 사용하여 응답이 자연스럽습니다(로봇의 경우).Piper는 PixiJS 얼굴과 동기화되고 입 애니메이션은 43Hz로 업데이트됩니다.CreativelyBankrupt는 "Vision과 OCR은 현재 Gemma 4에 기본적으로 포함되어 있습니다."라고 말합니다.버튼 행, 조이스틱 및 아날로그 인코더 손잡이를 사용하여 Sparky를 구성하고 상호 작용할 수도 있습니다.

CreativelyBankrupt는 Orin급 하드웨어에서 Gemma 4 E4B를 최적화하는 방법에 대한 힌트와 팁을 부분적으로 찾기 위해 Reddit에서 Sparky의 기원을 공유했습니다.하지만 응답자들은 대부분 이 "멋지고&헬립; 사랑스럽고&헬립; 귀엽고&헬립; 키치&헬립"에 경외감을 느낍니다.프로젝트.

Google 뉴스에서 Tom's Hardware를 팔로우하거나 선호 소스로 추가하여 피드에서 최신 뉴스, 분석 및 리뷰를 받아보세요.